Google DeepMind выпустила три физические ИИ-модели для управления роботами

Большинство современных роботов запрограммированы заранее или управляются оператором вручную и предназначены для узких, повторяющихся последовательностей действий. Они не адаптируются к непредсказуемым условиям окружающей среды, а навыки редко переносятся между разными роботами. Компания Google DeepMind представила семейство Gemini Robotics 2, призванное изменить этот подход.

Gemini Robotics 2 — это модель типа vision-language-action (VLA), которая преобразует визуальную и языковую информацию в команды управления моторами. Она способна управлять полноразмерными гуманоидами от стоп до кончиков пальцев, а также другими двурукими роботами, и поддерживает выполнение сложных последовательностей действий.

Gemini Robotics ER 2 — это модель воплощённого рассуждения (ER), выполняющая роль «высокоуровневого мозга». Она общается с людьми, понимает физический мир и планирует многошаговые задачи, а затем передаёт исполнение моторных команд модели управления.

Gemini Robotics On-Device 2 — эффективная VLA-модель, оптимизированная для запуска непосредственно на роботе. Согласно карточке модели, она построена на технологиях Gemini Robotics 1.5 и компактных моделях Gemma от Google и способна работать без постоянного подключения к облаку.

Разделение труда между моделями важно для проектирования систем: ER 2 планирует и отслеживает задачу, а затем передаёт исполнение движений VLA-модели, объявленной как инструмент. Разработчики регистрируют низкоуровневые интерфейсы управления, например интерфейсы VLA, что упрощает интеграцию новых роботов.

Предыдущие модели Gemini Robotics управляли только верхней частью корпуса гуманоида и были рассчитаны на задачи на столе. Gemini Robotics 2 впервые расширяет управление на всё тело, что позволяет роботам перемещаться в пространстве и выполнять действия в реальной среде.

В демонстрационном примере используется робот Apptronik Apollo 2: получив инструкцию «поставь лейку в зелёный контейнер на нижней полке», Apollo подходит к столу, берёт лейку и затем аккуратно помещает её в нужное место. Это демонстрирует связку навигации, манипуляции и понимания инструкций.

Gemini Robotics 2 умеет управлять пятипалой кистью SharpaWave с 22 степенями свободы, установленной на Apollo 2. Сообщается, что модель успешно завязывает узлы и запечатывает пакет с застёжкой. Та же модель работает и со стандартными захватами, что расширяет совместимость с существующим оборудованием.

Приведённые показатели успешности получены с использованием одного контрольного экземпляра модели на трёх вариантах исполнения: Apollo 2 с кистями SharpaWave, Apollo 2 с кистями Inspire и Franka Duo с захватом Robotiq. Это свидетельствует о переносимости навыков между разными роботами.

Каждый кадр видеофида сопоставляется с одним из пяти уровней прогресса — от 0–20% до 80–100%. На этой задаче Gemini Robotics ER 2 достигает точности 57,4%, что, по данным Google DeepMind, превосходит предыдущие модели и служит более точным инструментом оценки выполнения задачи.

Отдельно измеряется способность модели определить точный кадр, в котором происходит критическое событие, например момент остановки наливания кофе в чашку. ER 2 достигает точности 91,3% с медианной ошибкой 0,96 секунды, что важно для задач, требующих своевременного вмешательства.

ER 2 оценивается в трёх режимах управления: реальная VLA-модель, симуляционная VLA-модель и человеческое телеуправление. Во всех трёх режимах она превосходит предыдущую версию Gemini Robotics ER 1.6, что подтверждает системный прогресс.

ER 2 интегрируется с API Gemini Live через двунаправленный потоковый endpoint. Заявленная цель — устранить паузы «остановись и подумай», которые прерывают многошаговое выполнение задачи. Модель также умеет нативно вызывать инструменты, что упрощает взаимодействие с внешними системами.

Были улучшены три пространственные способности. Определение успеха и сбоев теперь работает на основе сырых видеопотоков вместо статических снимков, что позволяет фиксировать проливы и проскальзывания во время выполнения. Также улучшены чтение показаний приборов и общее понимание пространства.

Google DeepMind создала демонстрацию с роботом Spot от Boston Dynamics, используя ER 2 для оркестрации навигации и API манипулятора Spot. Примеры кода доступны в репозитории robotics-samples, что облегчает воспроизведение результатов другими командами.

Gemini Robotics 2 вводит совместную работу роботов разных типов. Логика в том, что ни один робот не подходит для всех задач: колёсный робот удобен для работы внутри помещений, гуманоид справляется с неровным рельефом, и только их комбинация обеспечивает гибкость.

Роботы общаются через общее семантическое понимание и передают друг другу подзадачи. В демонстрации используется связка Apptronik Apollo 2 и Franka F3 Duo, где один робот выполняет часть задачи и передаёт управление другому.

Gemini Robotics On-Device 2 нацелена на сценарии, где нельзя полагаться на задержки сети или стабильное соединение. Модель изначально мультивоплощённая и наследует техники переноса движений из Gemini Robotics 1.x, позволяя обучать новых роботов на ограниченных данных.

Google DeepMind сообщает об адаптации к новым двуруким воплощениям за несколько часов, обычно на основе менее 200 примеров. Это работает даже для роботов с сильно различающимися формами, сенсорами и количеством степеней свободы, что заметно ускоряет внедрение.

В карточке модели публикуется сравнение масштабирования данных с On-Device 1 на платформах, появившихся только на этапе постобучения, что даёт представление об эффективности дообучения новой версии.

В карточке также перечислены ограничения: On-Device 2 ограничена в обобщении на задачи вне распределения и в управлении роботами с высокой степенью свободы. Это означает, что для сложных новых сценариев может потребоваться дообучение.

Запуск в AI Studio использует строку модели gemini-robotics-er-2-preview, а обучающие блокноты доступны в репозитории robotics-samples. Google также опубликовала техническое описание и набор данных ASIMOV-Agentic для исследовательских целей.

Источники информации: анонс Gemini Robotics 2, пост разработчиков Gemini Robotics ER 2, карточки моделей ER 2 и On-Device 2, а также набор данных ASIMOV-Agentic и технический отчёт по безопасности.

По материалам MarkTechPost