Исследование показывает, насколько успешно современные нейросети справляются с физическими задачами — от удержания баланса до навигации и манипуляции объектами на разных уровнях абстракции.
4 мин
Языковые модели постепенно выходят за пределы текстовых интерфейсов и начинают взаимодействовать с физическим миром. Недавнее исследование показало, что современные нейросети уже способны воспринимать сцену, понимать состояние конкретного робота и отдавать команды, которые приводят к реальным изменениям в пространстве. Однако успешность этих действий критически зависит от того, как именно модель подключена к оборудованию.
Исторически большие языковые модели (LLM) обучались на текстах и не имели привязки к физической реальности. Управление роботом требует синтеза логических навыков и точного пространственного понимания. Чтобы выяснить, насколько хорошо эти навыки переносятся в робототехнику, исследователи протестировали несколько моделей на различных роботизированных платформах, включая симуляции четвероногих и гуманоидных роботов, роботизированные руки и реальные устройства.
Bar graph showing per-model embodiment score by interface. Mythos Preview scores the highest at 0.389, while Opus 4 scores the lowest at 0.115.
В ходе тестов моделям предоставили четыре различных способа управления, которые отличались по уровню абстракции. Первый — прямое управление (direct control), где модель напрямую задает крутящий момент моторов. Второй — программное управление (programmatic control), при котором нейросеть пишет код на Python для контроля движений. Третий подход — высокоуровневое управление через предварительно обученную политику (policy control), где модель отдает команды уже существующей нейросети, отвечающей за базовую моторику. Четвертый — обучение с подкреплением (reinforcement learning), где модель сама обучает политику с нуля.
Результаты испытаний оказались весьма показательными. Способность модели управлять роботом зависит от интерфейса так же сильно, как и от самой архитектуры нейросети. Когда моделям приходится напрямую управлять суставами, они в большинстве случаев терпят неудачу. Прямое низкоуровневое управление улучшается от поколения к поколению, но этот процесс идет неравномерно.
Ситуация кардинально меняется при переходе на более высокие уровни абстракции. Когда модели выступают в роли супервизоров для предварительно обученных контроллеров или используют инструменты пространственной ориентации, они успешно справляются с реальными задачами навигации и манипуляции. Особенно ярко это проявляется при использовании архитектур VLA (Vision-Language-Action), которые напрямую переводят изображения с камер и текстовые инструкции в движения роботизированной руки. Новые модели становятся все более эффективными руководителями для таких систем: они лучше распознают потенциально ошибочные действия и не полагаются на базовую политику слепо.
Six bar graphs showing different AI models' classic control performance on various tasks, both directly and via code control: pendulum balance (direct and code), hopper velocity (direct and code), and TwinFlipper air time (direct and code).
Интересно, что значительная часть прогресса новых моделей связана с их способностью к адаптации. На классических задачах контроля, таких как балансировка перевернутого маятника или удержание мяча в воздухе (задача TwinFlipper), модели первых поколений и новинки показывают схожие результаты при первой попытке. Однако в последующих итерациях новые версии демонстрируют существенный скачок в производительности, анализируя предыдущие исходы и корректируя свою стратегию.
Эти данные имеют важные последствия для безопасной разработки и внедрения искусственного интеллекта. Сегодняшние передовые модели пока не могут управлять гуманоидными роботами без помощи предварительно обученных политик. Однако разрыв в надежности сокращается с каждым новым поколением. Уже сейчас универсальная текстовая модель без специальной робототехнической подготовки способна самостоятельно написать код, загрузить необходимые инструменты и медленно провести четвероногого робота через лабиринт или заставить манипулятор переставить тарелку.
По мере роста скорости вывода (inference speed) и улучшения архитектур мы увидим дальнейшее стирание границ между цифровым интеллектом и физическим действием. Способность моделей понимать физику через текст и код открывает путь к созданию более автономных и универсальных роботизированных систем в ближайшем будущем.
Three bar graphs showing models' classic control performance when training an RL policy to perform three tasks: pendulum balance, hopper velocity, and TwinFlipper air time.
Three bar graphs with performance intervals showing various AI models' performance at directly controlling a robotic quadruped.
Four bar graphs showing various AI models' performance at controlling a robotic quadruped's movements using code control.
Two bar graphs showing various AI models' performance on controlling a humanoid robot. More advanced models perform reasonably well on the "Go2 Stand" task, but all models fail on the "G1 Stand" task.
Two bar graphs (the second with performance intervals) showing various AI models' success on LIBERO with direct control. Mythos Preview has the highest success rate, at 5.5; many AI models have a success rate of 0.
Three bar charts showing various AI models' performance on various LIBERO subgoals. Here, the models show higher rates of progress.
Bar chart showing various models' performance on high-level locomotion with various reasoning configs. Mythos Preview (adamax) and Mythos Preview (20k) have the highest scores, at 54 and 49.
Four bar charts showing how perceptual aids change various models' performance on high-level locomotion tasks: compass, third-person cam, all combined, crosshair, and depth overlay.
Языковые модели способны успешно управлять роботами при использовании высокоуровневых интерфейсов, выступая в роли интеллектуальных руководителей для базовых систем моторики.
Главное преимущество новых поколений моделей заключается не во врожденном понимании физики, а в способности быстро анализировать свои ошибки и менять стратегию после первых неудачных попыток.
