Масштабное обновление LeRobot v0.5.0: поддержка гуманоидов и новые модели управления
Hugging Face выпустила версию LeRobot 0.5.0, добавив поддержку человекоподобных роботов, новые визуально-языковые модели и прямое подключение симуляций из Hub.
Суть
Компания Hugging Face выпустила крупное обновление своей открытой библиотеки для робототехники LeRobot v0.5.0. Это важный шаг в демократизации обучения роботов, который объединяет новое аппаратное обеспечение, быстрые визуально-языковые модели и удобные инструменты для работы с данными. Библиотека выходит за рамки простых манипуляторов и теперь поддерживает сложные системы, включая человекоподобных роботов.
Контекст
Библиотека LeRobot создавалась как инструмент для снижения порога входа в робототехнику, подобно тому, как библиотека Transformers сделала доступными большие языковые модели (LLM). Ранее фокус исследователей был сосредоточен на настольных манипуляторах, так как они проще в управлении и дешевле. Однако индустрия требует перехода к более сложным формам, способным ориентироваться в пространстве и выполнять многосоставные задачи в реальном мире.
Детали
Обновление затрагивает сразу несколько ключевых направлений разработки.
Во-первых, значительно расширен список поддерживаемого оборудования. Главное нововведение — полная интеграция человекоподобного робота Unitree G1. Теперь библиотека позволяет управлять всем телом (whole-body control), координируя ходьбу и манипуляции объектами. Также добавлены открытые роборуки OpenArm, мобильная платформа Earth Rover для уличной навигации и поддержка CAN-шин для управления высокопроизводительными моторами профессионального уровня.
Во-вторых, пополнился арсенал моделей (policies). Появилась поддержка Pi0-FAST — авторегрессионных визуально-языковых моделей действий (VLA). Интеграция технологии Real-Time Chunking (RTC) позволяет моделям реагировать на изменения в реальном времени, непрерывно корректируя действия и не дожидаясь завершения предыдущего блока команд. Добавлены новые базовые модели: Wall-X на базе Qwen2.5-VL и X-VLA на базе системы Florence-2 от Microsoft. Для обучения сложных многошаговых задач внедрен метод SARM (Stage-Aware Reward Modeling).
В-третьих, оптимизирована работа с данными. Внедрено потоковое кодирование видео, что устраняет задержки при записи тренировочных эпизодов. Обучение на изображениях ускорилось в 10 раз благодаря устранению узких мест в доступе к данным.
