[10 реальных демонстраций: контакт с объектом 0/20. Добавим еще 50 симуляций — 17/20] @KaitoAI X @axisrobotics Ссылка на участие в Axis (реферальная): https://t.co/hUbWSVsBVR Обучение робота новой задаче требует значительных временных и финансовых затрат на сбор данных реальных демонстраций на физическом оборудовании. Необходимо настроить робота и рабочее пространство, после чего человек вручную управляет роботом, записывая десятки или сотни повторений — и при изменении объекта или среды требуется собирать новые данные. Axis и @boosterobotics недавно провели эксперимент, чтобы оценить, как сочетание реальных демонстраций с симуляционными траекториями Axis влияет на результаты обучения, используя двуручного робота от Booster. Используемые задачи: поднятие ручки и поднятие корпуса для наушников. Оценка проводилась по трем критериям: контакт с объектом, захват захватом и фактическое поднятие. Все политики начинались с одного и того же чекпоинта модели Pi0.5. В Axis Suite реальное рабочее пространство снимается коротким видео, после чего с помощью предобученной модели 2D-to-3D создается цифровой двойник, адаптированный под задачу. Созданная сцена развертывается в Axis Hub, позволяя множеству участников генерировать симуляционные траектории для той же задачи, даже если у них нет физического робота. При этом можно варьировать положение объекта, ракурс камеры, освещение, материалы, фон и окружающие предметы, выполняя одну и ту же задачу в различных условиях. В эксперименте с низким объемом данных для задачи с корпусом для наушников использовалось 10 реальных демонстраций. Политика, обученная на этих данных, ни разу не смогла коснуться целевого объекта за 20 попыток на реальном роботе Booster. При сохранении 10 реальных демонстраций и добавлении 50 симуляционных траекторий Axis политика достигла контакта с объектом в 17 из 20 попыток. Из них 6 раз захват был выполнен до конца, а в 2 случаях корпус для наушников был успешно поднят. В более масштабных оценках на реальном роботе были протестированы различные комбинации данных. Для задачи с ручкой политика на основе только реальных данных показала коэффициент поднятия 35%, а при доле симуляций 67% — 40%. Для задачи с корпусом для наушников: только реальные данные — 30%, при доле симуляций 50% — 40%. Каждое условие было протестировано 20 раз на реальном роботе; общая оценка включала 240 прогонов. В симуляции можно быстро менять положение объекта, ракурс камеры, фон и другие параметры для генерации большого объема повторяющихся данных. Реальные демонстрации содержат информацию о физических особенностях оборудования: характеристиках камер, реакции приводов, тайминге захвата, ошибках контакта и выполнения. Наиболее высокий коэффициент поднятия для обеих задач был достигнут при использовании комбинации реальных демонстраций и симуляционных данных, адаптированных под конкретную задачу. Axis и Booster также создали начальную модель, адаптированную под Booster, используя данные, собранные по множеству задач. Это модель, предварительно обученная на расположении камер Booster, двух семиосевых руках, захватах, представлении действий и базовых движениях перед обучением новым задачам. Исходные данные для симуляции включали 44 039 эпизодов из 95 репозиториев и 76 языковых команд. После исключения записей с нечетким разделением статических траекторий и используемых рук осталось 42 046 эпизодов и 3 249 835 кадров — примерно 180,55 часов при частоте 5 Гц. Кроме того, в обучение были включены реальные демонстрации Booster с метриками успеха, телеметрией и наблюдениями. После полного параметрического дообучения Pi0.5 на этих данных модель была адаптирована под задачи с ручкой и корпусом для наушников. При использовании по 30 демонстраций на задачу модель, адаптированная под Booster, выполнила последовательность действий «приближение — захват — подъем» в 14 из 16 попыток. Оригинальная модель Pi0.5 при тех же 30 демонстрациях показала результат 6/16, а при увеличении до 60 демонстраций — 10/16. Даже до дообучения по задачам в zero-shot симуляции среднее расстояние от запястья до цели сократилось с 17,27 см до 5,78 см, а перемещение незадействованной руки уменьшилось с 5,04 рад до 0,25 рад. Эти цифры получены в ходе совместного эксперимента Axis и Booster. Независимое воспроизведение этих результатов пока не опубликовано. Оценка с низким объемом данных (10 реальных демонстраций + 50 симуляций) проводилась на физическом роботе Booster; сравнение моделей с 30 и 60 демонстрациями — в Isaac Sim. Числовые показатели из двух оценок нельзя объединять в единый метрический индикатор производительности физического робота. Симуляционные траектории, созданные в Axis Hub, использовались для разнообразия расположения объектов и визуальных условий; реальные демонстрации Booster добавили в обучение информацию о физических особенностях контакта и выполнения. Собранные данные по множеству задач также использовались для создания начальной модели, знакомой с конструкцией и системой управления Booster.Trajectory, собранные в браузере, действительно использовались для оценки физического робота Booster и начального обучения модели. #PhysicalAI #RobotLearning