Раньше я думал, что как только робот научится хватать предметы, достаточно просто перенести его на другую машину — и всё будет работать. Но после наблюдения за экспериментами с Axis и Booster я понял, что всё гораздо сложнее. Franka умеет хватать коробку от наушников, но как только её заменяют на Booster, прежняя последовательность движений почти наверняка перестаёт работать. Длины рук, количество суставов, углы камеры и захваты у этих двух роботов различаются. Booster — это двухрукий робот, каждая рука которого имеет 7 степеней свободы. Модель должна не только адаптироваться к новым визуальным данным, но и научиться управлять этим новым телом. Раньше для решения таких задач инженеры должны были постоянно находиться рядом с реальными роботами и вручную управлять ими, собирая данные повторно. Количество машин было ограничено, и при смене сцены или предметов приходилось собирать новые данные. @axisrobotics на этот раз сначала воссоздали реальную рабочую поверхность Booster в симуляционной среде, а затем разместили задачу в браузере, чтобы пользователи из разных регионов могли помочь с управлением. Положение объектов, освещение, ракурсы и фон постоянно менялись — в итоге было отобрано 42 046 симуляционных траекторий для обучения Booster базовой стратегии, адаптированной под его собственную структуру. Данные теста с коробкой от наушников наглядны. При использовании только 10 реальных демонстраций робот 20 раз подряд не касался цели ни разу. После добавления 50 соответствующих симуляционных траекторий в 17 из 20 тестов робот касался коробки, в 6 случаях успешно захватывал её, причём в 2 случаях он даже поднимал её. В другой серии тестов стратегия Booster, предварительно обученная этими данными, при использовании всего 30 реальных демонстраций превзошла результаты исходной модели π₀.₅, обученной на 60 реальных демонстрациях. Этот эксперимент охватывает лишь несколько задач из официального тестового набора и пока не доказывает, что аналогичный прогресс возможен для других роботов или сложных сценариев. Однако он помог мне понять, зачем Axis собирает эти данные: сначала отработать в симуляции поиск цели, корректировку угла и подход к объекту, а затем на реальном роботе дополнить это небольшим количеством реальных операций для освоения контакта и захвата. Конечно, траектории, которые мы создаём в задачах, не добавляются напрямую в обучающий набор Booster. Данные проходят воспроизведение, фильтрацию, преобразование формата и проверку на совместимость с конкретной машиной. Раньше после выполнения задачи я смотрел только на баллы и очки. Теперь я внимательнее наблюдаю за тем, не слишком ли хаотично двигаются мои действия, и насколько чистая траектория захвата. После замены тела робота — может ли количество требуемых реальных данных сократиться вдвое — действительно зависит от качества этих траекторий. Чтобы попробовать — начните с заданий уровня Beginner. После успешного прохождения задачи не забудьте перейти в Portfolio и выполнить Base-подпись: https://t.co/Bo1luv9UkN