Раньше я думал, что больше человеческих исправлений автоматически означает лучшее обучение робота. Оказалось, что эта интуиция неверна. После прочтения об этом эксперименте от Axis меня больше всего поразило не огромное количество собранных данных, а то, как они их фильтровали. Рассмотрим очень простую задачу: поместить брусок тофу на тарелку. Когда робот был на грани неудачи, пользователи могли напрямую взять управление через Axis Hub, чтобы внести исправления. Было зафиксировано 660 вмешательств. Однако @axisrobotics не использовали все они для обучения. Только 161 фрагмент, составляющих 24,4% от общего числа, прошли фильтр. Обоснование абсолютно логично. То, что траектория в итоге успешна, не означает, что каждое человеческое действие в ней заслуживает изучения. Возможно, там были избыточные движения, извилистые пути или паузы, не несущие полезного сигнала. Поэтому каждое исправление должно было пройти три этапа: → Успешно воспроизвести в симуляции → Доказать, что исходная политика действительно потерпела неудачу → Извлечь ключевой фрагмент и провести замкнутый цикл проверки, чтобы убедиться, что робот может восстановиться самостоятельно Это то, что мне нравится больше всего: Ценность человеческой обратной связи заключается не просто в том, что «человек успешно выполнил задачу». Она заключается в точном определении того, какое именно действие превратило состояние неудачи в восстановление, которое робот может повторить самостоятельно. 660 исправлений звучат как огромное количество. Но 161 проверенный сигнал намного ценнее. Возможно, именно так сообществом собираемые данные действительно превращаются в масштабируемый движок данных.