[10 demo reales: 0/20 contactos con objetos. Añadir 50 trayectorias de simulación: 17/20] @KaitoAI X @axisrobotics Enlace de participación en Axis (referido): https://t.co/hUbWSVsBVR Enseñar una nueva tarea a un robot requiere mucho tiempo y costo para recopilar datos de demostración real en equipos físicos. Se debe preparar el robot, ajustar el espacio de trabajo y registrar decenas o cientos de ejecuciones controladas manualmente por un humano; además, si cambian el objeto o el entorno, se necesitan nuevos datos. Axis y @boosterobotics realizaron recientemente un experimento para evaluar cómo cambian los resultados de aprendizaje al combinar trayectorias de simulación de Axis con demostraciones reales utilizando el robot de brazos duales de Booster. Las tareas utilizadas fueron recoger un bolígrafo y recoger un estuche de audífonos. Se evaluaron por separado: si el robot tocó el objeto, si lo agarró con el gripper y si realmente lo levantó. Todas las políticas comenzaron desde el mismo punto de control Pi0.5. En Axis Suite, se puede filmar brevemente el espacio de trabajo real y utilizar un modelo preentrenado 2D a 3D para generar un gemelo digital adaptado a la tarea. La escena generada se implementa en Axis Hub, permitiendo que múltiples colaboradores generen trayectorias de simulación para la misma tarea, incluso sin tener acceso al robot físico. Se pueden variar la posición del objeto, la perspectiva de la cámara, la iluminación, los materiales, el fondo y los objetos circundantes para realizar la misma tarea bajo múltiples condiciones. En el experimento de bajo volumen de datos con el estuche de audífonos se utilizaron 10 demostraciones reales. La política entrenada con estos datos no logró tocar el objeto objetivo en ninguna de las 20 ejecuciones en el robot físico de Booster. Manteniendo las 10 demostraciones reales y añadiendo 50 trayectorias de simulación de Axis, la política logró tocar el objeto en 17 de 20 intentos. En 6 ocasiones se completó la fase de agarre, y en 2 de ellas se logró levantar exitosamente el estuche de audífonos. En evaluaciones adicionales con robots físicos utilizando más datos, se probaron varias combinaciones. La política solo real para la tarea del bolígrafo alcanzó una tasa de levantamiento del 35%, mientras que con un 67% de simulación alcanzó el 40%. Para el estuche de audífonos, la política solo real obtuvo un 30%, y con un 50% de simulación alcanzó un 40%. Cada condición se ejecutó 20 veces en el robot físico, y la evaluación total constó de 240 rollout. En simulación, se pueden cambiar rápidamente condiciones como la posición del objeto, la perspectiva y el fondo para generar datos repetitivos. Las demostraciones reales incluyen información inherente a los equipos físicos: características de la cámara, respuesta del actuador, temporización del gripper, errores de contacto y ejecución. La tasa más alta de levantamiento en ambas tareas se logró combinando demostraciones reales con simulaciones adaptadas a la tarea. Axis y Booster también desarrollaron un modelo inicial adaptado a Booster utilizando datos recopilados en múltiples tareas. Este modelo previamente aprende la configuración de la cámara de Booster, sus dos brazos de 7 GDL, el gripper, la representación de acciones y movimientos básicos antes de entrenar nuevas tareas. La fuente original de simulación consistió en 44.039 episodios distribuidos en 95 repositorios y 76 comandos lingüísticos. Tras excluir trayectorias estáticas y registros donde era difícil distinguir qué brazo se utilizaba, quedaron 42.046 episodios y 3.249.835 fotogramas, equivalentes a aproximadamente 180,55 horas a una frecuencia de 5 Hz. También se utilizaron demostraciones reales de Booster con información completa sobre éxito, telemetría y observaciones para el entrenamiento. Tras realizar un preentrenamiento continuo full-parameter del Pi0.5 con estos datos, se adaptó a las tareas del bolígrafo y el estuche de audífonos. Con 30 demostraciones por tarea, el modelo específico de Booster realizó correctamente la secuencia: acercarse - cerrar el gripper - mover hacia arriba en 14 de 16 intentos. El modelo original Pi0.5 logró solo 6/16 bajo las mismas condiciones y 10/16 cuando se aumentaron las demostraciones a 60. Antes del entrenamiento adicional por tarea, incluso en simulación zero-shot, la distancia promedio muñeca-objetivo disminuyó de 17,27 cm a 5,78 cm, y el movimiento del brazo no comandado disminuyó de 5,04 rad a 0,25 rad. Estas métricas son resultados del experimento colaborativo entre Axis y Booster. Aún no se han publicado estudios independientes que hayan replicado estos resultados. La evaluación de bajo volumen de datos (10 demostraciones reales + 50 simulaciones) se realizó en el robot físico Booster; las comparaciones con 30 y 60 demostraciones del modelo específico de Booster se realizaron en Isaac Sim. No es posible consolidar los números obtenidos en ambas evaluaciones como una única métrica de rendimiento en un robot físico. Las trayectorias de simulación generadas en Axis Hub se utilizaron para diversificar la disposición del objeto y las condiciones visuales; las demostraciones reales de Booster incorporaron al entrenamiento las características físicas del robot: contacto y ejecución. Los datos organizados de múltiples tareas también contribuyeron a crear un modelo inicial familiarizado con la estructura y el sistema de control de Booster.Trajectory recopilado en el navegador se utilizó realmente para la evaluación del robot físico de Booster y el entrenamiento inicial del modelo. #PhysicalAI #RobotLearning