[10 démonstrations réelles : 0/20 contacts avec l'objet. Ajoutez 50 trajectoires de simulation : 17/20] @KaitoAI X @axisrobotics Lien de participation Axis (référence) : https://t.co/hUbWSVsBVR Apprendre de nouvelles tâches à un robot nécessite beaucoup de temps et de coûts pour collecter des données de démonstration sur du matériel réel. Il faut préparer le robot, ajuster l’espace de travail, puis enregistrer des dizaines, voire des centaines d’essais en pilotant manuellement l’action ; et si l’objet ou l’environnement change, de nouvelles données sont nécessaires. Axis et @boosterobotics ont récemment mené une expérience en combinant des trajectoires de simulation Axis avec des démonstrations réelles sur le robot dual-arm de Booster, afin d’évaluer comment cela affecte l’apprentissage. Les tâches utilisées étaient la prise d’un stylo et la prise d’un étui d’écouteurs. Chaque action a été évaluée séparément : contact avec l’objet, saisie par le gripper, et levée effective. Toutes les politiques ont démarré à partir du même point de contrôle du modèle Pi0.5. Dans Axis Suite, il est possible de capturer brièvement l’espace de travail réel et d’utiliser un modèle 2D-vers-3D pré-entraîné pour créer un jumeau numérique adapté à la tâche. La scène générée est déployée sur Axis Hub, permettant à plusieurs contributeurs, même sans accès à un robot physique, de générer des trajectoires de simulation pour la même tâche. Les positions des objets, les angles de caméra, l’éclairage, les matériaux, les arrière-plans et les objets environnants peuvent être modifiés pour exécuter la même tâche dans diverses conditions. L’expérience à faible nombre de données avec les étuis d’écouteurs a utilisé 10 démonstrations réelles. La politique apprise avec ces seules données n’a jamais réussi à entrer en contact avec l’objet lors de 20 exécutions sur le robot physique Booster. En conservant les 10 démonstrations réelles et en ajoutant 50 trajectoires de simulation Axis, la politique a atteint 17 contacts sur 20 essais. Six essais ont atteint la phase de saisie, dont deux ont réussi à soulever l’étui d’écouteurs. Lors d’évaluations plus importantes sur robot physique, plusieurs combinaisons ont été testées. Pour la tâche du stylo, la politique « uniquement réelle » a obtenu un taux de levée de 35 % ; avec 67 % de simulation, ce taux est passé à 40 %. Pour l’étui d’écouteurs, la politique « uniquement réelle » a atteint 30 %, tandis que celle avec 50 % de simulation a atteint 40 %. Chaque condition a été exécutée 20 fois sur le robot physique, pour un total de 240 rollout d’évaluation. En simulation, il est possible de modifier rapidement les conditions — position des objets, angle de vue, arrière-plan — pour générer des données répétées. Les démonstrations réelles intègrent des informations propres au matériel physique : caractéristiques de la caméra, réponse des actionneurs, temporisation du gripper, erreurs de contact et d’exécution. Pour ces deux tâches, le taux de levée le plus élevé a été obtenu en combinant les démonstrations réelles avec des données de simulation adaptées à la tâche. Axis et Booster ont également créé un modèle initial adapté à Booster en utilisant les données collectées sur plusieurs tâches. Ce modèle apprend au préalable la disposition des caméras de Booster, ses deux bras 7-DoF, ses grippers, sa représentation des actions et ses mouvements fondamentaux avant d’être adapté à une nouvelle tâche. Les données de simulation initiales comprenaient 44 039 épisodes provenant de 95 dépôts et 76 commandes linguistiques. Après avoir éliminé les trajectoires statiques et celles où il était difficile de distinguer les bras utilisés, il restait 42 046 épisodes et 3 249 835 images — soit environ 180,55 heures à une fréquence de 5 Hz. Les démonstrations réelles de Booster incluaient également les métadonnées de réussite, telemetry et observations. En utilisant ces données, Pi0.5 a été soumis à un pré-entraînement continu en paramètres complets, puis adapté aux tâches du stylo et de l’étui d’écouteurs. Avec 30 démonstrations par tâche, le modèle spécifique Booster a effectué correctement la séquence « approche — fermeture du gripper — élévation » dans 14 cas sur 16. Le modèle Pi0.5 original n’a réussi que dans 6 cas sur 16 dans les mêmes conditions, et dans 10 cas sur 16 lorsque le nombre de démonstrations a été porté à 60. Avant tout apprentissage supplémentaire par tâche, même en simulation zero-shot, la distance moyenne poignet-cible est passée de 17,27 cm à 5,78 cm, et le déplacement du bras non commandé est passé de 5,04 rad à 0,25 rad. Ces chiffres proviennent des expériences collaboratives menées par Axis et Booster. Aucune étude indépendante n’a encore reproduit ces résultats. L’évaluation à faible nombre de données (10 démonstrations réelles + 50 simulations) a été effectuée sur le robot physique Booster ; les comparaisons entre 30 et 60 démonstrations pour le modèle spécifique Booster ont été réalisées sur Isaac Sim. Les chiffres issus de ces deux évaluations ne peuvent pas être regroupés en une seule métrique de performance sur robot physique. Les trajectoires de simulation générées sur Axis Hub ont été utilisées pour varier la disposition des objets et les conditions visuelles ; les démonstrations réelles de Booster ont intégré les caractéristiques physiques du robot — contacts et exécution — dans l’apprentissage. Les données consolidées provenant de plusieurs tâches ont également servi à construire un modèle initial familiarisé avec la structure et la commande de Booster.Les Trajectory collectés dans le navigateur ont été effectivement utilisés pour l'évaluation physique du robot Booster et l'apprentissage initial du modèle. #PhysicalAI #RobotLearning