Il s'agit d'un pipeline de travail de @axisrobotics pour la création de jeux de données et l'entraînement de robots ou d'IA physique. Il comporte 5 étapes principales : 1. Génération de tâches et normalisation des actifs Créer une tâche à partir d'un prompt textuel et préparer des actifs comme des modèles 3D afin qu'ils puissent être utilisés dans le simulateur. 2. Téléopération basée sur le web Des humains contrôlent virtuellement des robots via le web pour accomplir des tâches. Ces mouvements sont enregistrés sous forme de données de démonstration / trajectoires. 3. Nettoyage et raffinement hors ligne des données Les données collectées sont nettoyées, par exemple : - Filtrage de qualité - Suppression des hésitations - Lissage des trajectoires Le résultat est des trajectoires raffinées. 4. Augmentation réaliste Les données nettoyées sont multipliées avec des variations : - Variation visuelle - Variation de pose - Injection de bruit - Variation dynamique L'objectif est de rendre le robot plus robuste et capable de généraliser. 5. Apprentissage de la politique et validation dans le monde réel Le jeu de données est utilisé pour l'apprentissage de la politique, puis nous effectuons un transfert sim à réel et testons sur un robot dans le monde réel. Ce pipeline est donc essentiel pour expliquer comment Axis construit un moteur de données pour l'IA physique. Axis cherche à créer un pipeline complet, de la génération de tâches jusqu'à ce que le robot soit capable d'exécuter la tâche dans le monde réel. Source : 🔗https://t.co/nYmkIWawKY