La véritable compétence dans la simulation vers le réel réside peut-être à savoir ce qu’il ne faut pas randomiser. Une phrase discrète dans le dernier bulletin hebdomadaire de @axisrobotics m’a interpellé : la randomisation de domaine maintient désormais les objets articulés fixes tout en variant le reste de la scène. Cette distinction est cruciale. La diversité synthétique est utile jusqu’au moment où les variations modifient la structure même du savoir-faire que l’on cherche à enseigner. Une politique d’apprentissage des tiroirs ou armoires doit expérimenter des conditions environnantes différentes sans perdre constamment l’interaction stable nécessaire pour la comprendre. Le problème n’est donc pas : quelle quantité de variation pouvons-nous générer ? Mais : quelles variables doivent changer, et lesquelles doivent rester invariantes ? Cela transforme la randomisation de domaine d’un truc de volume en une décision d’ingénierie sur ce que le robot doit apprendre à ignorer. Plus de données synthétiques n’est pas automatiquement mieux. Une variation mieux contrôlée l’est.