Le laboratoire Noah's Ark de Huawei a lancé le système RoboHarness, qui utilise un Coding Agent pour coordonner des stratégies hétérogènes telles que VLA, WAM, RL et TAMP, permettant d'accomplir des tâches à long terme en zéro échantillon. Le système intègre trois types de compétences : compréhension, mémoire et évolution. Le module Memory Bridge résout le problème de décalage de distribution d'état lors du changement de stratégie, avec un taux de réussite de 86 % lors des expériences. Ce travail marque une évolution de l'intelligence incarnée, passant d'un modèle unique à une orchestration systémique.Auteur et source de l'article : Leifengwang
Imaginez une telle tâche : ouvrir la porte du placard, trouver les blocs de construction cachés à l'intérieur, puis les assembler pour construire un pont.
Pour les humains, c’est une chose très simple, avec plusieurs mouvements qui s’enchaînent naturellement, même un enfant de maternelle peut y parvenir.
Mais pour un robot, cette tâche couvre plusieurs capacités entièrement différentes : trouver les blocs, ce qui nécessite une compréhension visuelle et le suivi d'instructions linguistiques ; ouvrir une porte de placard, ce qui exige une interaction complexe avec l'environnement ; et assembler les blocs, ce qui requiert une planification géométrique et une manipulation précise ainsi que la capacité de prédire les changements environnementaux.
Plus problématique encore, ces capacités appartiennent à des modèles provenant de plusieurs « écoles » distinctes : les VLA (modèles vision-langage-action), les WAM (modèles monde-action), les stratégies RL (apprentissage par renforcement) et les TAMP (planification des tâches et des mouvements). Chacun possède ses propres forces, mais ils sont isolés les uns des autres, avec des méthodes d'entraînement, des formats d'entrée et des espaces d'état différents.
Aujourd'hui, dans le domaine des robots, les capacités ne manquent pas, mais la collaboration fait défaut.
Le laboratoire Noah's Ark de Huawei a récemment publié un article de recherche présentant le système RoboHarness, conçu pour résoudre le problème de l'incapacité des différentes stratégies à collaborer. Les auteurs de cet article ont échangé avec nous (LeiFengNet) autour de ce travail.
Article : https://arxiv.org/abs/2607.18060
Page du projet : https://www.robo-harness.com/
01 Le fossé entre l'illusion et la réalité du modèle universel
Cet été, plusieurs travaux axés sur Harness ont émergé de manière intensive dans le domaine de la recherche sur les robots, convergent tous vers une même conviction : résoudre tout avec des modèles plus grands n'est pour l'instant pas viable ; les robots ont besoin d'un système d'organisation de l'exécution.
L'équipe du professeur Yu Chao de l'Université Tsinghua a publié Harness VLA en juillet, introduisant la couche Harness, largement utilisée dans l'intelligence numérique, dans l'intelligence incarnée. Cela permet à un VLA gelé de se concentrer sur les manipulations intensives en contact pour lesquelles il est le plus compétent, tout en utilisant une couche Harness pour apprendre quand et comment l'appeler, ainsi que comment réinitialiser et réessayer après un échec du VLA. Dans les évaluations de perturbation LIBERO-Pro, ce système a augmenté le taux de réussite de 50 % à 82,4 %.
Sur le plan conceptuel, Harness VLA résout la question de la stabilité d'un modèle face à des perturbations hors distribution. Son problème réside dans la stabilité d'une seule stratégie.
RoboHarness du laboratoire Noah's Ark de Huawei fait face à un autre niveau de problème : que faire lorsque la tâche dépasse les limites de capacité de n'importe quel modèle ?
Les deux s'appellent Harness et utilisent tous deux Coding Agent comme couche d'organisation, mais ils résolvent des défis à des niveaux différents. Le premier permet à un spécialiste de devenir plus stable, tandis que le second permet à un groupe de spécialistes aux compétences variées de travailler ensemble. À mesure que la complexité des tâches des robots augmente, ce dernier problème devient de plus en plus incontournable.
La racine de cette question réside dans les limites des capacités des différents modèles.
Le modèle VLA excelle à comprendre des instructions linguistiques ouvertes et à généraliser dans de nouveaux environnements, mais sa génération end-to-end d'actions peine à maintenir une cohérence sur des tâches de longue durée ; les stratégies d'apprentissage par renforcement permettent d'obtenir des comportements en boucle fermée stables dans des scénarios d'entraînement spécifiques, mais cette stabilité dépend fortement de la distribution d'entraînement et peut échouer avec de légères variations de l'environnement ; le TAMP est performant en matière de raisonnement symbolique et de contraintes géométriques, mais nécessite la définition préalable d'actions primitives et peine rapidement face à des scénarios ouverts et des objectifs vagues ; le WAM peut aider à la prise de décision sur de longues séquences en prédisant les états futurs, mais il est sujet à une accumulation d'erreurs à mesure que la portée de la prédiction s'allonge.
Les tâches réelles complexes exigent simultanément la compréhension sémantique, la planification géométrique, le contrôle en boucle fermée, le raisonnement sur de longues séries temporelles et la prédiction des changements environnementaux ; ces capacités correspondent à des objectifs d'entraînement différents, parfois même contradictoires. Il existe un fossé immense, encore non franchi, entre les avancées individuelles dans chacune de ces capacités et la capacité d'un seul modèle à les combiner de manière stable et durable dans un environnement ouvert.
Le point de départ de RoboHarness est précisément : au lieu d'attendre que ce fossé soit comblé, il vaut mieux faire véritablement collaborer les modèles déjà existants, chacun ayant ses propres forces. L'auteur estime que, tant qu'aucun modèle ne parviendra à dominer complètement tous les autres et à afficher une suprématie absolue, une telle architecture d'orchestration reste très significative.
Ce travail n'est pas apparu de nulle part. L'auteur nous informe (Lei Fengwang) que le prototype de RoboHarness est né de l'expérience vécue l'année dernière lors de la participation au BEHAVIOR Challenge, un concours mondial de robotique. Les tâches du concours étaient longues et complexes, et l'équipe s'est rendu compte que ni l'entraînement end-to-end des VLA ni les modèles tels que l'imitation de comportement ne pouvaient couvrir la difficulté intrinsèque des tâches. Ce revers a permis à l'équipe de mieux identifier le problème réel.
02 Comment le cerveau de planification décide qui doit entrer en jeu
L'idée centrale de RoboHarness consiste à encapsuler des systèmes de contrôle développés indépendamment, tels que VLA, WAM, les stratégies RL et TAMP, en des compétences agentic pouvant être orchestrées de manière unifiée, avec un Coding Agent chargé des décisions de haut niveau.
Cette conception repose sur une hypothèse fondamentale : ne pas modifier ni réentraîner aucune stratégie sous-jacente. Chaque stratégie conserve sa mise en œuvre originale et n'a pas besoin de partager la structure du modèle, l'espace d'actions ou les données d'entraînement. RoboHarness ajoute simplement une couche d'organisation au-dessus d'elles.
Choisir la bonne stratégie n'est pas aussi facile qu'il n'y paraît.
Pour un agent de codage, il est difficile de déterminer de manière fiable à qui attribuer cette tâche uniquement à partir d'entrées d'images brutes. Car cette décision cache de nombreuses questions quantitatives que les modèles linguistiques ne peuvent pas résoudre par compréhension sémantique. Il peut comprendre comment placer un verre sur un plateau, mais ne peut pas calculer à partir d'une image RGB la similarité entre le scénario actuel et la distribution d'entraînement d'une stratégie, ni évaluer la fiabilité des données des capteurs à cet instant.
Pour résoudre ce problème, le système a conçu trois types de compétences auxiliaires spécifiquement conçues pour extraire les informations nécessaires à l'agent de codage.
Comprendre les compétences, chargé de transformer les entrées brutes en signaux quantifiables, tels que : la similarité entre les embeddings d'images et les données d'entraînement de chaque stratégie, la stabilité de la pose des objets dans une fenêtre temporelle, ou encore si l'éclairage et la qualité d'image actuels répondent aux critères requis. Ces indicateurs constituent la véritable base du routage des stratégies. L'auteur estime que l'essence de ce module réside dans la mesure multidimensionnelle de la pertinence de chaque stratégie pour la tâche actuelle.
Memory Skills, récupère les expériences d'exécution passées pour servir de référence dans le choix de la stratégie, et utilise Memory Bridge pour gérer les incompatibilités de distribution d'état entre les stratégies — c'est la conception la plus fondamentale du système, développée en détail ci-dessous.
Evolution Skills, met à jour en continu les métadonnées et la logique d'orchestration des stratégies à l'aide de retours en ligne, permettant au système d'apprendre à chaque exécution plutôt que de réévaluer chaque nouvelle situation depuis zéro.
Les flux d'informations des trois types de compétences interagissent ensemble pour soutenir la prise de décision de l'Agent de codage. Dans la pratique, ce mécanisme joue deux rôles principaux : d'abord, la décomposition des tâches, qui consiste à diviser les instructions longues en sous-tâches adaptées à différentes stratégies ; ensuite, le changement dynamique, qui permet au système de basculer rapidement vers une stratégie plus appropriée lorsque la stratégie actuelle approche ses limites de capacité, assurant ainsi une complémentarité des compétences entre les différentes stratégies.
L'article présente une série d'expériences d'ablation pour illustrer la contribution respective de ces deux couches : utiliser uniquement le modèle linguistique pour décomposer la tâche et la renvoyer à pi0.5 augmente déjà considérablement le taux de réussite ; ajouter ensuite plusieurs stratégies hétérogènes permet une amélioration encore plus significative du taux de réussite. Bien décomposer est la première étape, bien attribuer est la seconde ; les deux sont indispensables.
Mais il y a un troisième problème, le plus difficile, que la simple sélection de stratégie ne peut résoudre.
03 Le moment du relais détermine la victoire.
Deux stratégies entraînées indépendamment vivent généralement dans leurs propres mondes de données. Leurs formats d'entrée diffèrent et leurs distributions d'expériences sur l'état du robot sont également différentes. La position à laquelle l'opération TAMP s'arrête tombe probablement exactement dans un espace d'états que la VLA n'a jamais traités et ne peut pas démarrer de manière stable.
C'est un défi unique à l'orchestration de stratégies hétérogènes.
Ainsi, le Memory Bridge, chargé d'assurer une transition fluide entre les deux stratégies, est classé par l'auteur comme le module le plus important de RoboHarness. Il admet qu'à l'avenir, si un modèle généraliste pouvait couvrir parfaitement tout l'espace d'état, le Memory Bridge pourrait devenir inutile ; mais dans l'état actuel, tout modèle risque facilement de tomber en dehors de sa distribution de compétences au moment de la transition.
Le fonctionnement de Memory Bridge se décompose en trois étapes.
Recherche : selon la sous-tâche suivante et l'observation actuelle, identifiez les Top-K trajectoires similaires dans la mémoire multimodale qui ont précédemment réussi à exécuter la stratégie cible, en utilisant la similarité textuelle et visuelle ; extrayez les états du robot, tels que la pose de l'effecteur final et les angles des articulations.
Modélisation : attribuer des signaux de supervision en fonction de la progression relative des états dans la trajectoire, et ajuster en temps réel par régression en ligne la plage d'états ciblés pour la stratégie « prendre en charge ».
Pont : échantillonnez et évaluez les états candidats en tenant compte à la fois de la confiance d'atteindre la zone de confort de la stratégie cible et du coût du mouvement, afin de sélectionner le cible de pontage la plus appropriée et de générer une trajectoire de transition ; une fois que le robot atteint cet état, le contrôle est transféré à la stratégie suivante.
Ce mécanisme s'appuie entièrement sur l'apprentissage en ligne à partir de données historiques d'exécution, permettant une utilisation plug-and-play pour n'importe quelle stratégie, sans nécessiter de modification de l'implémentation sous-jacente ni d'entraînement conjoint.
Dans les expériences d'ablation, la suppression du Memory Bridge entraîne une baisse modérée de la progression des tâches, ce qui indique que le choix des stratégies reste globalement correct ; toutefois, le taux de réussite complet chute brutalement de 86,0 % à 60,4 %. De nombreuses tâches atteignent la dernière étape mais échouent en raison d'incompatibilités d'état lors du transfert, ce qui démontre la valeur du Memory Bridge.
04 Deux lignées techniques, un croisement silencieux
En élargissant le cadre au-delà de cet article, nous souhaitons décrire un paysage plus vaste des technologies incarnées.
L'auteur de RoboHarness a observé que, dans le contexte du développement rapide de VLA au cours des trois dernières années, les TAMP traditionnels et la planification hiérarchique, dont la capacité de généralisation dans des scénarios ouverts est nettement inférieure à celle des VLA end-to-end, avaient temporairement perdu l'attention de la communauté. Toutefois, avec les progrès rapides cette année dans les systèmes agentic et les agents de codage, les architectures hiérarchiques ont retrouvé une nouvelle vitalité : un agent de haut niveau peut décomposer les tâches, appeler des outils et effectuer une planification dynamique en s'appuyant sur des compétences composites, renforçant ainsi considérablement la capacité de généralisation et l'adaptabilité des méthodes hiérarchiques traditionnelles. En conséquence, la communauté académique réexamine ces approches et explore désormais comment associer un raisonnement de haut niveau fortement généralisable à des stratégies hétérogènes de bas niveau.
L'auteur de cet article provient de plusieurs universités et institutions de recherche de l'est du Canada. L'auteur observe que la recherche robotique en Amérique du Nord a longtemps été marquée par deux lignes techniques aux origines académiques distinctes : sur la côte ouest américaine, représentée par Stanford, Berkeley, etc., l'accent est mis sur l'apprentissage et la mise à l'échelle, avec une attention portée à l'apprentissage end-to-end, à la taille des données et à la généralisation des modèles ; tandis que dans le nord-est des États-Unis et au Canada, représenté par le MIT, l'Université de Toronto, MILA, etc., on accorde traditionnellement une plus grande importance aux architectures hiérarchiques, au raisonnement symbolique, à la planification logique et à la prise de décision structurée.
Les auteurs de RoboHarness se situent sur la prolongation de cette dernière lignée.
La divergence des approches technologiques a laissé une empreinte claire dans l'industrie de l'intelligence incarnée. Ces dernières années, les équipes en forte croissance ont progressivement formé une filière technologique allant du scaling des modèles fondationnels à la hiérarchie agente : d'une part, certaines mettent l'accent sur des modèles fondationnels incarnés universels, les VLA et les modèles du monde, en élargissant constamment les limites de la généralisation grâce à l'unification des modèles, à l'augmentation des données et à l'amélioration des capacités des modèles ; d'autre part, d'autres privilégient les compétences opérationnelles réutilisables et les architectures hiérarchiques, en accomplissant des tâches complexes par la planification des tâches, la combinaison de compétences et la coordination du contrôle de bas niveau. En Chine, les équipes représentées par Zhiyuan s'approchent davantage de la première approche, tandis que Suduo Technology, Magic Atom, etc., mettent davantage l'accent sur la seconde ; à l'étranger, la série pi de Physical Intelligence a longtemps incarné la voie du scaling, tandis que Gemini Robotics perpétue la tradition hiérarchique du « raisonnement et planification de haut niveau + exécution de compétences de bas niveau ».
Il est intéressant de noter que cette divergence technologique n’est pas une opposition statique, mais un processus évolutif qui crée des complémentarités. Au cours des derniers mois, ces deux voies technologiques ont commencé à converger de manière marquée. Par exemple, Physical Intelligence a placé la contrôlabilité et les combinaisons de compétences au cœur de pi0.7 ; simultanément, des équipes comme NVIDIA continuent de développer des systèmes robotiques agentic plus hiérarchisés, intégrant les capacités de compréhension et de raisonnement des modèles fondationnels avec les VLA. Globalement, le scaling des modèles fondationnels et la hiérarchie agentic évoluent progressivement de deux voies technologiques relativement indépendantes vers des capacités complémentaires au sein d’un même système robotique.
05 Par l'orchestration, vers une intelligence plus universelle
RoboHarness présente des limites claires : il peut planifier des stratégies existantes, mais ne peut pas accomplir ce que toutes les stratégies sont incapables de faire. La fiabilité de Memory Bridge dépend de données historiques d'exécution suffisantes ; l'évaluation des capacités des nouvelles stratégies intégrées comporte une grande incertitude durant les premières phases.
L'argument central de l'article n'est pas de nier la nécessité d'un modèle unifié.
L'auteur souligne que l'orchestration de tâches à long terme ne se limite pas à la combinaison des capacités existantes, mais génère également en continu des données d'exécution transversales et inter-contextes que les modèles individuels ne peuvent pas obtenir seuls. Ces données enregistrent les transitions, les connexions, les récupérations en cas d'échec et les processus de collaboration entre différentes stratégies, et pourraient justement devenir une source importante pour former la prochaine génération de modèles de robots généraux. Sur la base de cette approche, l'équipe RoboHarness explore également l'idée de réutiliser les données générées lors de l'orchestration et de l'exécution hybrides pour entraîner à nouveau les stratégies sous-jacentes, permettant ainsi aux expériences d'orchestration hétérogènes de renforcer davantage les capacités fondamentales du modèle.
De la recherche du modèle le plus puissant à l'organisation des compétences les plus adaptées, la concurrence en matière d'intelligence incarnée s'étend silencieusement au niveau de la conception des systèmes. L'orchestration de stratégies hétérogènes et le modèle unifié représentent deux ascensions le long de crêtes distinctes, qui aboutissent toutes deux au même horizon : doter les robots d'une intelligence plus universelle et plus fiable.