Le robot autonome Xiangzi lance son premier modèle mondial autoregressif de prochaine échelle, WALL-SS, conçu pour résoudre le problème d'incohérence causale entre les actions et les résultats dans les modèles mondiaux des robots. Grâce à un mécanisme de prédiction hiérarchique allant du global au détaillé, ce modèle assure une correspondance précise entre chaque action et son résultat respectif, permettant une simulation continue jusqu'à 60 secondes. Les tests montrent que le score de suivi des actions de WALL-SS atteint 0,29, bien au-delà des 0,044 de Cosmos3-Nano. Xiangzi a réalisé 600 expériences en paires virtuel-réel, avec un coefficient de corrélation de 0,926 pour le taux de réussite des tâches, démontrant que le modèle mondial permet aux robots de valider préalablement leurs stratégies dans un environnement virtuel.

Auteur et source de l'article : GeekPark

La prochaine compétition dans les modèles mondiaux des robots ne sera peut-être pas la qualité d'image, mais l'architecture.

Auteur | Li Yuan

Édité par Zheng Xuan

La pince d’un bras mécanique ne saisit pas le verre, pourtant le verre monte avec la pince comme s’il était attiré par un aimant. Ce problème apparemment absurde trouble les modèles robotiques, et l’industrie l’appelle même « saisie magnétique ».

Les modèles de génération vidéo accomplissent leur tâche dès lors que les images semblent raisonnables ; mais les modèles du monde ne peuvent se contenter de « paraître réels ». La plupart des données d'entraînement pour les robots proviennent de démonstrations réussies, ce qui pousse les modèles à adopter des raccourcis : au lieu de comprendre les subtilités des mouvements, ils génèrent directement le résultat le plus probable en se basant sur les images.

Dans le monde réel, un décalage de quelques millimètres dans la position des pinces peut faire passer le résultat de la prise à l'renversement du verre ou même à l'échec de la prise. Ce que le modèle du monde doit vraiment comprendre, c'est la relation causale entre l'action et le résultat.

Le 27 août, l'agent autonome a lancé le modèle mondial régressif de prochaine échelle, WALL-SS, visant à faire passer les modèles mondiaux de « fonctionnels » à « intuitifs ». WALL-SS ne génère pas toute l'image en une seule fois, mais dessine l'avenir de manière progressive, du grossier au fin, permettant à chaque action de correspondre précisément à un résultat spécifique ; en combinant en outre un mécanisme de mémoire à long terme, il réalise une inférence continue jusqu'à 60 secondes.

Les tests montrent qu'après 60 secondes d'inférence continue, WALL-SS conserve une image et une trajectoire de mouvement plus proches de la vidéo réelle, avec un score de suivi des mouvements de 0,29, contre 0,044 pour Cosmos3-Nano, tandis que les autres modèles testés obtiennent exactement 0. On peut dire que WALL-SS est l'un des rares modèles dont la prédiction visuelle suit les commandes de mouvement.

Zi Variable annonce également le lancement de WALL-SS. Pour les modèles mondiaux de robots dont la trajectoire technologique n'est pas encore unifiée, le lancement ne se limite pas à ouvrir un modèle, mais vise également à permettre à l'industrie de vérifier collectivement : les modèles mondiaux effectuent-ils des prédictions basées sur les actions, et les simulations virtuelles peuvent-elles véritablement servir les robots réels ?

Lorsque le paradigme technologique n'est pas encore convergé, l'exploration continue est en soi un avantage concurrentiel. L'intelligence incarnée nécessite non seulement des matériels déployés rapidement, mais aussi des entreprises capables de remettre en question les approches établies et d'élargir les frontières des technologies fondamentales.

Modèles mondiaux, la voie principale vers l'intelligence incarnée

En 2026, les modèles mondiaux deviennent l'une des directions technologiques les plus surveillées dans le domaine de la robotique.

NVIDIA continue d'itérer Cosmos et commence à utiliser des modèles vidéo du monde pour la commande et la planification robotiques ; V-JEPA 2 de Meta tente de permettre aux robots d'accomplir des saisies dans des environnements inconnus en prédisant les changements du monde physique. De plus en plus d'études explorent également l'utilisation de modèles du monde pour remplacer部分 des tests sur robots réels, permettant aux robots de prédire les résultats de différentes stratégies dans un monde virtuel avant d'agir.

Comprendre cette vague n’est pas compliqué. Les grands modèles linguistiques apprennent les règles du langage en prédisant le mot suivant, tandis que les modèles du monde prédisent l’état suivant du monde : le robot se déplace-t-il vers la gauche, le verre va-t-il tomber ; le préhenseur serre-t-il un peu plus fort, l’objet peut-il être saisi ; si un mouvement est répété pendant dix secondes, comment le scénario évoluera-t-il finalement ?

Cela est particulièrement important pour les intelligences incarnées. Au cours des dernières années, l'industrie s'est principalement concentrée sur la question de la manière dont les robots « font » les choses ; les VLA peuvent générer directement des actions à partir d'instructions visuelles et linguistiques. Mais à mesure que les capacités des robots s'améliorent, une nouvelle question devient de plus en plus prégnante : comment déterminer si une stratégie est bonne ou non ?

Si chaque itération du modèle dépendait de tests sur appareil réel, les coûts seraient élevés et les cycles longs, devenant facilement un goulot d'étranglement pour l'entraînement et l'itération. Bien que la simulation traditionnelle puisse assumer une partie des tests, elle nécessite une modélisation manuelle des matériaux, du frottement, de la déformation et des relations de contact, ce qui rend difficile la couverture de la complexité du monde réel. Les modèles mondiaux cherchent quant à eux à apprendre comment le monde évolue à partir de vidéos réelles et de données d'interaction avec des robots, permettant aux robots de prédire et de valider répétitivement leurs stratégies dans un environnement virtuel.

Il peut même participer davantage à la prise de décision du robot. Après avoir vu le verre, VLA décide directement « d'étendre la main pour le saisir », tandis que le modèle du monde peut d'abord prédire les conséquences de différentes actions, puis aider le robot à choisir une stratégie plus adaptée — en passant de « l'action directe » à « imaginer d'abord, puis agir ».

Mais pour devenir véritablement l'infrastructure de l'intelligence incarnée, les modèles mondiaux d'aujourd'hui doivent encore surmonter trois obstacles majeurs.

La première est la cohérence causale entre l'action et le résultat. Le modèle ne doit pas seulement générer des images conformes aux attentes, mais doit refléter avec précision les conséquences de l'action ; sinon, une stratégie qui ne peut pas réellement saisir un verre pourrait être considérée comme réussie dans le monde virtuel.

Deuxièmement, la capacité de prévision à long terme. Les tâches des robots durent souvent plusieurs dizaines de secondes ou plus, et le modèle doit continuellement utiliser ses prédictions comme entrée pour l'instant suivant, où toute petite erreur peut s'accumuler au fil de la prévision.

Troisièmement, la cohérence entre la simulation virtuelle et l'opération réelle. Même si la génération est réaliste et les scénarios poussés loin, cela ne signifie pas que le modèle est capable d'évaluer réellement les stratégies du robot. Seule une corrélation stable entre les performances dans le monde virtuel et les résultats réels confère au modèle du monde une véritable valeur de substitution aux essais et erreurs réels.

Ces trois barrières deviennent également le cœur de la prochaine phase de la concurrence entre les modèles mondiaux.

WALL-SS, amélioration de la modèle mondial depuis la base architecturale

WALL-SS constitue une nouvelle tentative visant à résoudre ces problèmes. Selon l'article, c'est le premier modèle mondial à adopter une architecture d'auto-régression à l'échelle suivante.

Auparavant, de nombreux modèles mondiaux ont adopté l'approche de la diffusion vidéo : en entrée, ils prennent des images historiques et des actions, puis génèrent une vidéo future par plusieurs étapes de débruitage. Bien que les actions servent de condition de génération, elles ne sont pas explicitement intégrées dans la chaîne de génération « action → résultat », ce qui fait que le modèle a tendance à s'appuyer sur des prévisions visuelles et à prédire directement un avenir « probablement réussi » — même si la pince n'a pas réellement saisi le verre, il peut tout de même générer une image du verre being correctement levé.

WALL-SS organise les observations et les actions en séquences causales « observation—action—nouvelle observation », permettant aux actions de participer activement à la génération des états futurs. En termes simples, il s'agit d'abord de déterminer comment le monde évolue, puis de compléter progressivement les détails : une échelle grossière définit l'état global du bras mécanique et des objets, tandis qu'une échelle fine affiner le mouvement et les contacts. Associé à des données d'échec, de reprise et de correction, le modèle apprend ainsi que « des actions différentes produisent des résultats différents ».

Cette capacité est validée par les indicateurs. Le score de suivi des actions de WALL-SS atteint 0,29, avec une précision de trajectoire de 0,539 ; en comparaison, le score de suivi des actions de Cosmos3-Nano n'est que de 0,044. Les autres modèles obtiennent un score de 0.

Un autre problème clé est de savoir si le modèle mondial peut « se souvenir suffisamment longtemps ». WALL-SS conserve les détails récents via une mémoire longue durée à plusieurs échelles, compresse les historiques lointains et permet au modèle de continuer à prédire à partir de ses propres prédictions pendant l'entraînement, réduisant ainsi le problème d'accumulation d'erreurs. Cela permet au modèle de prédire continuellement pendant 60 secondes, alors que d'autres modèles atteignent déjà leur limite à 20 à 30 secondes.

Plus important encore, ces capacités ont été finalement testées sur des machines réelles. Les variables indépendantes ont fait exécuter la même stratégie à la fois sur WALL-SS et sur des robots réels, réalisant 600 paires d'expériences virtuelles et réelles. Les résultats montrent un coefficient de corrélation de 0,926 entre les taux de réussite des tâches, et une précision de 89 % pour le classement de la force relative des différentes stratégies.

Cela signifie que les modèles mondiaux commencent à acquérir une valeur plus importante : non seulement générer des futurs « réalistes », mais aussi aider les robots à évaluer les conséquences de différentes actions et à valider des stratégies à l'avance dans un monde virtuel.

Of course, WALL-SS still has limitations. Its action inputs primarily consist of the end-effector position, orientation, and gripper opening/closing, and do not include full joint states, forces, or torques; therefore, support for fine contact and multi-finger dexterous hands still requires further validation.

Continuez à innover sur l'architecture tant que la route n'est pas convergente.

WALL-SS n'est pas le résultat soudain d'une poursuite de la tendance des modèles mondiaux. Au cours de la dernière année, Self-Variable a constamment exploré la même question : comment relier véritablement la compréhension du monde par les robots, les prédictions d'actions et leur exécution réelle.

WALL-OSS intègre la vision, le langage et les actions robotiques dans un seul modèle fondamental incarné grâce à un pré-entraînement multimodal à grande échelle ; WALL-OSS-0.5 pousse davantage la capacité de pré-entraînement vers les robots réels ; ensuite, WALL-WM commence à modéliser conjointement les changements du monde et les actions robotiques, tandis que X-Tokenizer explore comment différents robots et différentes actions peuvent être intégrés dans un modèle unifié. Avec WALL-SS, cette approche se dirige vers une question centrale : qu'arrive-t-il au monde après l'exécution d'une action ?

À travers cette série d'explorations, se manifeste un engagement à long terme sur la modélisation unifiée du « monde-action ». Les robots doivent non seulement être capables d'agir, mais aussi de prédire les conséquences de leurs actions et d'ajuster continuellement leur comportement en fonction des résultats. Au fur et à mesure que les modèles, les données, les ontologies et les expériences sur les machines réelles s'accumulent, ces explorations forment progressivement une boucle technologique rétroactive.

L'architecture de l'intelligence incarnée n'est pas encore convergente. À ce stade, ce qui compte vraiment, ce n'est pas que chaque essai tombe sur la bonne réponse finale, mais plutôt la capacité à formuler continuellement de nouvelles hypothèses architecturales, à les valider avec des données et des machines réelles, puis à ajuster constamment la trajectoire en fonction des résultats.

Cette annonce de lancement de WALL-SS prolonge cette approche. Il ne s'agit pas seulement de publier un modèle, mais bien d'une voie technologique susceptible d'être validée collectivement par l'industrie : l'auto-régression à la prochaine échelle est-elle plus adaptée aux robots ? Les actions et leurs résultats peuvent-elles véritablement correspondre ? Les tests virtuels reflètent-ils fidèlement les performances réelles ? Les chercheurs peuvent poursuivre leurs explorations sur cette base, et les entreprises robotiques peuvent directement vérifier si cette approche peut être intégrée à leurs propres systèmes d'entraînement et d'évaluation.

Cela représente également une signification plus importante pour le secteur naissant de l'intelligence incarnée : réduire les coûts d'exploration du secteur et permettre à différentes approches d'être testées dans des applications réelles.

Au cours des dernières années, la concurrence dans le domaine de l'intelligence incarnée en Chine s'est principalement concentrée sur le corps, les données et la mise en œuvre des produits. Toutefois, une industrie encore en cours de définition ne peut pas se contenter d'attendre l'émergence d'une architecture mature pour la rattraper ; il faut aussi que certains acteurs s'engagent dans des domaines plus fondamentaux tels que les modèles du monde, les représentations des actions et les paradigmes d'apprentissage, afin de continuer à chercher la prochaine possibilité.

WALL-SS n'est bien sûr pas la réponse finale, mais il représente un changement : les entreprises nationales commencent à ne plus simplement suivre les voies existantes, mais à proposer leurs propres hypothèses architecturales et à les ouvrir à l'examen du secteur.

Lorsque la voie technologique change réellement, ce qui détermine une entreprise, ce n'est pas seulement si elle a suivi la génération précédente, mais si elle a conservé en permanence la capacité d'explorer la génération suivante.