Au premier semestre 2026, le montant total des financements dans le segment des modèles mondiaux en IA en Chine s'est élevé à environ 90 milliards de yuans, avec une croissance supérieure à 5 fois.

Auteur et source de l'article : Leifengwang

Au premier semestre 2026, l'argent et les talents du secteur chinois de l'IA se sont tous dirigés vers un même objectif : les modèles mondiaux.

Pour les six premiers mois seulement, le montant total des financements déclarés dans le secteur des modèles mondiaux nationaux s'élève à environ 30 milliards de yuans ; si l'on inclut le secteur fusionné de « l'intelligence incarnée + modèles mondiaux », ce chiffre atteint plus de 90 milliards.

La croissance du financement dépasse cinq fois celle de la même période l'année dernière.

Des milliards de dollars et une multitude de talents affluent comme une marée.

Une question incontournable : parmi toutes ces personnes qui entrent, combien ont vraiment compris ce que c’est exactement ?

Les professionnels cherchent une direction, les investisseurs cherchent des personnes, les recruteurs étudient les organisations, et les départements stratégiques des grandes entreprises analysent qui survivra.

Il est étrange que tout le monde pose la même question : quelqu’un peut-il expliquer clairement ce qu’est un modèle mondial ?

Oui.

Nous avons mené une interview approfondie aujourd’hui avec Zhang Lei, scientifique titulaire à l’Institut IDEA et fondateur de ShiQi WeiLai, pour clarifier cette question.

Il est membre de l'IEEE, avec plus de 77 000 citations sur Google Scholar. Sa série DINO a dominé COCO pendant cinq mois, et Grounding DINO ainsi que ses successeurs DINO-X ont surpassé Google et Meta, étant adoptés comme référence standard par plusieurs institutions mondiales de premier plan, notamment l'équipe de Fei-Fei Li, NVIDIA et Galaxy General.

En 2025, il a fondé ShiQi Future avec son équipe, issue de l'incubateur IDEA, et a reçu près de 100 millions de yuans lors du tour angel en un mois.

Derrière lui se tiennent deux géants de l’IA : le mentor académique académicien Zhang Bo (l’un des fondateurs de l’intelligence artificielle en Chine) et le mentor industriel académicien Shen Xiangyang (ancien président mondial exécutif de Microsoft et ancien directeur de Microsoft Research Asia).

Mais ce n'est pas la raison principale pour laquelle nous l'avons cherché.

La raison pour laquelle nous l'avons cherché est simple : en 2026, alors que tout le monde débattait de « ce qu'est un modèle mondial », Zhang Lei était l'une des rares personnes à avoir fourni une réponse claire, opérationnelle et sans compromis avec les courants dominants.

De chercheur principal au laboratoire Microsoft Research, à scientifique titulaire à l'IDEA Research Institute, puis entrepreneur — son parcours professionnel a connu plusieurs changements, mais son sujet de recherche n'a jamais varié : « Faire en sorte que l'IA comprenne les objets ».

Le modèle du monde est la réponse clé à cette question sur laquelle on travaille depuis plus de vingt ans dans le monde physique.

Si vous suivez la course des modèles mondiaux, que vous voulez comprendre s'il s'agit vraiment d'une bulle, savoir qui remportera la bataille des orientations, et déterminer quel type d'équipe mérite le plus d'être suivie — cette conversation vaut la peine d'être lue. Car, It's totally worth your time.

Voici le transcript de la conversation, modifié par AI Tech Review sans en altérer le sens.

Dr. Zhang Lei, IEEE Fellow, fondateur et PDG de ShiQi Weilai, est scientifique titulaire au Centre de recherche en vision par ordinateur et robotique (CVR) de l'Institut IDEA, professeur adjoint à la Université scientifique et technologique de Hong Kong (Guangzhou), et ancien chercheur principal à l'Institut de recherche de Microsoft en Asie et à l'Institut de recherche de Microsoft. Il a publié plus de 200 articles dans des domaines tels que la vision par ordinateur, avec plus de 77 000 citations sur Google Scholar, un H-Index de 107 et plus de 60 brevets américains délivrés. Il a été élu IEEE Fellow pour ses contributions exceptionnelles dans le domaine de la reconnaissance d'images à grande échelle et de la recherche d'informations multimédias.

Le plus grand goulot d'étranglement de l'intelligence incarnée n'est pas le corps, mais le cerveau.

Commentaire sur la technologie IA : Depuis l'année dernière, l'intelligence incarnée a connu une explosion, et les entreprises de robotique affichent des performances de plus en plus impressionnantes en matière de contrôle moteur — les robots d'Unitree courent sur un parcours de marathon, tandis que ceux d'Agibot effectuent des salto. Toutefois, nous observons qu'il manque encore une étape cruciale pour une mise en œuvre concrète. Selon vous, quels sont les défis encore à surmonter pour que l'intelligence incarnée devienne une réalité ?

Zhang Lei : Les deux aspects fondamentaux que les robots doivent résoudre sont le taux de réussite et la capacité de généralisation. Le taux de réussite désigne la capacité à accomplir une tâche de manière suffisamment fiable ; la capacité de généralisation consiste à accomplir de manière fiable la même tâche, même en modifiant l'environnement ou l'agent.

Les défis spécifiques sont quatre :

Premièrement, la généralisation dans un seul scénario est insuffisante. De nombreux équipes parviennent aujourd'hui à atteindre un taux de réussite de 70 %, voire 80 %, dans un seul scénario, ce qui semble être une grande avancée. Mais que signifie 80 % dans une application réelle ? Cela signifie qu'une opération sur cinq échoue, nécessitant toujours une intervention humaine importante pour assurer la prise en charge, et rendant totalement impossible un déploiement autonome.

Deuxièmement, la généralité des scénarios horizontaux est insuffisante. Il faut d'abord pousser les capacités ponctuelles à leur limite, puis étendre horizontalement l'application à un plus grand nombre de scénarios, afin qu'il puisse accomplir davantage de tâches plus complexes dans des environnements plus élaborés. C'est le plus grand écart qui empêche les robots de passer de la « démonstration en laboratoire » à l'« application réelle ».

Troisièmement, absence de capacités profondes du « cerveau ». L'apprentissage profond actuel se concentre principalement sur l'apprentissage du « comportement » intelligent, et non de son « mécanisme » (les principes sous-jacents à l'intelligence). Un cerveau incarné doit posséder une véritable capacité d'inférence causale sur le monde physique (pas seulement des corrélations statistiques, mais une compréhension de la chaîne logique « parce que A, alors B »), ainsi qu'une compréhension du bon sens et une capacité d'adaptation ; à ce jour, nous venons à peine de commencer à explorer ces domaines.

Quatrièmement, bien loin d’atteindre un niveau d’application « terminal ». Pour l’instant, la plupart des robots dépendent encore de puissantes ressources de calcul externes ; il faut résoudre le problème fondamental de « ne pas nécessiter de soutien humain » pour pouvoir être déployés à grande échelle et établir un cercle vertueux « application-données-itération ».

Commentaire sur la technologie IA : Honnêtement, les opinions dans l'industrie sont divisées sur cette question. Les équipes dédiées au matériel estiment que l'avantage de la chaîne d'approvisionnement chinoise est évident et qu'il faut d'abord réduire le coût de base ; les équipes d'algorithmes pensent que le cerveau est véritablement le point de blocage. Qu'en pensez-vous ?

Zhang Lei : Le cerveau est plus difficile, mais aussi plus important.

Du point de vue du matériel, la mise à jour des composants en Chine est source de fierté. Des entreprises comme Unitree et Zhiyuan améliorent continuellement la commande et le contrôle en utilisant l'apprentissage par simulation renforcée (entraînement des algorithmes de contrôle dans un environnement virtuel avant de les transférer sur des robots réels), en affinant constamment des composants clés tels que les moteurs et les mécanismes de transmission, ce qui permet d'optimiser considérablement les coûts et la fiabilité, tracant ainsi une voie très solide. Toutefois, les capacités démontrées par ces plateformes lors de marathons ou de performances ne sont encore que fondamentalement équivalentes aux capacités de base des animaux : les réflexes instinctifs, les sauts, les esquives et l'interaction avec l'environnement ne sont pas encore au niveau des animaux.

Commentaire sur l'IA : Vous dites que le « cerveau » est plus difficile, pourquoi ? Est-ce à cause d'un manque de données ou parce que notre compréhension de l'intelligence elle-même est encore trop superficielle ?

Zhang Lei : La difficulté réside dans le fait que nous ne comprenons pas véritablement les mécanismes sous-jacents. Le cerveau humain présente la plus grande distinction et le niveau d'intelligence le plus élevé par rapport aux autres animaux. Actuellement, toutes les avancées en apprentissage profond consistent à observer à quel niveau le cerveau humain atteint l'intelligence, puis à reproduire ce phénomène par des algorithmes. L'IA apprend en réalité le comportement humain, et non l'intelligence humaine elle-même. Comme le professeur Zhang Bo le dit souvent, les grands modèles linguistiques peuvent parler comme les humains, mais ils comprennent le langage d'une manière totalement différente.

Pourquoi le modèle mondial a-t-il été ignoré pendant vingt ans et soudainement devient-il populaire aujourd'hui ?

Commentaire sur la technologie IA : Avec l'explosion de l'embodiment, le concept de « modèle du monde » s'est soudainement popularisé. Mais tous les initiés savent que ce n'est pas un terme nouveau, car il a déjà été mentionné par des chercheurs dans les années 90. Nous nous demandons pourquoi ce concept a été en sommeil pendant deux décennies et pourquoi il est soudainement devenu une tendance aujourd'hui.

Zhang Lei : C'est une excellente question. Les modèles du monde ne sont pas un concept nouveau. Au début des années 90, des chercheurs ont tenté de modéliser l'environnement nécessaire à l'interaction des agents (systèmes d'IA capables de percevoir leur environnement et d'agir pour atteindre un objectif), afin d'améliorer les algorithmes d'apprentissage par renforcement, mais à cette époque, l'apprentissage profond n'était pas encore développé, et il était difficile de vérifier ce concept après sa proposition.

Ce concept a véritablement été validé vers 2018-2019, avec l'apparition de publications réelles intitulées « World Models » et leur application dans des scénarios de jeux, car les jeux constituent le meilleur environnement pour valider l'apprentissage par renforcement.

Plusieurs années après le développement de l'apprentissage par renforcement, l'IA a réussi à battre des joueurs humains dans des jeux. À ce moment-là, les chercheurs ont commencé à se demander s'il était possible de permettre à des agents d'IA d'acquérir automatiquement un modèle du monde en interagissant constamment avec l'environnement du jeu, en intégrant le processus d'évolution de l'environnement dans ce modèle. Cette idée a été entièrement validée entre 2018 et 2020.

Commentaire sur la technologie IA : Quel est le lien avec l’intelligence incarnée d’aujourd’hui ? D’après ce que nous avons entendu, semble-t-il que l’incarnation soit véritablement la mèche qui a fait exploser les modèles du monde ?

Zhang Lei : Cette connexion doit être expliquée à partir des modèles linguistiques. L'industrie a d'abord développé les VLA (Vision-Language-Action, soit les modèles vision-langage-action, où les robots observent une image pour prédire le prochain mouvement), en reprenant le paradigme d'apprentissage par imitation des modèles linguistiques : les modèles linguistiques effectuent une prédiction du token suivant ; les VLA incarnés consistent à ce que le robot observe l'image actuelle et prédise le prochain mouvement à effectuer.

Mais cette approche rencontre rapidement une impasse. Cette impasse ne réside pas seulement dans les données ; je pense que les données ne sont qu’un aspect, l’autre étant une application insuffisante de l’apprentissage par renforcement. J’ai une métaphore : l’apprentissage par imitation permet aux modèles linguistiques d’apprendre à parler, tandis que l’apprentissage par renforcement leur permet de dire des choses correctes.

L'intelligence du robot et le taux de réussite de ses actions nécessitent également l'apprentissage par renforcement.

Cependant, l'apprentissage par renforcement appliqué à l'embodiment fait face à deux obstacles mortels : d'une part, l'efficacité de collecte de données est extrêmement faible, bien inférieure à celle des modèles linguistiques ; les robots doivent exécuter chaque action dans un environnement réel et attendre une rétroaction physique. D'autre part, le coût des échecs est intolérable : apprendre à faire la vaisselle peut entraîner la casse de plats, et un véhicule autonome qui apprend à éviter les accidents pourrait devoir traverser de nombreux accidents réels avant d'apprendre. Cela diffère fondamentalement des modèles linguistiques, qui peuvent effectuer des essais et erreurs à faible coût dans le monde numérique.

L'environnement virtuel fourni par les modèles mondiaux est précisément la solution à ces problèmes. Si un modèle peut prédire « Si je fais ce geste, comment l'environnement va-t-il changer ? », alors un robot peut « imaginer » des milliers d'essais et d'erreurs dans un monde virtuel, sans avoir à casser dix mille bols.

(Note de l’auteur : Comprenez simplement la chaîne logique de ce passage. Premièrement, un robot nécessite de nombreux essais et erreurs pour apprendre à accomplir une tâche. Deuxièmement, essayer et erreur dans le monde réel est trop coûteux et dangereux. Troisièmement, un modèle du monde consiste à créer un « terrain d’entraînement virtuel » pour le robot, lui permettant de simuler mentalement les conséquences de toutes ses actions. Quatrièmement, il suffit ensuite d’appliquer la meilleure solution trouvée dans le monde réel. C’est pourquoi les modèles du monde sont soudainement devenus la priorité absolue de l’industrie à ce moment précis.)

Sans action comme condition d'entrée, ce n'est pas un modèle du monde

Commentaire sur l'IA : La définition actuelle du terme « modèle du monde » est assez confuse dans l'industrie. Les modèles de génération vidéo sont appelés modèles du monde, les modèles de modélisation d'espace 3D aussi, et même l'JEPA de LeCun (architecture d'embedding conjoint prédictif) est qualifiée de modèle du monde. Selon vous, quelles sont les conditions minimales qu'un modèle doit remplir pour mériter ces quatre caractères ?

Zhang Lei : Je pense qu'un modèle mondial doit nécessairement être conditionné par l'action, c'est-à-dire Action Conditioned (le modèle doit être capable de répondre à la question « Qu'arrivera-t-il à l'environnement si une action spécifique est exécutée ? »).

Les agents peuvent interagir avec l'environnement grâce aux actions : les actions de l'agent provoquent des changements dans l'environnement, qui génèrent ensuite un nouvel état et renvoient une rétroaction à l'agent, lui indiquant si son action l'a rapproché de son objectif. Il s'agit d'une boucle fermée complète, où chaque transition d'état de l'environnement dépend de l'action spécifique exécutée à l'étape précédente.

On dit souvent que les modèles mondiaux consistent à remplacer la prédiction du prochain token des modèles linguistiques par une prédiction du prochain état, mais je considère que cette définition n’est pas rigoureuse et qu’elle manque une condition essentielle. La formulation correcte devrait être : prédiction du prochain état conditionnée par l’action. Seule l’introduction de l’action comme condition préalable donne un sens à la prédiction d’état et correspond véritablement au modèle mondial requis par l’apprentissage par renforcement.

Commentaire sur la technologie IA : Pour être honnête, beaucoup de personnes, y compris certains investisseurs dans leurs business plans, ont tendance à désigner des modèles de génération vidéo comme Sora comme des « modèles du monde ». Mais selon les critères que vous venez de présenter, ils manquent clairement la dimension du mouvement. Nous aimerions connaître votre analyse de cette question.

Zhang Lei : Le modèle du monde que nous discutons ici provient des méthodes basées sur les modèles dans le domaine de l'apprentissage par renforcement, et vise à aider les agents à interagir plus efficacement avec leur environnement. Bien que les modèles du monde aient de nombreuses applications, l'intelligence incarnée constitue actuellement l'application la plus claire et la plus précieuse.

Dans ce sens, les modèles de génération vidéo pure, comme Sora dans ses versions initiales, ne peuvent pas être qualifiés de modèles du monde. La raison fondamentale est qu’ils ne modélisent pas les « actions » ; ils génèrent essentiellement une séquence vidéo cohérente en prédisant comment les pixels évoluent, sans modéliser aucunement les actions d’interaction entre un robot et son environnement. Peuvent-ils aider indirectement les robots ? Oui, ils peuvent apprendre certaines lois de changement du monde, mais il est difficile qu’ils aident les robots à interagir de manière plus efficace avec leur environnement.

Commentaire sur l'IA : Et ce World Action Model (modèle d'action mondiale) qui fait tant parler de lui récemment ? On a entendu dire qu'il parle aussi d'actions, est-ce un autre type de modèle mondial ?

Zhang Lei : WAM n'est pas un modèle du monde au sens de l'apprentissage par renforcement. Il utilise une supervision au niveau des pixels fournie par la prédiction des images futures pour améliorer la prédiction des actions, et a déjà démontré de meilleures performances que les VLA sur certaines tâches. Toutefois, son modèle est de type effet-cause : il génère d'abord les images futures, puis en déduit les actions ; il ne peut donc pas être utilisé en apprentissage par renforcement, et ne correspond pas à la définition du modèle du monde discutée ici.

PixelPunks vs. LatentSpace : les deux font en réalité la même chose

Évaluation de la technologie IA : En parlant de la bataille des approches, c’est actuellement le sujet le plus chaud dans le domaine des modèles mondiaux. LeCun est la figure de proue du camp de l’espace latent, tandis que Sora représente le camp des pixels. Ces deux approches semblent incompatibles ; quel est votre avis ?

Zhang Lei : Tout d'abord, nous devrions reconnaître que les deux voies ont des points communs.

En réalité, les gens ressentent actuellement fortement leur opposition, peut-être parce que LeCun défend de manière très claire et ferme ses positions ; parfois, un chercheur doit exprimer ses idées de manière très précise pour être retenu par le grand public.

Mais la ligne des pixels doit également s'appuyer sur l'espace latent pour opérer. Stable Diffusion et Sora compressent d'abord les images ou vidéos dans un espace de représentation à faible dimension avant de les traiter. Ainsi, l'espace de représentation est la question plus fondamentale. La véritable divergence entre les deux approches ne réside pas dans l'utilisation ou non de l'espace latent, mais dans ce qu'il faut conserver ou rejeter une fois entré dans cet espace latent.

La différence réside dans le fait que la voie de l'espace latent cherche à exclure les détails pixelisés tels que l'ombre, la lumière et les textures, qui ne sont pas gouvernés par des lois physiques, afin d'aider le modèle à apprendre les lois plus fondamentales sous-jacentes aux changements d'état ; toutefois, elle présente un risque d'effondrement de la représentation : si dix mille images différentes sont mappées sur une même représentation, la représentation s'effondre, ce qui signifie que le modèle perd sa capacité à distinguer différents états. La voie pixelisée vise une précision maximale, ce qui revient essentiellement à satisfaire l'œil humain, car les êtres humains sont très sensibles aux détails visuels.

Commentaire sur l'IA : À ce stade, nous avons un pressentiment. Le cerveau humain effectue-t-il aussi des déductions dans un espace latent ? Lorsque vous fermez les yeux pour imaginer les conséquences d'un mouvement, qui rendrait chaque pixel dans votre esprit ?

Zhang Lei : C'est exact. Si le cerveau humain possède un modèle du monde, lorsqu'on imagine comment un mouvement modifie l'environnement, on opère en réalité dans un espace latent, sans reconstituer chaque pixel de l'image dans la tête. Ainsi, utiliser la perception humaine de la qualité d'image comme critère d'évaluation du modèle du monde est insuffisant. Si l'approche par pixels vise à créer un modèle du monde, le véritable objectif ne doit pas être la réalisme des pixels, mais la cohérence physique des séquences vidéo générées.

(Note de l’auteur : Ce dialogue aborde le débat entre deux approches des modèles d’IA pour le monde. L’école pixel, représentée par Sora, se concentre uniquement sur le réalisme visuel, ce qui entraîne fréquemment des bugs contraires aux lois physiques, comme des tasses flottantes, des objets qui se chevauchent ou des bougies qu’on ne peut pas éteindre. En revanche, LeCun et Zhang Lei défendent l’approche de l’espace latent, qui consiste d’abord à abstractiser les images en lois, puis à les déduire logiquement, ce qui confère une meilleure compréhension des causalités physiques. L’innovation clé de Zhang Lei réside dans l’ajout de « structures d’objets » dans l’espace latent, permettant à l’IA de distinguer d’abord des entités indépendantes telles que des tasses, des tables ou des personnes, avant d’apprendre les règles d’interaction entre elles. Cette méthode évite les artefacts visuels typiques de Sora tout en étant plus adaptée que les espaces latents purement abstraits pour permettre aux robots de naviguer, saisir et planifier des mouvements dans le monde réel.)

Évaluation de la technologie IA : Vous suivez la même voie d'espace latent que LeCun. Mais nous avons entendu dire que votre approche présente une différence clé : vous mettez l'accent sur l'« introduction de la structure des objets ». Quelle est la différence fondamentale ?

Zhang Lei : Notre approche partage le même principe premier que LeCun : le cerveau humain effectue un raisonnement contre-factuel (« Que se passerait-il si je faisais cela ? ») de manière conditionnée par l'action, en effectuant des déductions dans des représentations abstraites, et non en répétant les pixels.

LeCun a validé cet axiome ces dernières années avec I-JEPA, V-JEPA et LeJEPA : la prédiction doit se produire dans l'espace de représentation. Toutefois, la complexité de l'espace physique dans la direction incarnée est extrêmement élevée, et nous pensons qu'il est nécessaire d'introduire une structure appropriée dans l'espace latent pour appliquer réellement cette méthode à des environnements réels à grande échelle.

Ce point de vue repose sur nos compétences déjà vérifiées. Le DINO-X, développé sous la direction de notre équipe centrale, a résolu le problème de la « perception des objets » dans les mondes ouverts. Nous faisons désormais des objets les unités fondamentales de prédiction et de planification du modèle du monde. Intuitivement, les lois physiques agissent sur les objets ; comprendre les objets via une représentation dans l’espace latent permet d’apprendre plus efficacement les lois physiques.

Commentaire sur la technologie IA : Attendez, nous voulons poser une question supplémentaire. LeCun et son AMI Labs ont levé des milliards de dollars pour s'engager fermement dans cette direction. Qu'est-ce qui vous permet de penser que votre amélioration « d'introduction de la structure d'objets » pourra aller plus loin dans son cadre général ?

Zhang Lei : Étant donné que nous avons précédemment développé DINO-X, un modèle universel de perception d'objets ouvert, nous avons déjà atteint le meilleur niveau mondial en matière de « compréhension des objets ». Notre compréhension du mécanisme des modèles visuels et la raison pour laquelle ces modèles peuvent produire une cohérence physique sont hautement cohérentes avec notre filière précédente de compréhension universelle des objets.

En résumé, la approche de LeCun constitue le cadre de base, et nous y avons intégré la structure des objets pour permettre une boucle fermée dans un environnement réel. Cette capacité de « boucle fermée » est ce que nous avons développée au cours des dernières années.

Pourquoi la série DINO surpasse-t-elle Google et Meta ?

Évaluation de la technologie IA : Votre équipe a obtenu des résultats exceptionnels pendant la phase des grands modèles visuels. Grounding DINO et le DINO-X ultérieur ont surpassé Google et Meta, et sont désormais cités en tant que référence standard par les plus grandes institutions mondiales, telles que l'équipe de Fei-Fei Li, NVIDIA et Galaxy AI. Nous avons discuté de cela en interne, et nous trouvons cela un peu « anormal » : habituellement, les équipes chinoises suivent les avancées étrangères. Comment avez-vous réussi à inverser la tendance, en faisant en sorte que les équipes étrangères vous suivent à votre tour ?

Zhang Lei : Deux dimensions se démarquent.

Sur le plan conceptuel, nous sommes la première équipe à avoir atteint l’état de l’art (SOTA) dans la détection visuelle en utilisant Transformer (une architecture d’apprentissage profond basée sur l’attention auto-attention, fondement des grands modèles linguistiques). Grounding DINO a introduit le paradigme des modèles linguistiques, étendant pour la première fois la détection d’objets au domaine ouvert : le modèle n’est plus limité à reconnaître uniquement les catégories d’objets sur lesquelles il a été entraîné, mais peut détecter n’importe quel objet jamais vu auparavant. À ce jour, c’est toujours le modèle open source le plus cité et le plus téléchargé, ce qui constitue une avancée de niveau paradigmatique.

Sur le plan des données et de la stratégie d'ingénierie, après Grounding DINO, nous avons opté pour une approche propriétaire afin de faire évoluer les idées validées vers une mise à l'échelle. Par ailleurs, j'exige un niveau de qualité élevé. Bien que l'équipe fût jeune et n'ait jamais réalisé un travail aussi ambitieux, j'ai maintenu des exigences strictes en insistant sur le fait qu'aucune version ne devait être publiée sans atteindre une avancée de niveau majeur. C'est pourquoi nous avons mis environ un an à développer Grounding DINO 1.5, puis six mois supplémentaires pour lancer DINO-X. Il s'est avéré que ces versions, affinées pendant plus d'un an, ont reçu une reconnaissance très élevée dans l'industrie.

Commentaire sur la technologie IA : Quel lien existe-t-il entre les grands modèles visuels que vous avez développés et la création de modèles du monde aujourd'hui ?

Zhang Lei : Notre travail est cohérent. Auparavant, nous nous concentrions sur la perception d'objets, avec pour objectif principal de fournir une base de perception aux robots ; depuis, de nombreuses équipes ont utilisé notre Grounding DINO pour résoudre des problèmes de compréhension des environnements incarnés.

Sur le plan technologique, les modèles du monde sont plus nativement visuels que les langues, et presque tous les travaux sur les modèles du monde ne reposent pas sur une architecture purement linguistique comme GPT.

Sur le plan de l’expérience de l’équipe, notre compréhension du mécanisme des modèles visuels correspond fortement à la voie technologique initiale de la compréhension générale des objets. C’est ce qui nous donne confiance pour continuer à itérer le modèle du monde.

L'équipe, issue de l'incubateur IDEA, compte plus de vingt membres et est extrêmement stable. Même lors de notre développement de modèles propriétaires, nous avons continuellement attiré des professionnels externes forts en algorithmes et en ingénierie. Ces vingt personnes constituent aujourd'hui les « graines » de ShiQi Future.

Évolution des modèles DINO vers les modèles mondiaux

Comment faire pour que l'IA « voie » réellement les objets ?

Commentaire sur l'IA : Vous avez dit que les solutions d'espace latent existantes « ne comprennent pas réellement les objets » ; elles ne savent pas quels éléments dans une scène sont des objets indépendants ni quelles relations existent entre eux. Nous sommes curieux : comment détermine-t-on cela ? Comment sait-on si le modèle « comprend » vraiment les objets ou s'il se contente de « simuler » une compréhension ?

Zhang Lei : La compréhension elle-même est difficile à vérifier directement. Personne ne sait actuellement comment les modèles linguistiques comprennent le langage ; on ne peut qu'évaluer par les comportements observables. S'il produit continuellement des textes qui semblent indiscernables de ceux d'une personne, on dit qu'il comprend.

Les modèles mondiaux font face à des défis similaires. Il est difficile de déterminer avec certitude si le modèle comprend réellement les lois physiques ou s'il a effectivement capté la structure des objets. Nous analyserons cela à travers la visualisation des étapes intermédiaires ; si les résultats correspondent à l'intuition humaine, cela suggère qu'il a probablement capté la structure des objets.

Évaluation de la technologie IA : Y a-t-il des méthodes de test spécifiques ? Peut-on réaliser une expérience pour le vérifier ?

Zhang Lei : Oui. Les tests contre-factuels constituent une excellente méthode pour permettre au modèle d'essayer différentes actions et de voir s'il peut produire des résultats physiquement raisonnables. Si le modèle réussit même avec une légère déviation de la trajectoire, cela indique qu'il a appris les règles ; s'il échoue, cela signifie qu'il n'a probablement appris que des corrélations statistiques.

Cela demande une grande perspicacité. Comme le professeur Richard Sutton l'a dit, les chercheurs ont toujours tendance à vouloir aider les modèles en y intégrant leur propre expérience. Les chercheurs en modèles linguistiques ont autrefois cherché à analyser la structure syntaxique, à fournir la segmentation en mots et les groupes lexicaux, mais ont finalement été dépassés par le simple paradigme de la prédiction du prochain token.

Je crois profondément en la puissance de l'itération de ce paradigme simple. Trop de conception humaine, efficace à court terme, entrave l'itération à long terme.

Commentaire sur la technologie IA : Il existe encore dans le monde physique certains objets très complexes, comme le sable mouvant, les courants d'eau, la fumée et les tissus, qui n'ont pas de limites claires. Nous nous demandons si votre cadre « centré sur les objets » ne risque pas d'être limité par le concept même d'« objet » ?

Zhang Lei : Nous nous posons également cette question. Du point de vue technique, la méthode la plus simple consiste à utiliser un masque pour segmenter les pixels de la région de l'objet. Au cours des dernières années, le domaine de la vision a considérablement progressé en matière de compréhension sémantique des objets et de prédiction de masques, permettant de traiter des objets non rigides tels que le sable mouvant ou les eaux.

Par conséquent, commencer par Mask est un point de départ pragmatique. Et notre expérience en matière de perception d'objets généraux est plus approfondie que celle de toute autre équipe externe.

EgoTwin : Apprendre à la main du robot grâce à la main humaine

Commentaire sur l'IA : Votre cadre technique repose sur un concept clé appelé « alignement des actions », qui consiste à mapper les mouvements de la main humaine, des pinces à deux doigts et des mains polydactyles complexes dans un même espace latent. Nous comprenons cela comme une sorte de traduction pour les robots, leur permettant de comprendre des mouvements exprimés dans différentes « langues », est-ce bien cela ?

Zhang Lei : Les entrées du modèle mondial sont principalement deux : l'image (état) et l'action, donc la compréhension de l'action est cruciale.

L'alignement des actions est une exigence fondamentale pour les problèmes à multiples ontologies. L'alignement entre la main humaine et le bras mécanique est encore plus difficile : les positions des articulations du bras mécanique dans l'espace physique XYZ sont précisément connues, mais les données de la main humaine sont généralement issues de vidéos 2D ; une vidéo prise d'une personne en train de cuisiner ne contient que des images bidimensionnelles, sans coordonnées tridimensionnelles. Une utilisation directe et mixte est peu efficace.

Notre approche consiste à extraire des points clés 3D, transformant une vidéo 2D de la main humaine en une séquence d'opérations dans l'espace 3D, alignée avec les données du bras mécanique dans le même espace physique. Il s'agit de la collecte et du traitement des données Ego (données d'opérations humaines collectées du point de vue du premier personne) telles qu'elles sont actuellement définies dans l'industrie.

Nous avons précédemment lancé EgoTwin, qui résout principalement ce type de problème de collecte de données, et nous collaborons actuellement avec l'équipe de collecte de données de Baidu Cloud.

Commentaire sur la technologie IA : EgoTwin résout le problème des données « comment les mains bougent ». Mais nous voulons poser une question supplémentaire : les vidéos humaines contiennent également des informations plus élevées, l'intention derrière « pourquoi les mains bougent ainsi » — comment gérer cela ?

Zhang Lei : La compréhension des intentions des actions de niveau supérieur, nous la laisserons aux modèles mondiaux ou aux modèles VLA. Mais à condition que la qualité des données elle-même soit suffisamment élevée. Les données brutes sont extrêmement cruciales. L'industrie investit beaucoup de ressources humaines et de coûts dans la collecte de données, mais dans de nombreux cas, l'efficacité d'utilisation de ces données n'est pas optimale. L'expérience centrale que nous avons acquise dans nos travaux sur Grounding DINO et DINO-X est de faire intervenir des personnes compétentes en algorithmes pour travailler en profondeur sur les données ; sinon, les données collectées pourraient s'avérer inutilisables lors de l'entraînement. Il est nécessaire d'itérer en parallèle sur les algorithmes et les données.

Zhang Bo et Shen Xiangyang : Deux mentors, une même fondation

Commentaire sur la technologie IA : Nous avons remarqué que deux personnes ayant eu une influence profonde sur vous se tiennent derrière vous : le académicien Zhang Bo (l'un des pionniers de l'intelligence artificielle en Chine) et l'académicien Shen Xiangyang (ancien président exécutif mondial de Microsoft et ancien directeur de Microsoft Research Asia). L'un est plus orienté vers la recherche académique, l'autre vers l'industrie ; nous aimerions savoir ce qu'ils vous ont chacun apporté.

Zhang Lei : Académicien Zhang Bo a toujours été mon mentor et mon exemple. J'ai rencontré pour la première fois le professeur Zhang lors de ma première année à l'université, quand il était directeur du laboratoire. À l'époque, je travaillais sur des AGV (véhicules guidés automatiques) et passais une grande partie de mon temps libre à ajuster le matériel et à effectuer des expériences dans le laboratoire ; je voyais souvent le professeur Zhang guider les doctorants dans leurs travaux liés à la robotique. Plus tard, j'ai eu la chance de devenir moi-même son étudiant en doctorat. Ce qui m'a le plus marqué, c'est sa sensibilité exceptionnelle aux nouvelles technologies et sa grande curiosité. Chaque fois que je venais lui présenter mes résultats expérimentaux pour en discuter, il s'asseyait avec enthousiasme à côté de moi et disait : « Essaie de modifier cela, et vois ce qui se passe. » Il approfondissait ainsi sa propre compréhension. On pouvait voir comment un chercheur comprend les algorithmes et les problèmes, entièrement guidé par la curiosité.

Un autre point qui reste pertinent à ce jour est son insistance sur le fait que « comprendre quelque chose, c’est le comprendre en profondeur » ; ne pas bien comprendre, c’est s’exposer à la fraude, tandis que comprendre en profondeur permet de saisir les principes fondamentaux. Cette phrase est devenue par la suite ma règle pour encadrer mes étudiants : comprendre en profondeur, viser l’excellence.

L'académicien Shen Xiangyang a également eu un grand impact sur moi. Pendant mon séjour chez Microsoft, il a toujours été mon supérieur direct et a influencé toute ma carrière : c'est lui qui m'a recruté pour venir de Chine aux États-Unis, et c'est aussi lui qui m'a convaincu de revenir à Shenzhen. De plus, il possède un sens aigu de la stratégie industrielle et m'a apporté de nombreux conseils concrets et des retours d'expérience sur la construction d'équipes et le financement.

Commentaire sur la technologie IA : On a entendu dire que le professeur Zhang Bo, à 90 ans, est venu échanger avec votre équipe ? Cela nous touche profondément simplement en l'entendant.

Zhang Lei : Oui. En novembre de l'année dernière, l'école de troisième cycle de l'Université Tsinghua l'a invité à donner un cours à Shenzhen. Après avoir terminé son enseignement le matin, il a consacré l'après-midi entier à notre équipe. Nous avons échangé pendant toute l'après-midi, puis avons dîné ensemble le soir. Il a une vision très large et nous a apporté de nombreuses suggestions sur nos domaines de compréhension visuelle générale et de robotique. Bien qu'il soit âgé, ses idées sont extrêmement claires, et sa rigueur logique ainsi que la profondeur de sa compréhension des problèmes ne cèdent en rien à celles des jeunes.

Chaque vague dépasse l'imagination, mais la vague viendra à vous toute seule

Évaluation de la technologie IA : Au cours des dernières années, vous avez activement participé à chaque vague, du deep learning aux grands modèles, puis aux modèles incarnés et aux modèles du monde. Nous aimerions savoir : y a-t-il eu un moment où vous avez pensé « C’est ça que je dois faire » ?

Zhang Lei : Le travail sur la détection d'objets est très proche de l'état que vous avez mentionné. Ce projet me rend très fier, car je vois une avancée révolutionnaire dans tout le domaine.

Le prochain modèle du monde est également un domaine qui me passionne et auquel je souhaite consacrer tous mes efforts. Les évolutions passées, marquées par l'alternance entre l'apprentissage par renforcement et les modèles du monde, ainsi que le succès du paradigme des modèles linguistiques, peuvent toutes être appliquées ici. Je pense que cette voie aura un grand impact sur l'ensemble de l'industrie de l'IA.

Commentaire sur la technologie IA : Les moments de gloire des chercheurs sont souvent mentionnés, mais les baisses semblent rarement abordées. Avez-vous vécu des baisses technologiques ?

Zhang Lei : Oui. Autour de 2018, j'ai essayé d'utiliser des données à faible supervision pour la détection d'objets, en ne comptant que sur les étiquettes de catégorie d'image pour effectuer la détection, tout en évitant d'annoter chaque objet avec une boîte. Cette méthode semblait très attrayante ; j'y ai consacré un temps considérable, mais je n'ai jamais résolu le problème de manière satisfaisante.

Ensuite, nous avons travaillé sur Grounding DINO à l'IDEA, combinant la compréhension du langage et la détection, ce qui a permis de résoudre le problème sous un autre angle. Cette percée repose d'une part sur les innovations que nous avons apportées au modèle de détection DINO, qui ont posé une base solide, et d'autre part sur le développement des modèles linguistiques. La percée de Grounding DINO est survenue à la fin de 2022 et au début de 2023, précisément au moment où ChatGPT a été lancé. On dit que « lorsque les données sont suffisamment volumineuses, l'intelligence émerge naturellement » : plus les données sont nombreuses, plus les algorithmes peuvent être simples.

Il est normal de rencontrer des obstacles ; l’essentiel est d’avoir la détermination de s’accrocher à un problème difficile. Si vous ne trouvez pas la solution cette fois-ci, changez de perspective, pensez-y en mangeant, en dormant, tournez autour sans cesse. Les vrais bonnes questions vous hantent pendant des années, puis, à un moment donné, une rupture qualitative surgit naturellement.

Commentaire sur la technologie IA : De nombreux jeunes créent aujourd'hui des startups de modèles mondiaux, comme Chen Boyuan et Ji Jiaming de Inverse Matrix, ou Bai Yinqi de Baize Technology, et ils sont encore étudiants. Nous trouvons cela très intéressant ; qu'en pensez-vous de cette « vague postérieure » ?

Zhang Lei : Cela montre que les barrières à l'entrée dans la recherche ont effectivement baissé. Avant l'essor de l'apprentissage profond, les nouveaux arrivants devaient passer plusieurs années à construire des bases. Aujourd'hui, les technologies open source ont simplifié la technologie : comprendre le Transformer suffit pour entrer dans ce domaine. L'avantage des jeunes réside dans l'absence de bagage ; il leur est plus facile d'adopter de nouveaux paradigmes en partant des principes premiers. Toutefois, les véritables problèmes complexes nécessitent également la perspicacité, la compréhension et la capacité à piloter la direction des chercheurs expérimentés.

Les tendances sociales changent constamment, mais si vous ne suivez les tendances que pour les suivre, vous ne les rattraperez jamais. L'essentiel est : peu importe la direction prise, chaque équipe a toujours besoin des personnes les plus compétentes. Si vous restez curieux et que vos bases sont solides, les directions les plus avancées viendront naturellement à vous.

Une révélation

Ce qui nous a le plus touchés lors de cette interview, ce n’est pas les réalisations techniques éclatantes de Zhang Lei, ni même les jeunes talents qu’il a formés — les stagiaires Huang Zheng, Li Xuelong, ainsi que les membres de l’équipe du premier projet de détection faciale de Microsoft, Zhu Long, Xiao Rong et Yan Shuicheng.

Ce qui nous a le plus touchés, c'est le mot qu'il a répété à plusieurs reprises : « comprendre en profondeur ».

Ce mot, Zhang Lei l'a noté pendant trente ans.

Au début des années 1990, dans le campus de Tsinghua, l’intelligence artificielle était une discipline si marginale qu’elle n’attirait aucune attention ; Zhang Lei était alors un étudiant en licence du département d’informatique qui expérimentait des véhicules AGV dans le laboratoire. Le directeur du laboratoire, qui encadrait des doctorants dans des projets liés à la robotique, lui avait laissé une impression profonde, et il avait ensuite rejoint son équipe.

Le directeur du laboratoire s'appelle Zhang Bo, l'un des pionniers de l'intelligence artificielle en Chine. Chaque fois que Zhang Lei l'invitait à examiner les résultats des expériences, il s'asseyait avec enthousiasme à côté de Zhang Lei, observait l'écran un instant, puis tendait le doigt : « Modifie ceci un peu, et vois ce qui se passe. » Ce n'était pas une vérification de devoirs ; il voulait vraiment savoir ce qui se passerait après avoir modifié les paramètres.

Ce que Zhang Bo a enseigné à Zhang Lei s'est ensuite résumé à trois mots : « comprendre en profondeur ».

On se fait avoir quand on ne comprend pas, et c’est seulement en comprenant bien qu’on découvre les principes fondamentaux.

L'esprit des chercheurs de la génération chinoise se transmet à travers ces petits détails.

En 2018, Zhang Lei travaillait sur la détection d'objets avec supervision faible chez Microsoft, mais il n'a pas réussi ; il n'a pas changé de sujet.

Si ce tour-là ne fonctionne pas, changez de perspective, pensez-y en mangeant et en dormant, tournez autour sans cesse.

Ce n'est pas une figure de style, c'est sa routine.

Plus tard, il a abordé Grounding DINO à l'IDEA, résolvant le problème sous un autre angle. Le moment de rupture est survenu à la fin de 2022 avec la sortie de ChatGPT — les capacités des modèles linguistiques ont progressé et les données étaient suffisamment volumineuses.

Zhang Lei a utilisé une description : « émerger naturellement ».

Passer de la modification des paramètres des véhicules AGV à la résolution des modèles mondiaux a pris trente ans. Pendant ces trente années, il est passé de la recherche d’images à grande échelle à la compréhension visuelle générale, poursuivant toujours une compréhension approfondie et l’excellence pour chaque problème, jusqu’à revenir à la direction « construire un modèle du monde pour les robots ». Comme Jobs l’a dit : « connecter les points » — chaque chose effectuée avec sérieux ne sera jamais perdue.

À la fin de l'année 2025, Zhang Bo, âgé de 90 ans, a voyagé à Shenzhen pour donner un cours. Après avoir terminé son enseignement le matin, il s'est rendu l'après-midi directement au bureau de ShiQi Weilai. Une dizaine de jeunes gens l'entouraient ; il leur a parlé pendant toute l'après-midi, puis a dîné avec eux le soir, racontant ses expériences d'étudiant et ses jugements sur cette direction. Ses idées étaient claires, sa logique rigoureuse, et il ne cédait en rien aux jeunes. Zhang Lei a également raconté à son professeur ce qu'il était en train de faire.

Le professeur Zhang Bo présente l'avenir de la vision ; Zhang Lei rapporte à son professeur les progrès de sa recherche.

Il y a trente ans, dans le campus de Tsinghua, le professeur assis à côté de l'étudiant a dit : « Modifie ceci, vois ce que ça donne. »

Trente ans plus tard, dans le bureau de Shenzhen, un étudiant explique à son professeur de 90 ans le modèle mondial qu'il est en train de développer.

Quelle scène reconstituée émouvante.

Les gens vieillissent, les marées se retirent, les tendances s'éteignent, mais la détermination des chercheurs chinois à comprendre profondément chaque problème mondial n'a jamais changé. Leifeng.cn