Skild AI lance le modèle de robot S1 avec un apprentissage contextuel de 10 minutes

Le grand résultat de l'intelligence incarnée arrive !!

Depuis la publication la semaine dernière par Generalist du cerveau incarné Gen 1.5 capable d'apprendre des mouvements de 3 à 12 secondes ~

Juste maintenant, la startup nord-américaine d'embodiment Skild AI a lancé le nouveau modèle de base pour robots S1, étendant directement la longueur des tâches d'apprentissage contextuel des robots à plus de 10 minutes.

Cette S1 met l'accent sur l'apprentissage dans le contexte (in-context learning, ICL) :

Aucune apprentissage spécifique de nouvelles données d'opération n'est requis après l'entraînement ; il suffit de regarder une vidéo de démonstration humaine pour reproduire directement une série complète d'opérations complexes jamais vues auparavant.

Dans la démonstration officielle, le robot a accompli des tâches à long terme telles que préparer des crêpes, préparer du café, repoter des plantes et assembler des équipements. Il a également atteint un taux de réussite de 66 % sur des tâches inédites, bien au-delà des VLA basés sur des instructions textuelles (seulement 9 %).

De plus, même en suivant la voie traditionnelle de l'ajustement fin après l'entraînement, il faudrait environ 380 démonstrations de tâches pour égaler l'effet de S1 qui n'observe qu'une seule démonstration.

Très amazing !

On peut dire que cette dernière vague de travaux axés sur l'apprentissage contextuel a de nouveau suscité de l'espoir chez de nombreuses personnes en ce qui concerne l'incarnation.

Un internaute Twitter a déclaré qu'un robot universel pourrait apparaître dans deux ans, et non dans sept.

D'autres internautes ont également noté que, de Rhoda à Generalist la semaine dernière, puis aux tâches de 10 minutes de Skild S1 aujourd'hui, le véritable moment GPT des robots semble être en train de se produire.

Car une fois que cette capacité est véritablement généralisée, développer des compétences pour des robots pourrait devenir aussi simple que d'écrire des invites pour ChatGPT.

C’est vraiment aussi impressionnant que ça ? Voyons cela ensemble.

Pour comprendre comment S1 apprend ce contexte cette fois-ci, nous devons d'abord examiner comment les robots traditionnels apprennent une nouvelle compétence.

Dans un pipeline traditionnel, l'apprentissage des robots est en réalité similaire à celui des grands modèles :

D'abord, pré-entraîner sur de grandes quantités de données pour acquérir des compétences de base ; puis, dans des scénarios spécifiques, collecter des données pour une tâche particulière et effectuer un entraînement complémentaire afin que le robot acquière des compétences spécialisées.

Le problème, c’est que bien que les robots et les grands modèles aient des processus similaires, leurs coûts de données ne sont en rien comparables.

Les données d'entraînement préalable des grands modèles proviennent en grande partie d'Internet ; même dans des scénarios spécialisés tels que la programmation ou les agents, de nombreuses données d'entraînement ultérieur peuvent être obtenues en ligne rapidement, voire générées automatiquement.

Mais les robots ont plus de mal. Les données de pré-entraînement doivent être collectées dans le monde réel, et les données de post-entraînement doivent aussi être collectées dans le monde réel.

Alors, dans un blog technique, Skild AI s'est directement exprimé :

Si un modèle de base de robot nécessite encore des dizaines, voire des centaines d'heures de données réelles pour apprendre chaque nouvelle tâche, puis doit être réentraîné, je demande : où est la base de ce « modèle de base » ?

Ils citent même des études existantes indiquant que, si les données pour une nouvelle tâche sont suffisamment nombreuses, un modèle entraîné à partir de zéro pourrait même égaler un modèle de base pré-entraîné puis finement ajusté.

Alors, quel est le véritable intérêt de l'entraînement préalable incarné ?

À ce sujet, Skild répond : apprentissage contextuel.

Pour avoir un point de référence, Skild a pris la trajectoire de développement des grands modèles comme comparaison.

BERT précoce était déjà très puissant, mais pour chaque nouvelle tâche, il fallait souvent préparer à nouveau les données et effectuer un nouveau fine-tuning.

Ce qui a véritablement changé la donne, c'est la capacité d'apprentissage contextuel qui est progressivement apparue après GPT-3 :

Vous n'avez pas besoin de modifier les poids du modèle ; en fournissant quelques exemples dans le prompt, le modèle peut « apprendre » temporairement une nouvelle tâche.

Sur cette base, Skild estime que les robots sont actuellement encore coincés dans une ère similaire à celle de BERT, et ce qu'ils veulent vraiment, c'est permettre aux robots de réaliser la même transition paradigmatique.

Autrement dit, la véritable valeur du pré-entraînement ne devrait pas seulement être de réduire la quantité de données nécessaires pour l'entraînement ultérieur, mais de permettre au robot d'acquérir finalement la capacité d'« apprendre directement à partir du contexte ».

Alors, qu'est-ce que S1 a appris cette fois-ci à partir du contexte ?

Skild estime que les deux seuls dimensions permettant véritablement d'évaluer la capacité d'apprentissage contextuel des robots sont :

L’un est de pouvoir apprendre de nouvelles compétences que le modèle n’a jamais vues pendant l’entraînement ; l’autre est de pouvoir réorganiser les compétences existantes pour accomplir une nouvelle tâche longue et complexe.

Par exemple, un robot peut apprendre à faire des crêpes en regardant simplement une vidéo de retournement de crêpes—

Même si cette compétence n'a jamais été présente dans ses données d'entraînement précédentes.

Dans le même temps, contrairement aux vidéos en temps réel présentées la semaine dernière par Gen-1.5, S1 porte cette fois l'apprentissage contextuel à une durée maximale de 10 minutes.

Dans des tâches telles que le repiquage des plantes, chaque tâche nécessite la réalisation continue de dizaines d'étapes. Dans les démonstrations de ces tâches à long terme, le robot doit non seulement imiter, mais aussi comprendre :

À quel étape en suis-je actuellement, que dois-je faire ensuite, comment combiner les compétences entre elles, et comment reprendre si je fais une erreur en cours de route.

Cela signifie que le robot doit véritablement comprendre l'intention des tâches et des actions dans la démonstration vidéo, réagir de manière adaptative et ne pas se limiter à une simple imitation comportementale.

De plus, dans la tâche de repiquage des plantes, il n'a fallu que 11 minutes depuis le début de la démonstration jusqu'à ce que le robot prenne en main l'opération, surpassant directement les méthodes traditionnelles d'entraînement postérieur en termes d'efficacité.

Enfin, tout au long du processus, S1 n'a utilisé ni fine-tuning ni post-training ; les poids du modèle sont restés entièrement inchangés, et une seule et même série de poids a permis de réaliser toutes les tâches présentées dans le blog.

On a désormais aligné les grands modèles sur la transition de BERT, qui nécessite un fine-tuning spécifique à un scénario, à GPT-3, qui peut accomplir des tâches OOD en se basant uniquement sur des exemples.

La seule différence réside dans le fait que le prompt utilisé n'est plus un langage, mais des vidéos d'actions mieux alignées sur les tâches en aval.

Dans la partie expérimentale, Skild a comparé les prompts vidéo ICL aux prompts linguistiques traditionnels VLA, sur des tâches vues et non vues dans les données d'entraînement.

Les résultats des tests indiquent que lorsque les données d'entraînement ne sont que de 1000 heures, les prompts linguistiques offrent de meilleurs résultats, tandis que, avec l'augmentation de la taille des données, l'ICL commence à les dépasser.

À 100 000 heures, les tâches vues pendant l'entraînement : ICL 96 %, language prompt 89 %.

Sur les tâches OOD véritablement critiques : ICL à 66 %, les invites linguistiques à seulement 9 %, créant un écart de plus de 7 fois.

Pour vérifier la généralisation de S1, Skild a effectué des tests dans différentes conditions expérimentales.

Les résultats montrent que la dégradation des performances du VLA avec prompt linguistique peut atteindre jusqu'à trois fois celle de l'ICL.

Autrement dit, ce que ICL apprend, ce n'est pas une répétition d'actions dans des scénarios fixes, mais plutôt la capacité de réplanifier ses actions en fonction de l'environnement actuel.

Enfin, en ce qui concerne l'apprentissage one-shot.

S1 n'effectue aucun post-entraînement sur la nouvelle tâche et atteint un taux de réussite de 66 % en observant uniquement une démonstration vidéo.

En comparaison, les VLA traditionnels nécessitent environ 380 démonstrations après l'entraînement pour atteindre le même niveau.

Bien sûr, après avoir continué à accumuler jusqu'à 2000 démonstrations, le post-entraînement traditionnel atteint finalement 86 %.

La conclusion n’est donc pas « les robots n’auront plus besoin d’être formés à l’avenir », mais :

Avant, il fallait enseigner une nouvelle compétence des centaines de fois, maintenant, après avoir regardé une seule fois, on peut déjà l'accomplir à 60 ou 70 %.

C'est également ce que Skild appelle la loi d'échelle ICL :

Plus il y a de données, plus le modèle ne se contente pas d'acquérir davantage de compétences, mais apprend de mieux en mieux les compétences à partir des démonstrations.

Skild a été fondée en 2023 par deux figures connues du milieu de la robotique à CMU : Deepak Pathak et Abhinav Gupta.

Les deux sont professeurs à l'Institut de robotique de l'Université Carnegie Mellon. Deepak se concentre principalement sur l'apprentissage des robots, l'apprentissage par renforcement et la vision par ordinateur, tandis qu'Abhinav est une référence dans les domaines de la vision par ordinateur et de l'apprentissage auto-supervisé.

Déjà en 2022, les deux avaient collaboré sur WHIRL, permettant aux robots d'apprendre par imitation one-shot en regardant des vidéos humaines ; on peut dire que cette voie S1 n'est pas apparue du jour au lendemain.

En tant qu'entreprise phare du cercle de l'embodiment en Amérique du Nord, Skild a levé 300 millions de dollars en série A et été évaluée à 1,5 milliard de dollars dès sa sortie du mode discrétionnaire en 2024 ;

En janvier de cette année, une nouvelle levée de fonds de série C de 1,4 milliard de dollars a été réalisée, faisant grimper la valorisation à plus de 14 milliards de dollars, avec SoftBank en tant que chef de file, tandis que NVIDIA, Bezos et d'autres continuaient d'investir. En un peu plus de deux ans, la valorisation a presque été multipliée par dix.

Sur le plan horizontal, Skild occupe une position tout aussi particulière dans l'écosystème de l'embodiment en Amérique du Nord.

Plutôt que de ressembler à un « robot GPT », Generalist met récemment l'accent sur l'apprentissage en un seul échantillon, ainsi que sur la poussée complète de Genesis AI et Sunday. Skild insiste toujours sur une seule phrase : Any robot, any task, one brain.

Il met davantage l'accent sur la transversalité des embodiments, en souhaitant qu'un même Skild Brain puisse fonctionner sur des bras mécaniques, des quadrupèdes, des humanoïdes, et autres formes corporelles.

En termes simples, il s'agit de devenir l'Android de l'ère des robots : une couche intelligente que l'on peut intégrer dans divers corps.

Cela détermine également la stratégie de données de Skild : tout.

Skild considère les données des robots selon trois dimensions : la proximité matérielle, la diversité et l'évolutivité :

Le contrôle à distance via un appareil réel est le plus proche du matériel, mais coûteux ; les vidéos humaines en première personne sont les plus faciles à scaler, mais éloignées du corps robotique ; la simulation est bon marché et facile à produire en grande quantité, mais souffre d'un écart sim-to-réel.

Ils adoptent donc essentiellement une stratégie d'application générale à Robot Teleop, UMI, Vidéo égocentrique et Simulation.

Et l'ICL du S1 est également une extension naturelle de cette voie :

Septembre 2025 : LocoFormer → Février 2026 : Premier ICL dans le domaine → Mai : Première retournement de crêpe → Août : Sortie du S1, propulsant directement l'apprentissage contextuel jusqu'à des tâches OOD longues de 10 minutes.

Donc, la question véritablement importante à présent n'est peut-être plus de savoir si les robots peuvent encore apprendre davantage de compétences, mais :

Le coût d'apprentissage d'une nouvelle compétence par un robot peut-il vraiment passer de « l'enseigner des centaines de fois » à « vous le faites une fois, il observe une fois » ?

Si cette loi d'échelle continue de s'appliquer, alors le moment GPT des robots ne sera peut-être pas simplement un autre slogan marketing.

Lien de référence : [1] https://www.skild.ai/blogs/s1

Cet article provient du compte WeChat « Quantum Bit », auteur : henry