Un nouvel article propose un entraînement de bout en bout pour les modèles génératifs via la modélisation exploratoire

En 2012, AlexNet a mis fin à une ère avec une victoire écrasante. Avant cela, la reconnaissance d'images reposait sur la conception manuelle de processus en plusieurs étapes pour extraire des caractéristiques ; AlexNet a démontré ce qui a été vérifié à maintes reprises depuis : confier l'ensemble de la tâche à un modèle pour qu'il l'apprenne de bout en bout, c'est presque toujours mieux que les pipelines en plusieurs étapes soigneusement conçus par l'homme.

Du classement d'images à la détection d'objets, puis à la segmentation d'images, chaque saut du deep learning repose sur la même phrase : laissez-le apprendre tout d'un coup.

Un seul domaine reste toujours une exception : les modèles de génération.

Les modèles génératifs les plus puissants et les plus évolutifs d'aujourd'hui, qu'ils soient autoregressifs ou de diffusion, ne sont pas end-to-end.

Ils ont été formés pour prédire uniquement « un petit pas », mais lors de l'inférence, ils doivent répéter cet étape des centaines ou des milliers de fois, comme un réseau récurrent.

Les méthodes d'échantillonnage utilisées pour l'entraînement et l'inférence ne sont pas les mêmes. Cette divergence soulève un problème classique : chaque erreur à chaque étape est transmise à l'étape suivante, ce qui fait que les entrées s'éloignent progressivement de la distribution observée pendant l'entraînement, accumulant les erreurs à chaque niveau. En académie, on l'appelle « biais d'exposition » (exposure bias).

En d'autres termes, la leçon la plus fondamentale du deep learning, « l'end-to-end est meilleur », n'a jamais vraiment trouvé d'application dans les modèles de génération au cours des dernières décennies.

Et récemment, un article issu de l'UIUC et de l'Université Harvard a tenté de compléter ce dernier morceau du puzzle.

L'auteur a donné un nom à ce nouveau paradigme : Explorative Modeling (modélisation exploratoire), abrégé en XM. Son idée est simple au point d'être presque naive, mais elle conduit à une conclusion audacieuse : les modèles génératifs possèdent, outre les paramètres et les données, un troisième axe pouvant être amplifié.

Site du projet : https://explorative-modeling.github.io

Adresse du papier : https://arxiv.org/abs/2607.27372

Dépôt de code : https://github.com/alexiglad/XM

Pour comprendre ce que cet article cherche à résoudre, il faut d'abord comprendre pourquoi la génération est difficile.

L'apprentissage supervisé classique (par exemple, la classification) attribue généralement une seule réponse correcte à chaque entrée ; le modèle n'a besoin d'apprendre qu'une seule mapping déterministe.

Mais les générations sont différentes. Vous demandez au modèle de « générer un chien », et la bonne réponse pourrait même avoir une infinité de possibilités. Ces sorties valides sont les différents modes de la distribution (c’est-à-dire les pics indépendants de la distribution). Générer est difficile précisément parce qu’il faut saisir simultanément tous ces modes.

Le problème réside dans le fait que les modèles génératifs principaux sont entraînés en utilisant une perte de reconstruction (par exemple, l'erreur quadratique). Lorsqu'une entrée est associée aléatoirement à plusieurs cibles légales différentes, la meilleure solution que la perte de reconstruction peut fournir est la moyenne de ces cibles. Or, pour la majorité des données, cette moyenne ne se trouve pas sur la variété des données, mais se situe entre plusieurs modes, ne ressemblant à aucun d'entre eux.

La figure dans l'article est très intuitive : sans aucune astuce, le modèle effectue une régression directe de bout en bout, prédisant un seul point au centre pour trois nuages de points, floutant une photo de chien en une tache, et réduisant une phrase à répéter « the » jusqu'à la fin. C'est ce qu'on appelle le « mode blurring » (flou de mode), c'est-à-dire que la solution optimale est précisément la moins ressemblante aux données réelles.

Comment les modèles actuels contournent-ils cela ? La réponse consiste à décomposer l'« génération » en étapes. L'auto-régressif prédit un seul élément à la fois, la diffusion élimine uniquement un peu de bruit à chaque étape ; chaque petite étape a pour objectif une seule mode presque pure, ce qui empêche la perte de reconstruction de faire une moyenne.

Ce processus de « génération par fragmentation » est précisément ce qui permet aux modèles de diffusion et autoregressifs de produire des échantillons de haute qualité, mais c'est aussi ce qui empêche une formation end-to-end.

L'auteur pose alors une question essentielle : un modèle de génération n'a que deux éléments à décomposer, à savoir comment il génère et comment il est formé.

Si décomposer cette voie détruit l'extrémité à l'extrémité, pourquoi ne pas décomposer l'entraînement ?

Explorative Modeling déconstruit directement le cycle d'entraînement.

Son mécanisme peut être résumé en une phrase : à chaque étape d'entraînement, le modèle ne génère plus un seul échantillon pour tenter de correspondre à la cible, mais génère K candidats, puis ne sélectionne que celui le plus proche des données réelles pour l'entraînement et la rétropropagation du gradient. L'article le met en œuvre sous forme d'une boucle for de 3 à 5 lignes, ce qui est si simple qu'on pourrait en douter (Algorithme 1).

Pourquoi cela résout-il l'ambiguïté du mode ?

Changez le contexte de la vie quotidienne : deviner où atterriront les fléchettes. Si vous n’avez le droit de deviner qu’une seule fois, votre meilleure stratégie consiste à deviner la position moyenne de toutes les fléchettes — mais c’est souvent un endroit sur la cible où aucune fléchette n’a réellement atterri. Toutefois, si vous avez le droit de deviner K fois et que seul le coup le plus proche est compté, votre stratégie optimale change immédiatement : vous répartirez vos K devinettes pour couvrir plusieurs groupes distincts d’emplacements d’atterrissage.

Il en va de même pour le modèle. Lorsqu'il est autorisé à explorer K candidats, différents bruits d'entrée « revendiquent » chacun un mode distinct, au lieu de tous se regrouper au centre pour en faire une moyenne. Le modèle capture avec stabilité autant de modes que de tentatives d'exploration.

L'auteur a donné un nom à cette capacité longtemps négligée : l'expressivité générative, et souligne qu'elle est déterminée par l'objectif d'entraînement lui-même, quel que soit le nombre de paramètres ou de données accumulés, elle ne s'améliorera pas spontanément.

Cela explique également un phénomène étrange déjà observé dans l'industrie : pourquoi les meilleurs modèles d'aujourd'hui dépendent tant de la technologie de « guidance ».

Ce qu'on appelle guidance sans classificateur revient essentiellement à pousser la prédiction « loin » de cette moyenne floue. Mais si le modèle lui-même n'est pas flou, pourquoi le pousser ? La guidance est utile précisément à cause de ce symptôme laissé par la floue des modes.

L'article présente également deux directions d'exploration : Forward et Reverse. La première fixe un objectif réel et cherche le plus proche dans ses propres générations, privilégiant la « exhaustivité » (couverture de tous les modes) ; la seconde fixe une génération et cherche le plus proche dans les données réelles, privilégiant la « précision », avec presque aucun coût computationnel supplémentaire, mais au risque de s'effondrer sur quelques modes seulement. Les deux sont complémentaires et peuvent être combinées.

La conclusion la plus significative de cet article est d'avoir validé l'« exploration » comme un véritable axe d'échelle.

L'auteur applique l'exploration aux modèles de diffusion/flow, aux modèles Jumpy et même aux modèles de langage à diffusion masquée, observant de manière cohérente une amélioration monotone des performances sur trois modalités : images, vidéos et langage. Plus important encore, le bénéfice évolue avec la taille : plus le modèle est agrandi, plus l'amélioration est marquée.

Les chiffres présentés dans l'article sont les suivants : à mesure que la taille des données augmente, le gain apporté par l'exploration passe de 7 % à 36 % ; à mesure que le modèle s'agrandit, il passe de 13 % à 23 % ; lorsque la puissance de calcul est multipliée par trois, le gain d'efficacité plus que double.

En termes d'efficacité, il améliore l'efficacité en FLOP de 4,1 fois, l'efficacité échantillonnale de 6,2 fois et l'efficacité paramétrique de 47 %. En génération d'images, il pousse la recette RAE la plus performante à une FID de 1,43 sans guidance sur ImageNet, approchant ainsi le meilleur niveau industriel.

Un modèle Large qui explore 5 modes, capable de surpasser un modèle XLarge ayant 47 % de paramètres supplémentaires mais ne faisant aucune exploration.

La signification de cette tendance n'est pas négligeable. L'auteur explique que, à petite échelle, le modèle est principalement limité par les paramètres et les données, et la capacité générative n'est pas encore un goulot d'étranglement ; mais dès que les paramètres et les données sont augmentés au point de ne plus constituer une limitation, la capacité générative devient de plus en plus le véritable goulot d'étranglement. Et c'est précisément ce qu'il s'agit d'explorer pour pouvoir être directement amplifié.

Étant donné que le calcul utilisé pour l'entraînement des modèles fondamentaux actuels est environ quatre ordres de grandeur supérieur à celui du plus grand experiment de cet article, les auteurs estiment que les chiffres rapportés dans l'article sont probablement seulement un seuil inférieur des rendements observables à plus grande échelle.

Que se passe-t-il si on pousse l'exploration à ses limites ? La réponse revient à ce mystère initial : les modèles génératifs peuvent enfin être end-to-end.

L'auteur traite XM comme un modèle end-to-end indépendant pour des tâches de commande de robot. En apprentissage par imitation (Behavior Cloning), leur politique exploratoire atteint ou dépasse les performances de la politique de diffusion, qui nécessite 100 passes avant, en n'utilisant qu'une seule passe avant. En modélisation du monde orientée objectif, le modèle du monde exploratoire atteint de meilleures performances moyennes en utilisant 16 à 256 fois moins de puissance de calcul d'inférence que le Diffuser.

La source de cet écart est claire : les modèles de diffusion échangent des centaines d'étapes d'inférence contre une plus grande expressivité, tandis que XM end-to-end déplace ce coût vers l'exploration pendant l'entraînement, permettant ainsi une seule passe d'inférence. « Gérer plusieurs modes » — le même problème — consiste soit à le décomposer lentement pendant l'inférence, soit à l'explorer complètement pendant l'entraînement ; cet article choisit la seconde option.

L'auteur principal de cet article, Alexi Gladstone, n'est pas inconnu. En juillet 2025, son travail sur les Energy-Based Transformers (EBT) a suscité un débat considérable sur les réseaux sociaux.

Ce travail prétend avoir « surpassé » pour la première fois la courbe d'extension du Transformer feedforward standard sur plusieurs dimensions, et tente d'étendre la « pensée de système 2 » à n'importe quel mode. Voir l'article de MachineHeart : « Un nouveau paradigme arrive ! Le nouveau modèle énergétique brise la limite d'extension de Transformer++, avec un taux d'extension d'entraînement 35 % plus rapide ».

Le modèle exploratoire s'inscrit dans la continuité de sa démarche habituelle : il interroge constamment « si un modèle peut, par un processus de recherche ou d'exploration, accomplir des tâches impossibles avec une seule passe forward ». Ce papier s'appuie en outre sur une autre théorie développée par l'auteur et ses collaborateurs (Yilun Du et Heng Ji) : le Mode Forcing. Dans l'article, il est clairement admis que, grâce à cette théorie préalable, la majorité des résultats de XM ont été prédits théoriquement avant d'être vérifiés expérimentalement — une approche rare dans le domaine de l'apprentissage profond, où l'on privilégie généralement « faire les expériences puis les interpréter ».

L'auteur reconnaît également honnêtement les limites : l'idée de best-of-K n'est pas nouvelle en soi, de nombreux chercheurs l'ont déjà explorée ; leur véritable contribution réside dans la compréhension claire de ce que cette simple boucle fait réellement : elle amplifie directement l'expressivité de la génération sans décomposer le processus de génération.

En outre, les modèles linguistiques autorégressifs restent actuellement les plus difficiles à résoudre, et les approches entièrement end-to-end Forward XM sont encore trop coûteuses sur des distributions extrêmement multimodales (comme la génération d’images), ce qui est laissé pour des travaux futurs.

Depuis des dizaines d'années, nous avons été habitués à régler les modèles de génération avec deux commandes : les rendre plus grands et leur fournir plus de données.

Le troisième levier proposé dans cet article est assez simple : faire en sorte que le modèle effectue plusieurs essais et ne conserve que le meilleur résultat. Toutefois, si la tendance qu'il révèle se confirme, alors à mesure que la taille continue d'augmenter, les deux premiers leviers finiront inévitablement par atteindre leurs limites, tandis que le troisième vient tout juste de commencer à tourner.

Lien de référence

https://x.com/AlexiGlad/status/2083230922196107288

Cet article provient du compte officiel WeChat « Machine Heart » (ID : almosthuman2014), auteur : Panda