Les améliorations des données surpassent les progrès des modèles en efficacité de pré-entraînement en IA

Auteur : Dwarkesh Patel

Traduction : Deep潮 TechFlow

Lecture approfondie de Shenchao : Au cours des six dernières années, les capacités des modèles d'IA ont progressé de manière spectaculaire, mais ces progrès proviennent-ils des algorithmes ou des données ? Cet article présente, à l'aide d'une série d'expériences contrôlées à petite échelle, une conclusion contre-intuitive : l'amélioration des données augmente l'efficacité du calcul de plus de trois fois plus que les améliorations des modèles. Pour ceux qui suivent les investissements dans les infrastructures d'IA et la concurrence entre les laboratoires de pointe, il révèle un moteur sous-estimé : l'ingénierie des données.

Au cours des dernières années, quelle part des progrès rapides observés dans le domaine de l’IA provient des améliorations des données, et quelle part provient des améliorations des modèles ? La réponse à cette question a un impact majeur sur les modèles économiques des laboratoires de pointe et sur la vitesse des progrès futurs.

Nous avons mené une enquête relativement limitée sur ce problème, axée spécifiquement sur le pré-entraînement de 2019 à 2025. Au cours de ces années, chaque année a vu la publication d’un nouvel ensemble de modèles open source qui récapitule les ajustements algorithmiques connus publiquement de l’année (par exemple, les améliorations en matière d’architecture, d’optimiseur, d’initialisation, de planification du taux d’apprentissage et d’hyperparamètres). Parallèlement, chaque année a également vu l’émergence de nouveaux corpus de données publics (issus de captures à plus grande échelle ainsi que de nouvelles techniques de curation, d’extraction et de filtrage).

Nous avons entraîné ces modèles, combinant diverses architectures et corpus de données représentant différents niveaux d'années, avec différentes échelles de puissance de calcul d'entraînement (jusqu'à 1e19 FLOPs).

Il est évident que nous ne pouvons pas comparer ces différents modèles en fonction de leur perte d'entropie croisée sur un jeu de données fixe, car nous modifions les ensembles de données sur lesquels ils sont entraînés. Nous évaluons donc ces modèles en fonction de leurs capacités finales, en utilisant l'évaluation OLMES (qui synthétise 10 benchmarks relativement simples, principalement des questions à choix multiples). Malheureusement, évaluer les capacités finales plutôt que la perte de pré-entraînement introduit un certain bruit dans nos résultats, que vous pourrez observer dans le graphique ci-dessous ; toutefois, nous avons tenté d'obtenir des limites plus nettes en utilisant plusieurs semences aléatoires.

Nous avons constaté qu'entre 2019 et 2025, sous un budget de calcul de 1e19 FLOPs, une amélioration de l'efficacité du calcul supérieure à 3,24 fois provient d'améliorations des données, et non des modèles (données : 12,0 fois, modèles : 3,7 fois).

Le tableau ci-dessous présente l'amélioration des performances de nos modèles sur les tests finaux, par rapport à la base de données et d'architecture de 2019, avec une puissance de calcul de 3,16e18 FLOPs.

Nous avons constaté que les gains issus des améliorations des données et des améliorations du modèle sont principalement indépendants les uns des autres, sans interaction mutuelle (c’est-à-dire que le gain d’une amélioration du modèle ne dépend pas d’un jeu de données spécifique, et inversement). À l’aide d’un modèle linéaire, 88 % de la variance dans le score OLMES peut être expliquée par les effets additifs des améliorations du modèle et des améliorations des données.

À titre de contexte, résumons brièvement les changements survenus côté données et côté modèle entre 2019 et 2025.

Du côté du modèle, nous sommes passés de GPT-2 à OLMo-2, avec des innovations clés sur l'optimiseur, le position encoding, la normalisation, la fonction d'activation et l'initialisation.

Du côté des données, nous avons commencé en 2019 avec OpenWebText, qui ne contenait que des pages web liées sur Reddit et bien upvotées, après déduplication et filtrage, ce qui a finalement donné environ 9 milliards de tokens (ce qui correspond essentiellement aux données d'entraînement de GPT-2). En 2025, des corpus de données open source comme UltraFineWeb sont non seulement beaucoup plus volumineux (via l'exploration de l'ensemble d'Internet), mais utilisent également des méthodes de filtrage bien plus complexes (par exemple, en formant un classificateur pour prédire quelles données améliorent réellement les performances du modèle).

Une interprétation naive de nos résultats est que la majeure partie des progrès de l'IA entre 2019 et 2024 (l'ère du pré-entraînement) n'était en réalité que de meilleures pratiques d'ingénierie des données (extraction, curation, etc.), et que le travail sur les modèles pendant cette période était bien moins important.

Mais ce pourrait être une mauvaise façon d’évaluer la valeur des améliorations du modèle. La contribution principale des améliorations du modèle n’est pas nécessairement l’efficacité computationnelle, c’est-à-dire atteindre les mêmes performances avec moins de FLOPs. Au contraire, elle rend d’abord des ressources computationnelles plus importantes accessibles. À mesure que le nombre de paramètres, la longueur du contexte, la durée d’exécution et la taille du cluster augmentent, divers problèmes surviennent facilement (explosion ou disparition des gradients, épuisement de la mémoire et de la bande passante, entraînement devenant excessivement lent). Une grande partie de la recherche sur les modèles consiste à éliminer ou à repousser ces limites à l’échelle. De nombreuses innovations les plus importantes relèvent de cette catégorie, comme les MoE, les variantes d’attention clairsemée, les innovations en matière de stabilité (position de la normalisation, initialisation, etc.) ainsi que des optimisations systémiques et au niveau des noyaux comme FlashAttention.

Les améliorations de données que nous étudions ici peuvent être moins importantes pour les modèles plus grands. Les petits modèles (comme ceux que nous avons entraînés) bénéficient fortement d'une meilleure qualité de données, car leur capacité est limitée et il faut faire très attention à ce qu'on y introduit. En revanche, les grands modèles disposent d'une capacité excédentaire importante ; il est donc possible de simplement tenter d'injecter le plus de données possible, même si la majorité est de mauvaise qualité, car la magie de la descente de gradient stochastique sépare le signal du bruit. Si vous optez pour un filtrage agressif, vous devez effectuer des dizaines d'epochs, et les résultats empiriques sont souvent pires que ceux obtenus avec un ensemble de données plus volumineux mais de qualité moyenne inférieure. En réalité, en tenant compte du fait que les modèles d'avant-garde sont jusqu'à 100 fois sur-entraînés par rapport à la norme optimale de Chinchilla afin de minimiser la puissance de calcul requise pour l'inférence, le renforcement et le déploiement, les risques liés à une curation agressive des données sont encore plus importants.

Une analogie pourrait être la différence entre un voilier et un porte-conteneurs : le porte-conteneurs n’est pas nécessairement plus rapide, mais il peut transporter des milliers de tonnes de marchandises (équivalent à des centaines de trillions de jetons de données d’entraînement préalable) et ne se renverse pas en mer agitée (équivalent à un entraînement stable sur des centaines de milliers de GPU).

Avec les navires conteneurisés plus grands et plus robustes dont nous disposons maintenant, nous n’avons plus à nous soucier de ce que nous chargeons ; nous pouvons embarquer tout ce qui a même un minimum d’utilité. En revanche, pour les petits et fragiles voiliers de 2019, il fallait être extrêmement prudent et ne transporter que les marchandises les plus précieuses.

Mais si la nature même des progrès du pré-entraînement consiste simplement à charger davantage de marchandises sur ce navire, ne sommes-nous pas en train de nous approcher de la limite de notre stock ? Il s'agit du problème du mur des données, et de la question de savoir dans quelle mesure les données synthétiques peuvent nous aider à le franchir. Les données synthétiques sont déjà largement utilisées dans les laboratoires, mais nous n'avons encore étudié en aucune manière leur capacité à élargir efficacement le corpus de données sans nuire aux performances du modèle. Si ces gains sont limités, la principale force motrice des progrès du pré-entraînement risque de s'arrêter, car nous ne générerons pas davantage de contenu internet, et la capacité à curation d'un ensemble de données fixe est également limitée. Il convient de préciser que nous n'avons pour l'instant aucune raison positive de penser que cela se produira réellement. Toutefois, compte tenu de l'importance cruciale des données pour faire progresser le pré-entraînement, il s'agit là d'une question fondamentale qui mérite d'être étudiée plus en profondeur.

Ryan Greenblatt souligne que de nombreuses améliorations historiques des corpus de données d'entraînement préalable ressemblent à des progrès que les chercheurs en automatisation pourraient directement stimuler par des tests empiriques, par exemple en exécutant des expériences d'ablation avec des modèles formés sur différents jeux de données pour observer leur performance. Il s'agit donc d'une confirmation totale de nos résultats : si le développement de l'IA est automatisé, les progrès dans les données qui ont fait avancer l'entraînement préalable depuis 2019 pourraient s'accélérer considérablement.

Nous souhaitons clarifier un point : savoir si les progrès du pré-entraînement s'accélèrent ou ralentissent isolément n'est pas la question la plus importante concernant l'ensemble des progrès de l'IA, car de nombreux gains des deux dernières années proviennent de l'apprentissage par renforcement.

Directions futures de la recherche

Voici quelques directions et questions de recherche futures que nous jugeons intéressantes et importantes :

• Vous pouvez mener cette expérience à une échelle plus grande pour voir si les améliorations des données ou du modèle dépendent davantage de la taille, ce qui aurait un impact plus important dans les domaines de pointe.
• Quelle est la valeur marginale des nouvelles données de haute qualité lors de la pré-formation et de la post-formation, mesurée en termes de capacité finale ?
• Nous souhaitons avoir une idée générale de l'efficacité réelle des données synthétiques. Une question spécifique méritant d'être étudiée est la suivante : si vous disposez d'un petit ensemble de données de haute qualité, dans quelle mesure l'augmentation de cet ensemble par génération de données synthétiques améliore-t-elle les résultats par rapport à un entraînement en plusieurs itérations directement sur ces données ?
• Vous pouvez déduire la valeur implicite des données à partir du rapport entre les dépenses consacrées aux intermédiaires de données, aux producteurs d’environnement, etc., et les dépenses consacrées à la puissance de calcul et aux chercheurs.

Nous voulons étudier le rôle que les données jouent dans la promotion de l'avancement de l'IA. Il existe de nombreuses autres façons d'explorer cette question, certaines pouvant être plus ingénieuses et plus informatives que notre approche. De plus, notre expérience est de très petite échelle. Nous pensons qu'il est possible que nous ayons omis certains éléments et nous serions très intéressés à connaître la manière dont d'autres pourraient étudier cette question, idéalement en voyant leurs résultats !

Un grand merci à Charlie O'Neill pour ses nombreuses discussions enrichissantes.

Nous avons pré-entraîné ces modèles à partir de zéro sur différents jeux de données, en utilisant différents budgets de calcul et en fixant plusieurs seeds indépendants 6. Nos budgets de calcul sont : 1e17, 3,16e17, 1e18, 3,16e18 et 1e19 FLOP. La convention de calcul du budget de calcul repose sur le calcul nominal C = 6ND (N étant le nombre de paramètres non incorporés, D le nombre de tokens de données).

Pour chaque budget de puissance de calcul, nous ajustons le nombre de paramètres afin de déterminer le nombre de tokens d'entraînement, ce qui nous permet d'identifier le rapport optimal entre la puissance de calcul et chaque combinaison de recette d'entraînement et de corpus. Nous utilisons la perte sur un ensemble de validation du corpus pour déterminer ce point d'optimalité en puissance de calcul. Ensuite, nous obtenons les courbes d'extension de la puissance de calcul pour les performances en aval de chaque combinaison, à partir desquelles nous extrayons finalement le facteur d'échelle de puissance de calcul.

Nous imposons l'utilisation d'un tokenizeur partagé et d'une longueur de contexte pour toutes les exécutions : GPT-2 BPE (tiktoken, vocabulaire de 50257) et T=2048, batch = 262144 tokens.

Les performances finales de notre entraînement dépendent fortement des hyperparamètres. Il est évident qu'il est impossible d'explorer toutes les combinaisons possibles d'hyperparamètres ; le réglage des hyperparamètres est véritablement une art subtil ! Nous faisons de notre mieux pour les contrôler et considérons le taux d'apprentissage maximal comme l'hyperparamètre clé principal.

Certaines versions d'algorithmes fournissent effectivement des directives sur la valeur à laquelle le taux d'apprentissage maximal doit être ajusté, en fonction d'autres variables associées telles que la taille du modèle, le budget de données, la taille des lots, etc. Ces directives nous offrent de bons a priori pour déterminer le taux d'apprentissage optimal.

Nous avons d'abord balayé le taux d'apprentissage sur 5 points d'ancrage : 3 tailles de modèles différentes et 2 rapports D/N différents. Nous avons déterminé le taux d'apprentissage optimal pour ces points d'ancrage et ajusté une forme paramétrique du taux d'apprentissage optimal.

Pour toutes les recettes de modèles sauf OLMo-2, nous ajustons un exposant commun a et b, ainsi qu'un lr₀ spécifique à chaque modèle. Pour OLMo-2, nous utilisons le taux d'apprentissage optimal spécifié pour cette recette de modèle. La raison pour laquelle nous traitons OLMo-2 de cette manière est que Ai2 a publié des étapes de modèles petits comme partie intégrante de la recette, définissant les meilleurs hyperparamètres pour les tailles que nous étudions. Nous avons également vérifié que notre taux d'apprentissage de production se situe à ou près du point optimal en termes de puissance calculatoire de 3,16e18 FLOP.

Principaux résultats techniques

Expliquez les anomalies sur le graphique

Nous avons observé une amélioration générale de l'efficacité du calcul dans le temps, tant au niveau des modèles que des données, ce qui est conforme aux attentes. Certains valeurs aberrantes que nous avons observées :

• NeoX se comporte moins bien que GPT-2 à 1e19 (bien qu'il soit plus performant dans la plage de 1e17 à 3,16e18). Cela pourrait être dû au bruit dans l'évaluation OLMES. Nous avons également remarqué que NeoX obtient de meilleurs résultats que GPT-2 sur la perte de pré-entraînement en laisser-tomber du corpus FineWeb-Edu.
• Les performances de The Piles semblent être bien inférieures à celles d'OpenWebText. Cela n'est pas surprenant, car l'amélioration principale de The Pile réside dans la diversité du corpus de données, et non dans le filtrage. Il intègre un mélange soigneusement sélectionné de 22 sources, incluant des articles de PubMed et arXiv, du code GitHub, des avis juridiques, des brevets et des comptes rendus parlementaires. Pour de nombreux tokens de ces sources, le transfert cross-domain vers OLMES (English Web Prose Multiple Choice) est probablement faible, ce qui entraîne une efficacité énergétique réduite. Nous notons que, en raison de sa plus grande taille, nous prévoyons que The Piles finira par surpasser OpenWebText (dont la taille est effectivement très petite) à plus grande échelle.
• Il convient également de noter que les facteurs de puissance de NeoX et Pile ont été obtenus par extrapolation, ce qui introduit une erreur potentielle supplémentaire.

Comment calculer le multiplicateur de puissance de calcul et ses lignes d'erreur

• Chaque point sur la courbe d'extension de la puissance de calcul provient de plusieurs runs d'entraînement indépendants. Les barres d'erreur représentent l'écart-type des évaluations OLMES sur ces seeds.
• Considérez le modèle de référence ou le corpus de données à un niveau de puissance de calcul donné et un niveau de performance de référence spécifique.
• Nous calculons ensuite le facteur de calcul en identifiant le point le plus à gauche sur la courbe d'extension du calcul du modèle ou du corpus candidat où le niveau de performance de référence est atteint pour la première fois. Le rapport entre le calcul requis pour le référentiel et le calcul requis pour le candidat constitue le facteur de calcul du candidat.
• Les bandes d'erreur du multiplicateur de puissance de calcul proviennent de la méthode de bootstrap des paramètres de l'ensemble du processus d'estimation, et correspondent à un intervalle d'un écart type.
• Nous souhaitons souligner que l'incertitude réelle du facteur de puissance du modèle est supérieure à ce que les barres d'erreur indiquent. Cela s'explique par la gamme limitée d'hyperparamètres que nous avons optimisés, et le fait que la capacité finale ou la perte de validation pourrait être assez sensible au choix exact du taux d'apprentissage maximal, de la taille de lot, etc.

Il est également important de noter que nos expériences d’ablation ne peuvent pas capturer entièrement la gamme complète des améliorations d’efficacité informatique pour plusieurs raisons. En effet, entre 2019 et 2025, nous avons observé une amélioration annuelle de l’efficacité informatique de 1,24 fois [1,19 ; 1,29] du côté des modèles et de 1,51 fois [1,45 ; 1,57] du côté des données. Lorsqu’elles sont mesurées conjointement, nous avons observé une amélioration annuelle de l’efficacité informatique de 1,57 fois [1,49 ; 1,65]7. Cela est effectivement bien inférieur à l’estimation moyenne de 3 fois par an d’Anson Ho et al., pour les raisons suivantes :

• De nombreux avantages peuvent dépendre de l'échelle ou être particulièrement importants dans des contextes plus longs, mais notre échelle d'opération est trop petite pour révéler la plupart de ces avantages. Par exemple, la normalisation des couches et la normalisation QK d'OLMo-2, ainsi que les blocs d'attention parallèle et MLP dans NeoX.
• L'optimisation de l'efficacité d'inférence (comme le GQA de LLama-3, une optimisation du cache KV) ne se traduit pas par un facteur de puissance de calcul dans nos études. Nous n'avons pas non plus étudié les améliorations des tokenizeurs.
• Le multiplicateur de puissance de calcul que nous obtenons est assez sensible aux modèles ou aux jeux de données que nous choisissons chaque année. Nous avons sélectionné des modèles ou des jeux de données que nous jugeons représentatifs, mais cela ne constitue pas une preuve exhaustive qu'il s'agit des meilleurs pour chaque année.
• Nous nous concentrons sur le facteur de puissance de calcul par rapport à la référence OLMES (qui combine 10 types de tâches relativement simples), et non sur le facteur de puissance de calcul nécessaire pour atteindre un certain niveau de perplexité. Si nous examinions d'autres références (comme des benchmarks dédiés à la programmation ou à la résolution de problèmes), les chiffres seraient très différents, car ces benchmarks pourraient récompenser des méthodes d'ingénierie de données radicalement différentes.

Nous tenons également à souligner que nous n’avons pas étudié d’améliorations sur d’autres axes de données, tels que la collecte de davantage de données de haute qualité à partir de nouvelles sources, les données générées par des experts humains ou les méthodes de génération de données synthétiques. La plupart des corpus étudiés proviennent du même sous-ensemble curaté de Common Crawl, et non d’une extension de l’ensemble de données disponible. Cela revient clairement à puiser dans un stock limité, dont le potentiel d’amélioration est donc restreint.

Rendement indépendant de la recette du modèle et de l'ensemble de données

Nous avons mené l'enquête suivante pour déterminer dans quelle mesure les gains liés à la recette du modèle et à l'ensemble de données sont indépendants. Nous avons examiné la grille des scores OLMES à 3,16e18 FLOPs. Une régression linéaire des scores OLMES, selon le modèle OLMES = moyenne + effet du modèle + effet des données, a donné un R² de 0,88. Cela signifie que 88 % de la variance des scores OLMES peut être expliquée par les effets additifs des améliorations du modèle et des données, tandis que seulement environ 12 % de la variance provient des termes d'interaction ou d'ordre supérieur, ainsi que du bruit d'évaluation. Cela suggère que les interactions complexes entre le modèle et les données (c'est-à-dire le fait qu'une amélioration du modèle dépende d'un certain type d'ingénierie des données, ou inversement) sont relativement faibles.

Anson Ho et al. estiment que l'amélioration de l'efficacité logicielle (durant la phase de pré-entraînement) est de 3 fois par an (intervalle de confiance à 95 % : 1,5 fois à 64 fois). Comme Ho le mentionne dans ce billet de blog, « la plupart des progrès logiciels proviennent en réalité d'améliorations de la qualité des données » et « de l'extension de quelques changements algorithmiques liés à l'échelle ».

Nous utilisons la convention nominale C = 6ND pour calculer la puissance de calcul.

La recette du modèle en 2019 était GPT-2, la recette du modèle en 2025 est OLMo-2. L'ensemble de données en 2019 était OpenWebText, l'ensemble de données en 2025 est UltraFineWeb.

Nous avons rencontré certains problèmes d'instabilité lors de l'entraînement de notre GPT3 sur Pile (pics de gradient).

Ces améliorations incluent : l'optimisation de l'optimiseur, un plan d'augmentation progressive suivi d'une décroissance, le remplacement de la position absolue apprise par RoPE, l'utilisation de RMSNorm avec un MLP à porte SwiGLU, le réarrangement des normes, QK-norm, la régularisation Z-loss et une initialisation plus propre.

Pour le graphique d'extension de puissance de calcul, nous utilisons au moins 3 graines pour chaque configuration. Pour la grille 7x7 des combinaisons de recettes de modèle et de jeux de données sous un budget de 3,16e18, nous n'avons utilisé qu'une seule graine par configuration.

Le multiplicateur annuel de 1,57 est calculé à partir des améliorations conjointes entre les modèles et les corpus de 2019 et de 2025, et non comme le produit de l'amélioration de 1,24 côté modèle et de 1,51 côté données.