Étude : Les améliorations des données surpassent les gains des modèles en efficacité de pré-entraînement de 2019 à 2025

Selon Mars Finance, Dwarkesh Patel et Jerry Han ont publié une étude le 8 septembre 2026, analysant la contribution des améliorations de données et de modèles dans les progrès de pré-entraînement entre 2019 et 2025. L'étude a été menée à petite échelle, spécifiquement pour la pré-entraînement, en utilisant les recettes de modèles et les corpus de données publiés chaque année, avec une puissance de calcul d'entraînement allant jusqu'à 1e19 FLOPs. Les résultats montrent que, sous un budget de calcul de 1e19 FLOPs, les améliorations des données ont apporté un gain d'efficacité calculatoire de 12,0 fois, tandis que les améliorations des modèles ont apporté un gain de 3,7 fois — les gains provenant des données étant environ 3,24 fois supérieurs à ceux provenant des modèles. Les gains issus des données et des modèles sont globalement indépendants et présentent presque aucune interaction ; sous un modèle linéaire, leur effet additif explique 88 % de la variance des scores OLMES. Du côté des modèles, l'évolution s'est effectuée de GPT-2 à OLMo-2, incluant des améliorations sur les optimiseurs, le position encoding, la normalisation, les fonctions d'activation et l'initialisation. Du côté des données, le corpus a évolué depuis environ 9 milliards de tokens d'OpenWebText en 2019 jusqu'à des corpus plus volumineux et mieux filtrés comme UltraFineWeb en 2025.