Étude : Les améliorations des données surpassent les gains des modèles en efficacité de pré-entraînement de 2019 à 2025

ChainCatcher rapporte que Dwarkesh Patel et Jerry Han ont publié une étude le 8 septembre 2026, analysant la contribution des améliorations de données et de modèles dans les progrès de pré-entraînement entre 2019 et 2025. L'étude a été menée à petite échelle, spécifiquement pour la pré-entraînement, en utilisant chaque année les recettes de modèles publiées et les corpus de données ouverts correspondants, avec une puissance de calcul d'entraînement allant jusqu'à 1e19 FLOPs. Les résultats montrent que, sous un budget de calcul de 1e19 FLOPs, les améliorations des données ont généré un gain d'efficacité calculatoire de 12,0 fois, tandis que les améliorations des modèles ont apporté un gain de 3,7 fois — les gains provenant des données étant environ 3,24 fois supérieurs à ceux provenant des modèles. Les gains issus des données et des modèles sont globalement indépendants et présentent presque aucune interaction ; sous un modèle linéaire, leur effet additif explique 88 % de la variance des scores OLMES. Les améliorations des modèles couvrent l'évolution de GPT-2 à OLMo-2, incluant des optimiseurs, des encodages de position, la normalisation, les fonctions d'activation et les initialisations. Du côté des données, on passe d'un corpus OpenWebText d'environ 9 milliards de tokens en 2019 à des corpus plus volumineux et mieux filtrés comme UltraFineWeb en 2025.