Estudio: Las mejoras en los datos superan los avances de los modelos en la eficiencia de preentrenamiento de 2019 a 2025

Mensaje de Huoxing Caijing: Dwarkesh Patel y Jerry Han publicaron un estudio el 8 de septiembre de 2026, desglosando la contribución de las mejoras en datos y modelos en el progreso de preentrenamiento entre 2019 y 2025. El estudio se realizó a escala reducida y enfocado en el preentrenamiento, utilizando las recetas de modelos y corpora de datos públicos disponibles cada año, y combinando el entrenamiento hasta un máximo de 1e19 FLOPs. Los resultados mostraron que, bajo un presupuesto computacional de 1e19 FLOPs, las mejoras en los datos generaron un aumento en la eficiencia computacional de 12.0 veces, mientras que las mejoras en los modelos generaron un aumento de 3.7 veces, lo que significa que el beneficio de los datos fue aproximadamente 3.24 veces mayor que el de los modelos. Los beneficios de los datos y los modelos son en gran medida independientes y casi no interactúan; bajo un modelo lineal, su efecto aditivo explica el 88% de la varianza en la puntuación OLMES. Las mejoras en los modelos abarcan desde GPT-2 hasta OLMo-2, incluyendo optimizadores, codificación de posición, normalización, funciones de activación e inicialización. Las mejoras en los datos evolucionaron desde aproximadamente 9 mil millones de tokens en OpenWebText en 2019 hasta corpora más grandes y filtrados con mayor precisión, como UltraFineWeb en 2025.