ChainCatcher informa que Dwarkesh Patel y Jerry Han publicaron un estudio el 8 de septiembre de 2026, desglosando la contribución de las mejoras en datos y modelos al progreso en el preentrenamiento entre 2019 y 2025. El estudio se realizó a escala reducida y enfocado en el preentrenamiento, utilizando para cada año las recetas de modelos y corpora de datos públicos disponibles en ese momento, combinando el entrenamiento hasta un máximo de 1e19 FLOPs. Los resultados muestran que, bajo un presupuesto de cálculo de 1e19 FLOPs, las mejoras en datos generan un aumento en la eficiencia computacional de 12.0 veces, mientras que las mejoras en modelos aportan 3.7 veces; la ganancia por lado de datos es aproximadamente 3.24 veces mayor que la del lado del modelo. Las ganancias de datos y modelos son en gran medida independientes y casi no interactúan; bajo un modelo lineal, el efecto aditivo de ambos puede explicar el 88% de la varianza en la puntuación OLMES. Las mejoras en el modelo abarcan desde GPT-2 hasta OLMo-2, incluyendo optimizadores, codificación de posición, normalización, funciones de activación e inicialización. Las mejoras en los datos evolucionaron desde aproximadamente 9 mil millones de tokens en OpenWebText en 2019 hasta corpora más grandes y filtrados con mayor precisión, como UltraFineWeb en 2025.
Estudio: Las mejoras en los datos superan los avances de los modelos en la eficiencia de preentrenamiento de 2019 a 2025
ChaincatcherCompartir
Resumen
Un estudio de Dwarkesh Patel y Jerry Han, publicado el 8 de septiembre de 2026, muestra que las mejoras en los datos superaron los avances en los modelos en términos de eficiencia de preentrenamiento entre 2019 y 2025. Los datos en cadena contribuyeron con una ganancia de eficiencia computacional de 12,0x, mientras que las mejoras en los modelos ofrecieron una ganancia de 3,7x bajo un presupuesto de 1e19 FLOPs. Las tendencias en los datos de inflación sugieren que la calidad de los datos es ahora el principal impulsor de la eficiencia.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.