Estudo: Melhorias nos dados superam os ganhos dos modelos na eficiência de pré-treinamento de 2019 a 2025

Mars Finance noticia que Dwarkesh Patel e Jerry Han publicaram, em 8 de setembro de 2026, um estudo que analisa a contribuição das melhorias em dados e modelos no avanço do pré-treinamento entre 2019 e 2025. O estudo foi conduzido em escala reduzida, focado no pré-treinamento, utilizando as receitas de modelos e corpora de dados públicos de cada ano, combinados em uma escala de computação de treinamento de até 1e19 FLOPs. Os resultados mostram que, sob um orçamento computacional de 1e19 FLOPs, as melhorias nos dados proporcionaram um ganho de eficiência computacional de 12,0 vezes, enquanto as melhorias nos modelos proporcionaram 3,7 vezes — ou seja, o ganho proveniente dos dados é aproximadamente 3,24 vezes maior que o dos modelos. Os ganhos provenientes dos dados e dos modelos são essencialmente independentes e apresentam quase nenhuma interação; sob um modelo linear, o efeito aditivo dos dois pode explicar 88% da variância da pontuação OLMES. As melhorias nos modelos abrangem a evolução do GPT-2 até o OLMo-2, incluindo otimizadores, codificação de posição, normalização, funções de ativação e inicialização. As melhorias nos dados evoluíram desde o OpenWebText de cerca de 9 bilhões de tokens em 2019 até corpora maiores e mais refinados, como o UltraFineWeb em 2025.