Estudo: Melhorias nos dados superam ganhos nos modelos na eficiência de pré-treinamento de 2019 a 2025

ChainCatcher relata que Dwarkesh Patel e Jerry Han publicaram, em 8 de setembro de 2026, um estudo que analisa a contribuição das melhorias em dados e modelos no avanço do pré-treinamento entre 2019 e 2025. O estudo foi conduzido em escala reduzida, focado no pré-treinamento, utilizando receitas de modelos e corpora de dados públicos disponíveis em cada ano, combinando treinamentos até um orçamento computacional máximo de 1e19 FLOPs. Os resultados mostram que, sob um orçamento de 1e19 FLOPs, as melhorias em dados proporcionaram um ganho de eficiência computacional de 12,0 vezes, enquanto as melhorias em modelos proporcionaram 3,7 vezes — ou seja, o ganho proveniente dos dados foi aproximadamente 3,24 vezes maior que o dos modelos. Os ganhos de dados e modelos são essencialmente independentes e apresentam quase nenhuma interação; sob um modelo linear, o efeito aditivo dos dois pode explicar 88% da variância nos escores OLMES. As melhorias nos modelos evoluíram do GPT-2 até o OLMo-2, abrangendo otimizadores, codificação de posição, normalização, funções de ativação e inicialização. As melhorias nos dados evoluíram do OpenWebText de cerca de 9 bilhões de tokens em 2019 até corpora maiores e mais refinados, como o UltraFineWeb em 2025.