Melhorias nos dados superam avanços nos modelos na eficiência do pré-treinamento de IA

Autor: Dwarkesh Patel

Tradução: Deep潮 TechFlow

Leitura destacada da Shenchao: Nos últimos seis anos, a capacidade dos modelos de IA avançou drasticamente, mas esse progresso veio realmente de algoritmos ou de dados? Este artigo apresenta uma conclusão contra-intuitiva por meio de um conjunto de experimentos controlados em pequena escala: o aumento na eficiência de computação trazido por melhorias nos dados é mais de três vezes maior do que o obtido por melhorias nos modelos. Para quem acompanha investimentos em infraestrutura de IA e a competição entre laboratórios de ponta, ele revela um impulso subestimado: a engenharia de dados.

Nos últimos anos, quantas das rápidas progressões observadas na área de IA vieram de melhorias nos dados e quantas vieram de melhorias nos modelos? A resposta a essa questão tem um impacto significativo nos modelos econômicos dos laboratórios de ponta e na velocidade das futuras progressões.

Realizamos uma investigação relativamente limitada sobre este problema, focada especificamente no pré-treinamento entre 2019 e 2025. Durante esses anos, a cada ano foram publicados novos conjuntos de modelos de código aberto que resumiam as alterações algorítmicas conhecidas e disponíveis publicamente daquele ano (por exemplo, melhorias em arquitetura, otimizadores, inicialização, agendamento de taxas de aprendizado e hiperparâmetros). Ao mesmo tempo, a cada ano surgiam novos corpora de dados públicos (gerados por coletas em maior escala e por novas técnicas de curadoria, extração e filtragem).

Treinamos esses modelos, combinando diferentes níveis de ano com vários corpus de dados, em diferentes escalas de poder de treinamento (até 1e19 FLOPs).

Claramente, não podemos comparar esses diferentes modelos com base na perda de entropia cruzada em um conjunto de dados fixo, pois estamos alterando os conjuntos de dados nos quais eles são treinados. Portanto, em vez disso, avaliamos esses modelos com base em sua capacidade final, utilizando a avaliação OLMES (que resume 10 benchmarks relativamente simples, na maioria questões de múltipla escolha). Infelizmente, avaliar a capacidade final em vez da perda de pré-treinamento adiciona algum ruído aos nossos resultados, como você verá no gráfico abaixo; no entanto, tentamos obter limites mais limpos utilizando múltiplas sementes aleatórias.

Descobrimos que, entre 2019 e 2025, sob um orçamento de capacidade de 1e19 FLOPs, um aumento de eficiência computacional superior a 3,24 vezes veio de melhorias nos dados, e não de melhorias nos modelos (dados: 12,0 vezes; modelos: 3,7 vezes).

A tabela abaixo mostra o aprimoramento no desempenho final dos nossos modelos em relação à linha de base de dados e arquitetura de 2019, sob uma capacidade de 3,16e18 FLOPs.

Descobrimos que os ganhos provenientes de melhorias nos dados e nas modelagens são principalmente independentes entre si, sem interação (ou seja, o ganho de uma melhoria no modelo não depende de um conjunto específico de dados de treinamento, e vice-versa). Usando um modelo linear, 88% da variância na pontuação OLMES pode ser explicada pelos efeitos aditivos das melhorias no modelo e nos dados.

Como contexto, vamos resumir brevemente o que mudou no lado dos dados e no lado dos modelos entre 2019 e 2025.

No lado do modelo, evoluímos do GPT-2 para o OLMo-2, incluindo inovações-chave em otimizadores, codificação de posição, normalização, funções de ativação e inicialização.

Do lado dos dados, começamos em 2019 com o OpenWebText, que continha apenas páginas da web linkadas no Reddit com muitos upvotes, e, após deduplicação e filtragem, resultou em aproximadamente 9 bilhões de tokens (basicamente os dados de treinamento do GPT-2). Em 2025, corpora de dados abertos como o UltraFineWeb não só são muito maiores (por meio de rastreamento da internet inteira), mas também utilizam métodos de filtragem muito mais complexos (por exemplo, treinando um classificador para prever quais dados realmente melhoram o desempenho do modelo).

Uma interpretação simples dos nossos resultados é que a maior parte do avanço da IA entre 2019 e 2024 (a era de pré-treinamento) foi na verdade devido a uma melhor engenharia de dados (extração, curadoria, etc.), e o trabalho com modelos durante esse período foi muito menos importante.

Mas essa pode ser uma maneira errada de avaliar o valor das melhorias no modelo. A principal contribuição das melhorias no modelo não é necessariamente a eficiência computacional, ou seja, alcançar o mesmo desempenho com menos FLOPs. Pelo contrário, ela primeiro torna maior capacidade computacional disponível. À medida que o número de parâmetros, o comprimento do contexto, a duração da execução e o tamanho do cluster aumentam, diversos problemas tornam-se propensos a falhas (explosão ou desaparecimento de gradientes, esgotamento de memória e largura de banda, treinamento tornando-se impossivelmente lento). Uma grande parte da pesquisa em modelos consiste em remover ou adiar essas limitações à escala. Muitas das inovações mais importantes pertencem a essa categoria, como MoE, variantes de atenção esparsa, inovações de estabilidade (posição de normalização, inicialização, etc.) e otimizações em nível de sistema e kernel, como o FlashAttention.

As melhorias nos dados que estudamos aqui podem ser menos importantes para modelos maiores. Modelos pequenos (como os que treinamos) se beneficiam significativamente da melhoria na qualidade dos dados, pois têm capacidade limitada, e você precisa ser muito cuidadoso ao decidir o que inserir neles. Já os modelos grandes possuem grande capacidade excedente, e talvez você queira apenas inserir o máximo possível de dados, mesmo que a maioria seja lixo — a magia da descida de gradiente estocástica separará o sinal do ruído. Se você optar por filtragem agressiva, precisará realizar dezenas de épocas, e os resultados empíricos frequentemente são piores do que ao usar um conjunto de dados maior, mas com qualidade média mais baixa. Na verdade, considerando que os modelos de ponta são treinados até 100 vezes além do padrão ótimo de Chinchilla para minimizar a potência de inferência necessária para aprendizado por reforço e implantação, os danos causados pela curadoria agressiva de dados são ainda maiores.

Uma analogia seria a diferença entre um veleiro e um navio porta-contêineres: o navio porta-contêineres não precisa ser mais rápido, mas pode transportar milhares de toneladas de carga (equivalente a centenas de trilhões de tokens de dados de pré-treinamento) e não é virado pelas ondas agitadas (equivalente ao treinamento estável em centenas de milhares de GPUs).

Agora que temos navios contêineres maiores e mais robustos, não precisamos mais nos preocupar com o que carregar; podemos embarcar tudo, mesmo apenas coisas marginalmente úteis. Já para os pequenos e frágeis navios a vela de 2019, era necessário ser extremamente cuidadoso e transportar apenas as mercadorias mais valiosas.

Mas se a essência do progresso no pré-treinamento for apenas carregar mais carga nesse navio, será que estamos quase sem carga? Trata-se do problema do muro de dados e da extensão em que os dados sintéticos nos ajudam a ultrapassar esse muro. Os dados sintéticos já são amplamente utilizados em diversos laboratórios, mas ainda não estudamos se eles podem efetivamente expandir o corpus de dados sem comprometer o desempenho do modelo. Se esses ganhos forem limitados, o principal impulsionador do progresso no pré-treinamento entrará em estagnação, pois não geraremos mais conteúdo da internet e há limites para a quantidade de dados que um conjunto fixo pode ser curado. É importante esclarecer que, atualmente, não temos nenhuma razão positiva para acreditar que isso realmente ocorrerá. Contudo, dado que os dados parecem ser tão cruciais para impulsionar o progresso no pré-treinamento, esse parece ser um problema fundamental que merece investigação adicional.

Ryan Greenblatt observou que muitas melhorias históricas nos conjuntos de dados de pré-treinamento parecem ser do tipo que pesquisadores automatizados poderiam impulsionar diretamente por meio de testes empíricos, como executar experimentos de ablação com modelos treinados em diferentes dados para observar como os modelos se comportam. Portanto, está totalmente em linha com nossos resultados: se o desenvolvimento de IA for automatizado, esses avanços em dados que impulsionaram o progresso no pré-treinamento desde 2019 podem acelerar significativamente.

Queremos esclarecer um ponto: saber se o progresso no pré-treinamento acelera ou desacelera isoladamente não é a questão mais importante para o progresso geral da IA, pois muitos dos ganhos nos últimos dois anos vieram do aprendizado por reforço.

Direções futuras de pesquisa

Aqui estão algumas direções e questões de pesquisa futuras que consideramos interessantes e importantes:

• You can scale up this experiment to see whether the data or model improvements are more dependent on scale, thereby having a greater impact in cutting-edge areas.
• Qual é o valor marginal de novos dados de alta qualidade no pré-treinamento e no pós-treinamento, medido pela capacidade final?
• Queremos ter uma ideia geral do impacto real dos dados sintéticos. Uma questão específica digna de estudo é: se você tiver um pequeno conjunto de dados de alta qualidade, em quanto a ampliação desse conjunto por meio de geração de dados sintéticos supera o treinamento direto e repetido nesses mesmos dados?
• Você pode inferir o valor implícito dos dados pela proporção entre despesas com corretores de dados e produtores ambientais em relação às despesas com capacidade de processamento e pesquisadores.

Queremos investigar o papel que os dados desempenham no impulso do avanço da IA. Existem muitas outras maneiras de explorar essa questão, algumas das quais podem ser mais engenhosas e informativas do que o nosso método. Além disso, nosso experimento é de escala muito pequena. Acreditamos que podemos ter ignorado algo e ficamos curiosos para saber como outras pessoas estudariam essa questão — e gostaríamos de ver seus resultados!

Agradecemos especialmente Charlie O'Neill por muitas discussões úteis.

Treinamos esses modelos do zero em diferentes conjuntos de dados, utilizando orçamentos de computação distintos e configurando várias sementes independentes 6. Nossos orçamentos de computação foram: 1e17, 3,16e17, 1e18, 3,16e18 e 1e19 FLOP. A convenção de cálculo de computação utiliza a computação nominal C = 6ND (N sendo o número de parâmetros não embutidos e D o número de tokens de dados).

Para cada orçamento de poder de computação, ajustamos o número de parâmetros, e consequentemente o número de tokens de treinamento, para determinar a proporção ótima de poder de computação para cada combinação de receita e corpus de treinamento. Utilizamos a perda de validação no corpus para identificar esse ponto ótimo de poder de computação. Em seguida, podemos obter as curvas de escala de poder de computação para o desempenho downstream de cada combinação, das quais extraímos finalmente o multiplicador de poder de computação.

Forçamos o uso compartilhado do tokenizador e do comprimento de contexto em todas as execuções: GPT-2 BPE (tiktoken, vocabulário de 50.257) e T=2048, batch = 262.144 tokens.

A capacidade final do treinamento depende fortemente dos hiperparâmetros. Obviamente, é impossível testar todas as combinações possíveis de hiperparâmetros; a otimização de hiperparâmetros é, de fato, uma arte sutil! Tentamos controlar isso ao máximo e consideramos a taxa de aprendizado pico como o hiperparâmetro mais crítico.

Algumas versões de algoritmos fornecem diretrizes específicas sobre qual valor de taxa de aprendizado máxima deve ser ajustada, como uma função de outras variáveis relacionadas, como tamanho do modelo, orçamento de dados, tamanho do lote, etc. Essas diretrizes nos fornecem boas informações anteriores para determinar a taxa de aprendizado ideal.

Primeiro, escaneamos a taxa de aprendizado em 5 pontos de referência: 3 tamanhos de modelo diferentes e 2 taxas D/N diferentes. Determinamos a taxa de aprendizado ótima para esses pontos de referência e ajustamos a forma paramétrica da taxa de aprendizado ótima.

Para todas as receitas de modelos, exceto OLMo-2, ajustamos um expoente comum a e b, juntamente com um lr₀ específico do modelo. Para OLMo-2, utilizamos a taxa de aprendizado ótima especificada para essa receita de modelo. A razão para tratarmos OLMo-2 dessa forma é que a Ai2 publicou o degrau de modelos pequenos como parte da receita, que define os hiperparâmetros ótimos para as escalas que estudamos. Também validamos que nossa taxa de aprendizado de produção está em ou próxima ao ponto ótimo de computação de 3,16e18 FLOP.

Principais resultados técnicos

Explicar algumas anomalias no gráfico

Observamos que, em ambos os aspectos de modelo e dados, a eficiência de computação aumentou geralmente ao longo do tempo, conforme esperado. Alguns valores atípicos que observamos:

• NeoX apresenta desempenho inferior ao GPT-2 em 1e19 (embora tenha desempenho melhor na faixa de 1e17 a 3,16e18). Isso pode ser atribuído ao ruído nas avaliações do OLMES. Também observamos que, na perda de pré-treinamento de retenção no corpus FineWeb-Edu, o NeoX supera o GPT-2.
• O desempenho do The Piles parece ser muito inferior ao do OpenWebText. Isso não é surpreendente, pois a principal melhoria do Pile reside na diversidade do corpus de dados, e não na filtragem. Ele possui uma mistura cuidadosamente elaborada de 22 fontes, incluindo artigos do PubMed e arXiv, código do GitHub, pareceres jurídicos, patentes e registros parlamentares. Para muitos desses tokens, a transferência interdomínio para o OLMES (multiple choice English web prose) pode ser mínima, resultando em menor eficiência computacional. Observamos que, devido ao seu maior tamanho, esperamos que o Pile eventualmente supere o OpenWebText (que é de fato muito pequeno) em escalas maiores.
• Também é importante notar que os fatores de potência do NeoX e do Pile foram obtidos por extrapolação, o que introduz erros potenciais adicionais.

Como calcular o multiplicador de poder de mineração e sua linha de erro

• Cada ponto na curva de expansão da capacidade de processamento é derivado de várias execuções independentes de treinamento com sementes diferentes. As barras de erro ali representam o desvio padrão das avaliações OLMES nessas sementes.
• Considere o modelo de referência ou o corpus de dados em um determinado nível de desempenho de referência sob um determinado nível de poder de processamento.
• Em seguida, calculamos o fator de computação encontrando o ponto mais à esquerda na curva de escala de computação do modelo ou corpus candidato onde o nível de desempenho de referência é atingido pela primeira vez. A razão entre a computação necessária para o referencial e a computação necessária para o candidato é o fator de computação do candidato.
• A linha de erro do multiplicador de poder de mineração é derivada do método bootstrap dos parâmetros de todo o processo de estimativa, representando um intervalo de 1 desvio padrão.
• Realmente queremos enfatizar que esperamos que a incerteza real do fator de computação da receita do modelo seja maior do que indicado pelas barras de erro. Isso ocorre porque o intervalo de otimização de hiperparâmetros que realizamos foi limitado, e a capacidade final ou a perda de validação pode ser bastante sensível às escolhas exatas da taxa de aprendizado máxima, tamanho do lote, etc.

É igualmente importante notar que nossos experimentos de ablação não conseguem capturar plenamente a gama completa de melhorias na eficiência de computação por várias razões. Na verdade, de 2019 a 2025, observamos um aumento anual na eficiência de computação no lado do modelo de 1,24 vezes [1,19, 1,29] e no lado dos dados de 1,51 vezes [1,45, 1,57]. Ao medir conjuntamente, observamos um aumento anual na eficiência de computação de 1,57 vezes [1,49, 1,65]7. Isso é significativamente inferior à estimativa média de 3 vezes por ano de Anson Ho et al., por as seguintes razões:

• Muitos benefícios podem depender da escala ou ser particularmente importantes em contextos mais longos, mas nossa escala de operação é muito pequena para demonstrar muitos desses benefícios. Por exemplo, a normalização por camada e a normalização QK do OLMo-2, bem como os blocos de atenção paralela + MLP no NeoX.
• A otimização da eficiência de inferência (como o GQA do LLama-3, uma otimização de cache KV) não se traduz em um fator de potência de cálculo em nossos estudos. Também não estudamos melhorias no tokenizador.
• O multiplicador de poder de computação que obtemos é bastante sensível ao modelo ou corpus de dados que escolhemos anualmente. Escolhemos aqueles que consideramos representativos, mas isso não prova exaustivamente que são os melhores anualmente.
• Nosso foco é o multiplicador de poder de computação em relação ao benchmark OLMES (que combina 10 tipos de tarefas relativamente simples), e não o multiplicador de poder de computação necessário para atingir uma métrica de perplexidade específica. Se analisarmos outros benchmarks (como benchmarks dedicados a codificação ou resolução de problemas), os números também seriam muito diferentes, pois esses benchmarks podem recompensar métodos de engenharia de dados completamente distintos.

Também gostaríamos de salientar que não investigamos melhorias em outros lados de dados, como coletar mais dados de alta qualidade de novas fontes, dados gerados por especialistas humanos ou métodos de geração de dados sintéticos. A maioria dos corpus estudados é composta pelo mesmo conjunto curado (subconjunto) do Common Crawl, e não expande o conjunto de dados disponível. Isso claramente consome um estoque limitado, cujo potencial de impulso é restrito.

Returns independent of model recipes and datasets

Realizamos esta investigação para determinar o grau de independência entre os benefícios das receitas do modelo e dos conjuntos de dados. Analisamos a grade de pontuações OLMES em 3,16e18 FLOPs. Ao aplicar uma regressão linear às pontuações OLMES, com o modelo OLMES = média + efeito do modelo + efeito do conjunto de dados, obtivemos um R² de 0,88. Isso significa que 88% da variância nas pontuações OLMES pode ser explicada pelos efeitos aditivos das melhorias no modelo e no conjunto de dados, com apenas cerca de 12% da variância atribuída a termos de interação ou de ordem superior, bem como ao ruído de avaliação. Isso sugere que as interações complexas entre modelo e dados — ou seja, em que uma melhoria no modelo depende de um determinado tipo de engenharia de dados, ou vice-versa — são relativamente pequenas.

Anson Ho e colegas estimam que a melhoria na eficiência do software (no pré-treinamento) seja de 3 vezes por ano (intervalo de confiança de 95%: 1,5 vezes a 64 vezes). Como Ho mencionou neste blog, “a maioria das melhorias de software provavelmente vem de melhorias na qualidade dos dados” e “da expansão de poucas alterações algorítmicas relacionadas à escala”.

Utilizamos a convenção nominal C = 6ND para calcular a potência de mineração.

A receita do modelo de 2019 era GPT-2, e a receita do modelo de 2025 é OLMo-2. O conjunto de dados de 2019 era OpenWebText, e o conjunto de dados de 2025 é UltraFineWeb.

Encontramos alguns problemas de instabilidade no treinamento do GPT3 no Pile (picos de gradiente).

Esses incluem: aprimoramentos no otimizador, agendamento de aquecimento com decaimento, substituição da posição absoluta aprendida por RoPE, RMSNorm com MLP gateado SwiGLU, reorganização de Norm, QK-norm, regularização Z-loss e inicialização mais limpa.

Para o gráfico de expansão de poder de computação, utilizamos pelo menos 3 sementes para cada configuração. Para a grade 7x7 de combinações de receitas de modelo e conjuntos de dados com orçamento de 3,16e18, utilizamos apenas 1 semente para cada uma.

O multiplicador anual de 1,57x foi calculado usando melhorias conjuntas do modelo e do corpus de 2019 para 2025, e não como o produto da melhoria de 1,24x no modelo e da melhoria de 1,51x nos dados.