Pag-aaral: Ang mga pagpapabuti sa data ay mas mabilis kaysa sa mga pag-unlad sa modelo sa pagkakamit ng epekto sa pretraining mula 2019 hanggang 2025

ChainCatcher na mensahe, ang Dwarkesh Patel at Jerry Han ay naglabas ng pag-aaral noong Setyembre 8, 2026, na nagdecompose sa kontribusyon ng data at pagpapabuti ng modelo sa pag-unlad ng pre-training mula 2019 hanggang 2025. Ang pag-aaral ay ginawa sa mas maliit na iskala, na nakatuon sa pre-training, na kumukuha ng taun-taon na publikong modelo recipe at publikong corpus ng data, at pinagsama ang pagtuturong compute sa maximum na 1e19 FLOPs. Ang mga resulta ay nagpapakita na sa isang budget na 1e19 FLOPs, ang pagpapabuti ng data ay nagdala ng 12.0 beses na pagpapabuti sa efficiency ng compute, habang ang pagpapabuti ng modelo ay 3.7 beses, kung kaya ang pagpapabuti sa data ay halos 3.24 beses na mas malaki kaysa sa modelo. Ang mga pagpapabuti sa data at modelo ay malawak na independiyente at halos walang interaksyon; sa isang linyar na modelo, ang additive effect ng dalawa ay nakakapaliwanag ng 88% ng variance sa OLMES score. Ang aspeto ng modelo ay umunlad mula sa GPT-2 papunta sa OLMo-2, kasama ang optimizer, position encoding, normalization, activation function, at initialization. Samantala, ang aspeto ng data ay umunlad mula sa halos 9 bilyong token na OpenWebText noong 2019 papunta sa mas malaking at mas tumpak na filtered corpus tulad ng UltraFineWeb noong 2025.