Pag-aaral: Ang mga pagpapabuti sa data ay mas mabilis kaysa sa pag-unlad ng modelo sa pagkakamit ng epekto sa pre-training mula 2019 hanggang 2025

Ayon sa Mars Finance, nilabas ni Dwarkesh Patel at Jerry Han ang pananaliksik noong Setyembre 8, 2026, na binubuo ang kontribusyon ng data at pagpapabuti ng modelo sa pag-unlad ng pre-training mula 2019 hanggang 2025. Ang pananaliksik ay ginawa sa mas maliit na iskala, na nakatuon sa pre-training, na kumukuha ng taun-taon na publikong modelo配方 at publikong corpus ng data, at pinagsama sa pinakamataas na 1e19 FLOPs na sukat ng pagtuturo. Ang mga resulta ay nagpapakita na sa budget ng 1e19 FLOPs, ang pagpapabuti ng data ay nagdala ng 12.0 beses na pagpapabuti sa efficiency ng computation, habang ang pagpapabuti ng modelo ay 3.7 beses—ang pagpapabuti sa data ay halos 3.24 beses na mas mataas kaysa sa modelo. Ang mga pagpapabuti sa data at modelo ay malawak na independiyente at halos walang interaksyon; sa isang linyar na modelo, ang kanilang additive effect ay nakakapaliwanag ng 88% ng variance sa OLMES score. Ang aspeto ng modelo ay umunlad mula sa GPT-2 patungo sa OLMo-2, kasama ang optimizer, position encoding, normalization, activation function, at initialization. Sa aspeto ng data, nagsimula sa halos 9 bilyon na token ng OpenWebText noong 2019, at umunlad patungo sa mas malaking at mas tumpak na filtered corpus tulad ng UltraFineWeb noong 2025.