Kajian: Peningkatan Data Melampaui Keuntungan Model dalam Kecekapan Pra-pelatihan dari 2019 hingga 2025

Mars Finance melaporkan, Dwarkesh Patel dan Jerry Han menerbitkan kajian pada 8 September 2026, yang menguraikan sumbangan peningkatan data dan model dalam kemajuan pra-pelatihan dari 2019 hingga 2025. Kajian ini dilakukan pada skala kecil yang khusus untuk pra-pelatihan, dengan setiap tahun mengikuti resepi model dan korpus data awam yang diterbitkan pada tahun tersebut, serta menggabungkan pelatihan pada skala komputasi hingga 1e19 FLOPs. Hasilnya menunjukkan bahawa dalam anggaran komputasi 1e19 FLOPs, peningkatan data memberikan keuntungan kecekapan komputasi sebanyak 12.0 kali, manakala peningkatan model memberikan 3.7 kali, dengan keuntungan dari sisi data kira-kira 3.24 kali lebih besar daripada sisi model. Keuntungan dari peningkatan data dan model secara besar-besaran bersifat bebas dan hampir tidak berinteraksi; dalam model linear, kesan aditif kedua-duanya mampu menjelaskan 88% varians skor OLMES. Peningkatan model merangkumi evolusi dari GPT-2 hingga OLMo-2, termasuk pengoptimum, kod posisi, normalisasi, fungsi pengaktifan, dan inisialisasi. Peningkatan data bergerak dari OpenWebText sekitar 9 bilion token pada 2019, hingga korpus yang lebih besar dan disaring dengan lebih tepat seperti UltraFineWeb pada 2025.