Studi: Peningkatan Data Melampaui Peningkatan Model dalam Efisiensi Pra-pelatihan dari 2019 hingga 2025

Berita Mars Finance melaporkan bahwa Dwarkesh Patel dan Jerry Han merilis penelitian pada 8 September 2026, yang menguraikan kontribusi perbaikan data dan model terhadap kemajuan pre-training dari tahun 2019 hingga 2025. Penelitian ini dilakukan pada skala lebih kecil yang disesuaikan untuk pre-training, dengan setiap tahunnya menggunakan resep model dan korpus data publik yang tersedia pada tahun tersebut, serta menggabungkan pelatihan pada skala komputasi hingga 1e19 FLOPs. Hasilnya menunjukkan bahwa di bawah anggaran komputasi 1e19 FLOPs, peningkatan efisiensi komputasi akibat perbaikan data adalah 12,0 kali, sedangkan perbaikan model adalah 3,7 kali—peningkatan dari sisi data sekitar 3,24 kali lebih besar daripada sisi model. Peningkatan dari sisi data dan model secara besar bersifat independen dan hampir tidak berinteraksi; dalam model linier, efek aditif keduanya dapat menjelaskan 88% varians skor OLMES. Sisi model berkembang dari GPT-2 hingga OLMo-2, mencakup optimizers, positional encoding, normalisasi, fungsi aktivasi, dan inisialisasi. Sisi data berkembang dari OpenWebText sekitar 9 miliar token pada tahun 2019 menjadi korpus yang lebih besar dan penyaringannya lebih halus seperti UltraFineWeb pada tahun 2025.