Studi: Peningkatan Data Melampaui Peningkatan Model dalam Efisiensi Pretraining dari 2019 hingga 2025

ChainCatcher melaporkan, Dwarkesh Patel dan Jerry Han merilis penelitian pada 8 September 2026 yang menguraikan kontribusi peningkatan data dan model terhadap kemajuan pre-training dari tahun 2019 hingga 2025. Penelitian ini dilakukan pada skala lebih kecil yang disesuaikan untuk pre-training, menggunakan resep model dan korpus data publik yang tersedia setiap tahun, serta menggabungkan pelatihan pada skala komputasi hingga 1e19 FLOPs. Hasilnya menunjukkan bahwa di bawah anggaran komputasi 1e19 FLOPs, peningkatan data memberikan gain efisiensi komputasi sebesar 12,0 kali, sementara peningkatan model sebesar 3,7 kali—gain dari sisi data sekitar 3,24 kali lebih besar daripada sisi model. Gain dari peningkatan data dan model secara besar bersifat independen dan hampir tidak berinteraksi; dalam model linier, efek aditif keduanya dapat menjelaskan 88% varians skor OLMES. Peningkatan model mencakup evolusi dari GPT-2 hingga OLMo-2, mencakup optimizer, positional encoding, normalisasi, fungsi aktivasi, dan inisialisasi. Peningkatan data berkembang dari OpenWebText sekitar 9 miliar token pada tahun 2019 menjadi korpus yang lebih besar dan lebih halus penyaringannya seperti UltraFineWeb pada tahun 2025.