Peningkatan Data Lebih Unggul daripada Kemajuan Model dalam Efisiensi Pra-pelatihan AI

Penulis: Dwarkesh Patel

Diterjemahkan oleh Deep潮 TechFlow

DeepChaio Guide: Selama enam tahun terakhir, kemampuan model AI telah meningkat pesat, tetapi kemajuan ini sebenarnya berasal dari algoritma atau data? Artikel ini menggunakan serangkaian eksperimen kontrol skala kecil untuk menghasilkan kesimpulan yang tidak intuitif: peningkatan data memberikan peningkatan efisiensi komputasi lebih dari tiga kali lipat dibandingkan peningkatan model. Bagi mereka yang memperhatikan investasi infrastruktur AI dan persaingan di laboratorium terdepan, artikel ini mengungkapkan sebuah pendorong yang diremehkan: rekayasa data.

Dalam beberapa tahun terakhir, seberapa besar kemajuan cepat yang kita lihat di bidang AI berasal dari peningkatan data, dan seberapa besar dari peningkatan model? Jawaban atas pertanyaan ini memiliki dampak besar terhadap model ekonomi laboratorium terdepan dan kecepatan kemajuan di masa depan.

Kami melakukan survei berskala relatif kecil terhadap masalah ini, secara khusus fokus pada pre-training dari tahun 2019 hingga 2025. Selama tahun-tahun tersebut, setiap tahun muncul serangkaian model open-source baru yang merangkum penyesuaian algoritma publik yang diketahui pada tahun tersebut (misalnya, perbaikan pada arsitektur, optimizer, inisialisasi, penjadwalan learning rate, hyperparameter, dll.). Pada saat yang sama, setiap tahun juga muncul korpus data publik baru (dihasilkan dari pengambilan data dalam skala lebih besar serta teknik kurasi, ekstraksi, dan penyaringan baru).

Kami melatih berbagai kombinasi model dan korpus data yang mewakili tingkat tahun yang berbeda, dengan berbagai skala daya komputasi pelatihan (hingga 1e19 FLOPs).

Jelas, kita tidak dapat membandingkan model-model berbeda ini berdasarkan kerugian entropi silang mereka pada kumpulan data tetap, karena kita mengubah kumpulan data yang mereka latih. Oleh karena itu, kami lebih memilih mengevaluasi model-model ini berdasarkan kemampuan akhir mereka, dengan menggunakan evaluasi OLMES (yang menggabungkan 10 benchmark relatif sederhana, sebagian besar berupa pertanyaan pilihan ganda). Sayangnya, mengevaluasi kemampuan akhir alih-alih kerugian pra-pelatihan menambahkan beberapa noise pada hasil kami, yang akan Anda lihat pada grafik di bawah ini; namun, kami berusaha mendapatkan batas yang lebih bersih dengan menggunakan beberapa random seed.

Kami menemukan bahwa, dari tahun 2019 hingga 2025, peningkatan efisiensi komputasi lebih dari 3,24 kali dalam anggaran komputasi 1e19 FLOPs berasal dari perbaikan data, bukan perbaikan model (data: 12,0 kali, model: 3,7 kali).

Tabel di bawah ini menunjukkan peningkatan kemampuan model yang kami latih pada daya komputasi 3,16e18 FLOPs dibandingkan dengan baseline data dan arsitektur tahun 2019.

Kami menemukan bahwa manfaat dari perbaikan data dan perbaikan model sebagian besar saling independen dan tidak memiliki interaksi satu sama lain (artinya, manfaat dari penerapan perbaikan model tidak bergantung pada kumpulan data pelatihan tertentu, dan sebaliknya). Dengan menggunakan model linier, 88% varians dalam skor OLMES dapat dijelaskan oleh efek aditif dari perbaikan model dan perbaikan data.

Sebagai latar belakang, mari kita ringkas secara singkat perubahan yang terjadi di sisi data dan sisi model dari tahun 2019 hingga 2025.

Di sisi model, kami telah berkembang dari GPT-2 ke OLMo-2, mencakup inovasi kunci dalam hal optimizer, positional encoding, normalisasi, fungsi aktivasi, dan inisialisasi.

Di sisi data, kami memulai pada tahun 2019 dengan OpenWebText, yang hanya mencakup halaman web yang di-link dan mendapat banyak like di Reddit, setelah penghapusan duplikasi dan penyaringan, akhirnya hanya tersisa sekitar 9 miliar token (yang pada dasarnya adalah data pelatihan GPT-2). Pada tahun 2025, korpus data open-source seperti UltraFineWeb tidak hanya jauh lebih besar skalanya (melalui pengambilan data dari seluruh internet), tetapi juga menggunakan metode penyaringan yang jauh lebih kompleks (misalnya, melatih klasifier untuk memprediksi data mana yang benar-benar dapat meningkatkan kinerja model).

Interpretasi sederhana terhadap hasil kami adalah: sebagian besar kemajuan AI dari tahun 2019 hingga 2024 (era pra-pelatihan) sebenarnya hanya merupakan rekayasa data yang lebih baik (ekstraksi, kurasi, dll.), sementara semua pekerjaan model pada periode tersebut jauh kurang penting.

Namun, ini mungkin cara yang salah untuk melihat nilai dari perbaikan model. Kontribusi utama dari perbaikan model belum tentu efisiensi komputasi, yaitu mencapai kinerja yang sama dengan lebih sedikit FLOPs. Sebaliknya, ia terlebih dahulu membuat daya komputasi berskala lebih besar menjadi tersedia. Seiring dengan meningkatnya jumlah parameter, panjang konteks, durasi runtime, dan ukuran klaster, berbagai masalah mudah terjadi (ledakan atau hilangnya gradien, habisnya memori dan bandwidth, pelatihan menjadi terlalu lambat). Sebagian besar penelitian model berfokus pada menghilangkan atau menunda batasan-batasan ini terhadap skala. Banyak inovasi paling penting termasuk dalam kategori ini, misalnya MoE, varian perhatian jarang, inovasi stabilitas (posisi normalisasi, inisialisasi, dll.), serta optimasi tingkat sistem dan kernel seperti FlashAttention.

Data improvements we study here may be less significant for larger models. Small models (like the ones we train) benefit significantly from improved data quality because their capacity is limited, so you must be very careful about what you put in. Large models, on the other hand, have massive excess capacity, and you might simply want to throw as much data as possible into them—even if most of it is garbage—because the magic of stochastic gradient descent will separate signal from noise. If you opt for aggressive filtering, you end up needing dozens of epochs, and empirical results often turn out worse than using a larger dataset with lower average quality. In fact, when considering that state-of-the-art models are often overtrained up to 100 times beyond the Chinchilla optimum to minimize inference compute for reinforcement learning and deployment, the harm from aggressive data curation becomes even greater.

Sebuah analogi mungkin adalah perbedaan antara kapal layar dan kapal kontainer: kapal kontainer belum tentu lebih cepat, tetapi mampu mengangkut ribuan ton muatan (setara dengan ratusan triliun token data pra-pelatihan), dan tidak mudah terguling di lautan yang bergelombang (setara dengan pelatihan stabil di ratusan ribu GPU).

Sekarang kita memiliki kapal kontainer yang lebih besar dan lebih kuat, jadi kita tidak perlu repot memikirkan barang apa yang harus dimuat; kita bisa memuat semua barang yang bahkan hanya sedikit berguna. Sedangkan untuk kapal layar kecil dan rapuh pada tahun 2019, Anda harus sangat berhati-hati dan hanya membawa barang-barang paling berharga.

Namun, jika esensi kemajuan pre-training hanyalah memuat lebih banyak barang ke kapal ini, apakah kita hampir kehabisan barang? Ini adalah masalah dinding data, sekaligus pertanyaan sejauh mana data sintetis dapat membantu kita melewati dinding ini. Data sintetis jelas telah digunakan secara luas di berbagai laboratorium, namun kita sama sekali belum meneliti apakah data sintetis dapat secara efektif memperluas korpus data tanpa merusak kinerja model. Jika manfaat semacam ini terbatas, maka pendorong utama kemajuan pre-training akan terhenti, karena kita tidak akan menghasilkan lebih banyak konten internet, dan tingkat kurasi kumpulan data tetap juga terbatas. Perlu dicatat bahwa saat ini kita tidak memiliki alasan positif apa pun yang menunjukkan bahwa hal ini benar-benar akan terjadi. Namun, mengingat betapa pentingnya data dalam mendorong kemajuan pre-training, ini tampaknya menjadi pertanyaan kunci yang layak diteliti lebih lanjut.

Ryan Greenblatt menunjukkan bahwa banyak peningkatan kumpulan data pra-pelatihan historis tampak seperti kemajuan yang dapat langsung didorong oleh peneliti otomatisasi melalui pengujian empiris, misalnya menjalankan eksperimen ablasif berdasarkan data yang berbeda untuk melihat bagaimana kinerja model. Oleh karena itu, ini sepenuhnya konsisten dengan hasil kami: jika pengembangan AI diotomatisasi, kemajuan data yang telah mendorong perkembangan pra-pelatihan sejak 2019 kemungkinan besar akan dipercepat secara signifikan.

Kami ingin memperjelas satu hal: apakah kemajuan pra-pelatihan secara terpisah mempercepat atau memperlambat, bukanlah pertanyaan paling penting dalam kemajuan AI secara keseluruhan, karena banyak keuntungan dalam dua tahun terakhir berasal dari reinforcement learning.

Arah penelitian masa depan

Berikut adalah beberapa arah dan pertanyaan penelitian masa depan yang kami anggap keren dan penting:

• Anda dapat melakukan eksperimen ini dalam skala yang lebih besar untuk melihat apakah data atau perbaikan model lebih bergantung pada skala, sehingga memiliki dampak yang lebih besar di bidang terdepan.
• Berapa nilai marjinal dari data baru berkualitas tinggi dalam pra-pelatihan dan pasca-pelatihan, diukur berdasarkan kemampuan akhir?
• Kami ingin memahami secara umum seberapa efektif data sintetis. Satu pertanyaan spesifik yang layak diteliti adalah: jika Anda memiliki sejumlah kecil data berkualitas tinggi, seberapa jauh peningkatan performanya jika Anda memperbesar data tersebut melalui generasi data sintetis, dibandingkan dengan melatih ulang data tersebut secara berulang-ulang?
• Anda dapat menghitung nilai implisit data berdasarkan rasio pengeluaran terhadap penyedia data, produsen lingkungan, dibandingkan dengan pengeluaran untuk daya komputasi dan peneliti.

Kami ingin meneliti peran data dalam mendorong kemajuan AI. Masih banyak metode lain untuk menyelidiki pertanyaan ini, dan beberapa mungkin lebih cerdas dan informatif daripada pendekatan kami. Selain itu, eksperimen kami berskala sangat kecil. Kami memang percaya mungkin ada hal-hal yang terlewatkan, dan sangat ingin tahu bagaimana orang lain akan meneliti masalah ini, sekaligus melihat hasil mereka!

Terima kasih khusus kepada Charlie O'Neill atas banyak diskusi yang bermanfaat.

Kami melatih ulang resep model ini dari awal pada berbagai korpus data, menggunakan anggaran komputasi yang berbeda dan menetapkan beberapa benih independen 6. Anggaran komputasi kami adalah: 1e17, 3,16e17, 1e18, 3,16e18, dan 1e19 FLOP. Konvensi perhitungan komputasi menggunakan komputasi nominal C = 6ND (N adalah jumlah parameter non-embedding, D adalah jumlah token data).

Di setiap anggaran daya komputasi, kami menyesuaikan jumlah parameter untuk menyesuaikan jumlah token pelatihan, sehingga menentukan rasio daya komputasi optimal untuk setiap resep dan kombinasi korpus pelatihan. Kami menggunakan loss pada korpus yang disisihkan untuk menentukan titik optimal daya komputasi ini. Kemudian, kami dapat memperoleh kurva ekstensi daya komputasi untuk kinerja turunan dari setiap kombinasi, dari mana kami akhirnya mengekstrak multiplier daya komputasi.

Kami mewajibkan penggunaan shared tokenizer dan panjang konteks yang sama di semua running: GPT-2 BPE (tiktoken, vocab 50257) dan T=2048, batch = 262144 token.

Kemampuan akhir dari pelatihan kami sangat bergantung pada hiperparameter. Jelas bahwa tidak mungkin untuk menguji semua kemungkinan kombinasi hiperparameter; penyetelan hiperparameter memang merupakan seni yang halus! Kami berusaha mengendalikannya sebaik mungkin dan menjadikan laju pembelajaran puncak sebagai hiperparameter kunci utama.

Beberapa versi algoritma memang menyediakan panduan tentang nilai learning rate puncak yang harus disesuaikan sebagai fungsi dari variabel terkait lainnya, seperti ukuran model, anggaran data, ukuran batch, dll. Ini memberikan prior yang baik bagi kita untuk menentukan learning rate optimal.

Kami pertama kali memindai laju pembelajaran pada 5 titik anchoring: 3 ukuran model berbeda dan 2 rasio D/N berbeda. Kami menentukan laju pembelajaran optimal untuk titik-titik anchoring ini, lalu melakukan fitting terhadap bentuk parameter laju pembelajaran optimal.

Untuk semua resep model selain OLMo-2, kami menyesuaikan eksponen umum a dan b, serta lr₀ yang spesifik model. Untuk OLMo-2, kami menggunakan learning rate optimal yang ditentukan oleh resep model tersebut. Kami memperlakukan OLMo-2 dengan cara ini karena Ai2 merilis langkah model kecil sebagai bagian dari resep, yang menetapkan hyperparameter optimal untuk skala yang kami teliti. Kami juga memverifikasi bahwa learning rate produksi kami berada di atau dekat titik optimal komputasi 3.16e18 FLOP.

Hasil teknis utama

Jelaskan beberapa anomali pada grafik

Kami mengamati bahwa efisiensi komputasi secara umum meningkat seiring waktu, baik dari sisi model maupun data, sesuai harapan. Beberapa nilai anomali yang kami amati:

• NeoX pada 1e19 berkinerja lebih buruk daripada GPT-2 (meskipun berkinerja lebih baik dalam rentang 1e17 hingga 3,16e18). Ini mungkin disebabkan oleh noise dalam evaluasi OLMES. Kami juga memperhatikan bahwa NeoX berkinerja lebih baik daripada GPT-2 pada loss pra-pelatihan yang dihold-out dari korpus FineWeb-Edu.
• Kinerja The Piles tampaknya jauh lebih buruk daripada OpenWebText. Ini tidak mengejutkan, karena perbaikan utama The Piles terletak pada keragaman korpus data, bukan penyaringan. Ia memiliki campuran 22 sumber yang dipilih dengan cermat, termasuk makalah PubMed dan arXiv, kode GitHub, pendapat hukum, paten, dan catatan parlemen. Untuk banyak token ini, migrasi lintas domain ke OLMES (English Web Prose Multiple Choice) mungkin sangat kecil, sehingga menyebabkan efisiensi komputasi yang lebih rendah. Kami mencatat bahwa karena skalanya yang lebih besar, kami memperkirakan The Piles pada skala yang lebih besar akhirnya akan mengungguli OpenWebText (yang skalanya memang sangat kecil).
• Perlu dicatat bahwa multiplikator hashrate NeoX dan Pile diperoleh melalui ekstrapolasi, yang memperkenalkan kesalahan potensial tambahan.

Bagaimana menghitung multiplier daya komputasi dan garis kesalahanannya

• Setiap titik pada kurva ekspansi daya komputasi berasal dari beberapa run pelatihan benih independen. Garis kesalahan di sana merupakan simpangan baku evaluasi OLMES pada benih-benih tersebut.
• Pertimbangkan model referensi atau korpus data di tingkat kinerja referensi tertentu di bawah tingkat daya komputasi tertentu.
• Kami kemudian menghitung faktor komputasi dengan menemukan titik paling kiri pada kurva ekspansi komputasi model atau korpus kandidat yang pertama kali mencapai tingkat kinerja referensi tersebut. Rasio antara komputasi yang diperlukan oleh referensi dan komputasi yang diperlukan oleh kandidat merupakan faktor komputasi kandidat.
• Garis kesalahan multiplier daya komputasi berasal dari bootstrap parameter seluruh proses estimasi, sebagai interval satu simpangan baku.
• Kami memang ingin menekankan bahwa ketidakpastian nyata dari faktor komputasi resep model lebih tinggi daripada yang ditunjukkan oleh garis kesalahan. Ini karena rentang penyetelan hiperparameter yang kami lakukan terbatas, dan kemampuan akhir atau kerugian yang ditinggalkan mungkin sangat sensitif terhadap pilihan tepat dari tingkat pembelajaran puncak, ukuran batch, dll.

Penting juga untuk dicatat bahwa eksperimen ablasi kami memiliki banyak alasan yang tidak dapat sepenuhnya menangkap seluruh rentang peningkatan efisiensi komputasi. Faktanya, dari tahun 2019 hingga 2025, kami mengamati peningkatan efisiensi komputasi tahunan di sisi model sebesar 1,24 kali [1,19, 1,29], dan di sisi data sebesar 1,51 kali [1,45, 1,57]. Saat diukur secara gabungan, kami mengamati peningkatan efisiensi komputasi tahunan sebesar 1,57 kali [1,49, 1,65]7. Ini memang jauh lebih rendah daripada perkiraan rata-rata 3 kali pertahun oleh Anson Ho dkk., karena alasan berikut:

• Banyak manfaat mungkin bergantung pada skala, atau menjadi sangat penting dalam konteks yang lebih panjang, sedangkan skala operasi kami terlalu kecil untuk memperlihatkan banyak manfaat tersebut. Misalnya, layer norm dan QK norm pada OLMo-2, serta blok perhatian paralel ditambah MLP di NeoX.
• Optimasi efisiensi inferensi (seperti GQA pada LLama-3, yang merupakan optimasi cache KV) tidak kami tunjukkan sebagai faktor perkalian daya komputasi dalam penelitian kami. Kami juga tidak meneliti perbaikan pada tokenizer.
• Multiplikator daya komputasi yang kami peroleh cukup sensitif terhadap resep model atau korpus data yang kami pilih setiap tahun. Kami memilih resep model atau korpus data yang kami anggap representatif, tetapi ini tidak membuktikan secara ekshaustif bahwa ini adalah yang terbaik setiap tahun.
• Kami memperhatikan multiplier komputasi relatif terhadap benchmark OLMES (yang menggabungkan 10 jenis tugas sederhana), bukan multiplier komputasi untuk mencapai tingkat kebingungan tertentu. Jika kita melihat benchmark lain (misalnya benchmark khusus pemrograman atau pemecahan masalah), angkanya juga akan sangat berbeda, karena benchmark tersebut mungkin memberi insentif terhadap metode rekayasa data yang sama sekali berbeda.

Kami juga ingin menunjukkan bahwa kami tidak meneliti peningkatan di sisi data lain, seperti mengumpulkan lebih banyak data berkualitas tinggi dari sumber baru, data yang dihasilkan oleh ahli manusia, atau metode generasi data sintetis. Sebagian besar korpus yang kami teliti berasal dari subset yang sama dari Common Crawl, bukan memperluas kumpulan data yang tersedia. Ini jelas merupakan penggunaan stok terbatas, dan tingkat kemajuan yang dapat dicapai melalui strategi ini terbatas.

Return independence from model recipe and dataset

Kami melakukan survei berikut untuk menentukan seberapa independen keuntungan dari resep model dan kumpulan data. Kami memeriksa grid skor OLMES pada 3.16e18 FLOPs. Melakukan regresi linier terhadap skor OLMES dengan model OLMES score = rata-rata + efek model + efek data, diperoleh R kuadrat sebesar 0,88. Ini berarti 88% varians skor OLMES dapat dijelaskan oleh efek aditif dari perbaikan model dan data, hanya sekitar 12% varians yang berasal dari interaksi atau komponen orde lebih tinggi, serta noise evaluasi. Ini menunjukkan bahwa interaksi kompleks antara model dan data (yaitu, pemanfaatan perbaikan tertentu pada model bergantung pada rekayasa data tertentu, atau sebaliknya) relatif kecil.

Anson Ho dkk. memperkirakan peningkatan efisiensi perangkat lunak (dalam pra-pelatihan) sebesar 3 kali per tahun (interval kepercayaan 95%: 1,5 kali hingga 64 kali). Seperti yang disebutkan Ho dalam blog ini, "Sebagian besar kemajuan perangkat lunak sebenarnya mungkin berasal dari peningkatan kualitas data," serta "dari ekstensi beberapa perubahan algoritmik terkait skala."

Kami menggunakan konvensi nominal C = 6ND untuk menghitung hashrate.

Resep model tahun 2019 adalah GPT-2, sedangkan resep model tahun 2025 adalah OLMo-2. Dataset tahun 2019 adalah OpenWebText, sedangkan dataset tahun 2025 adalah UltraFineWeb.

Kami mengalami beberapa masalah ketidakstabilan pelatihan pada Pile dengan GPT3 (puncak gradien).

Ini mencakup: peningkatan optimizer, jadwal pemanasan dan penurunan, penggantian posisi absolut yang dipelajari dengan RoPE, RMSNorm dengan SwiGLU gated MLP, penataan ulang Norm, QK-norm, regularisasi Z-loss, serta inisialisasi yang lebih bersih.

Untuk grafik ekspansi daya komputasi, kami menggunakan setidaknya 3 benih untuk setiapnya. Untuk grid 7x7 dari kombinasi resep model dan dataset di bawah anggaran 3,16e18, kami hanya menggunakan 1 benih untuk setiapnya.

Faktor pengali tahunan 1,57 kali dihitung menggunakan perbaikan gabungan dari model dan korpus tahun 2019 hingga model dan korpus tahun 2025, bukan hasil perkalian dari perbaikan sisi model sebesar 1,24 kali dan perbaikan sisi data sebesar 1,51 kali.