ChainCatcher melaporkan, Dwarkesh Patel dan Jerry Han menerbitkan kajian pada 8 September 2026, yang menguraikan sumbangan peningkatan data dan model dalam kemajuan pra-pelatihan dari 2019 hingga 2025. Kajian ini dilakukan pada skala kecil yang disesuaikan untuk pra-pelatihan, menggunakan resepi model dan korpus data awam yang diterbitkan setiap tahun, serta menggabungkan latihan pada skala komputasi hingga 1e19 FLOPs. Hasilnya menunjukkan bahawa dalam anggaran komputasi 1e19 FLOPs, peningkatan data memberikan keuntungan kecekapan komputasi sebanyak 12.0 kali, manakala peningkatan model memberikan 3.7 kali—keuntungan dari sisi data kira-kira 3.24 kali ganda daripada sisi model. Keuntungan daripada data dan model secara besar-besaran bebas dan hampir tidak berinteraksi; dalam model linear, kesan tambahan kedua-duanya mampu menjelaskan 88% varians skor OLMES. Peningkatan model merangkumi evolusi dari GPT-2 ke OLMo-2, termasuk pengoptimum, kod posisi, normalisasi, fungsi pengaktifan, dan inisialisasi. Peningkatan data bergerak dari OpenWebText sekitar 9 bilion token pada 2019, kepada korpus yang lebih besar dan disaring lebih halus seperti UltraFineWeb pada 2025.
Kajian: Peningkatan Data Melampaui Keuntungan Model dalam Kecekapan Pra-pelatihan dari 2019 hingga 2025
ChaincatcherKongsi
Ringkasan
Satu kajian oleh Dwarkesh Patel dan Jerry Han, yang diterbitkan pada 8 September 2026, menunjukkan bahawa peningkatan data melampaui keuntungan model dalam kecekapan pra-pelatihan dari 2019 hingga 2025. Data atas rantai menyumbang keuntungan kecekapan komputasi sebanyak 12.0x, manakala peningkatan model memberikan keuntungan 3.7x di bawah bajet 1e19 FLOPs. Trend data inflasi menunjukkan bahawa kualiti data kini merupakan pendorong utama kecekapan.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.