Çalışma: 2019 ile 2025 arasında ön-eğitim verimliliğinde veri iyileştirmeleri, model kazanımlarını aşıyor

Mars Finans haberine göre, Dwarkesh Patel ve Jerry Han, 8 Eylül 2026 tarihinde 2019 ile 2025 yılları arasındaki ön-eğitim ilerlemesinde veri ve model iyileştirmelerinin katkılarını analiz eden bir araştırma yayınladı. Araştırma, daha küçük ölçekli ve ön-eğitim odaklı olarak, her yıl için açıkça yayınlanan model formüllerini ve veri korpüsünü kullanarak, en fazla 1e19 FLOPs eğitim hesaplama ölçeğinde birleştirilmiş eğitimler gerçekleştirdi. Sonuçlar, 1e19 FLOPs hesaplama bütçesi altında, veri iyileştirmelerinin hesaplama verimliliğine 12,0 kat katkı sağladığını, model iyileştirmelerinin ise 3,7 kat katkı sağladığını gösterdi; veri tarafındaki artış, model tarafındaki artışın yaklaşık 3,24 katı oldu. Veri ve model iyileştirmelerinin katkıları büyük ölçüde bağımsızdı ve neredeyse etkileşimsizdi; doğrusal model altında bu iki etkinin toplamsal etkisi, OLMES puanının varyansının %88'ini açıklayabiliyordu. Model tarafında, GPT-2'den OLMo-2'ye kadar optimizasyon, konum kodlaması, normalleştirme, aktifasyon fonksiyonları ve başlatma yöntemleri dahil olmak üzere gelişmeler yaşandı. Veri tarafında, 2019 yılında yaklaşık 9 milyar token içeren OpenWebText'ten, 2025 yılında daha büyük ve daha ince filtrelenmiş UltraFineWeb gibi korpüslere doğru ilerleme kaydedildi.