ChainCatcher haberine göre, Dwarkesh Patel ve Jerry Han, 8 Eylül 2026 tarihinde, 2019 ile 2025 yılları arasındaki ön-eğitim ilerlemesinde veri ve model iyileştirmelerinin katkılarını inceleyen bir araştırma yayınladı. Araştırma, daha küçük ölçekli, ön-eğitim odaklı olarak yapıldı ve her yıl için o yılda açıklanan model formülleri ve açık veri metinleri kullanıldı; en fazla 1e19 FLOPs hesaplama ölçeğinde birleştirilmiş eğitim yapıldı. Sonuçlar, 1e19 FLOPs hesaplama bütçesi altında, veri iyileştirmelerinin hesaplama verimliliğindeki kazancın 12,0 kat, model iyileştirmelerinin ise 3,7 kat olduğunu gösterdi; veri tarafındaki kazanç, model tarafındaki kazancın yaklaşık 3,24 katıdır. Veri ve model iyileştirmelerinin kazançları büyük ölçüde bağımsızdır ve neredeyse etkileşimsizdir; doğrusal model altında bu iki etkinin toplamsal etkisi, OLMES puanının varyansının %88'ini açıklar. Model tarafında, GPT-2'den OLMo-2'ye kadar olan gelişim, optimizasyon algoritmaları, konum kodlaması, normalleştirme, aktivasyon fonksiyonları ve başlatma yöntemlerini kapsar. Veri tarafında, 2019 yılında yaklaşık 9 milyar token içeren OpenWebText'ten, 2025 yılında daha büyük ve daha ince filtrelenmiş UltraFineWeb gibi metin kümelerine doğru ilerleme kaydedildi.
Çalışma: 2019 ile 2025 arasında ön eğitim verimliliğinde veri iyileştirmeleri, model kazanımlarını aşmaktadır
ChaincatcherPaylaş
Özet
9 Ağustos 2026 tarihinde Dwarkesh Patel ve Jerry Han tarafından yayınlanan bir çalışma, 2019 ile 2025 yılları arasında ön eğitim verimliliğinde veri iyileştirmelerinin model ilerlemelerini aştığını gösteriyor. Zincir içi veriler, 1e19 FLOPs bütçesi altında %12,0'lık bir hesaplama verimliliği artışı sağlarken, model iyileştirmeleri %3,7'lik bir artış sağladı. Enflasyon verileri trendleri, veri kalitesinin artık verimliliğin ana itici gücü olduğunu gösteriyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.