Veri İyileştirmeleri, AI Ön-Öğrenme Verimliliğinde Model İlerlemelerini Aşıyor

Yazar: Dwarkesh Patel

Derin Akış TechFlow

Deep潮 Özet: Geçen altı yıl içinde AI modellerinin yetenekleri büyük ilerlemeler kaydetti, ancak bu ilerleme algoritmalar mı, veriler mi sayesinde gerçekleşti? Bu makale, küçük ölçekli kontrollü deneyler serisiyle karşıt bir sonuç sunuyor: veri iyileştirmelerinin hesaplama verimliliği üzerindeki etkisi, model iyileştirmelerinin üç katından fazla. AI altyapısı yatırımlarına ve öncü laboratuvar rekabetine odaklananlar için, bu makale az değer verilen bir itici gücü ortaya koyuyor: veri mühendisliği.

Geçtiğimiz yıllarda AI alanında gördüğümüz hızlı ilerlemenin ne kadarı veri iyileştirmelerinden, ne kadarı model iyileştirmelerinden kaynaklanıyor? Bu sorunun cevabı, öncü laboratuvarların ekonomik modelleri ve gelecekteki ilerleme hızı için büyük etkiye sahip.

2019 ile 2025 yılları arasındaki önceden eğitme konusunda bu soruyu nispeten küçük bir ölçekte inceledik. Bu yıllarda her yıl, o yıl boyunca açıkça bilinen algoritmik iyileştirmeleri (örneğin mimari, optimizasyon, başlatma, öğrenme oranı planlaması, hiperparametreler vb. yönlerindeki gelişmeleri) özetleyen yeni bir açık kaynak model seti yayınlandı. Aynı zamanda her yıl, daha büyük ölçekli taramalar ve yeni düzenleme, çıkarma ve filtreleme teknikleriyle oluşturulan yeni açık veri korpüsü ortaya çıktı.

Farklı yıl seviyelerini temsil eden modelleri, çeşitli veri kümeleriyle eğittik ve farklı eğitim hesaplama ölçeklerinde (en fazla 1e19 FLOPs) çalıştırdık.

Elbette, farklı modelleri sabit bir veri seti üzerindeki çapraz entropi kaybına göre karşılaştıramayız, çünkü eğitim veri kümelerini değiştiriyoruz. Bu nedenle, modelleri son yeteneklerine göre değerlendiriyoruz; ölçüt olarak OLMES değerlendirmesini kullanıyoruz (bu, çoğunlukla çoktan seçmeli sorular olan 10 adet görece basit referans testini özetler). Ancak, son yetenekleri değerlendirmek yerine önceden eğitme kaybını kullanmak, sonuçlara bir miktar gürültü ekler; bunu aşağıdaki grafikte görebilirsiniz. Bununla birlikte, daha temiz sınırlar elde etmek için birden fazla rastgele tohum kullanmaya çalıştık.

2019 ile 2025 arasında, 1e19 FLOPs hesaplama bütçesi altında, 3,24 katın üzerinde hesaplama verimliliği artışı, model iyileştirmelerinden ziyade veri iyileştirmelerinden kaynaklanmaktadır (veri: 12,0 kat, model: 3,7 kat).

Aşağıdaki ızgara, 3,16e18 FLOPs hesaplama gücü altında eğitilen modelimizin, 2019 veri ve mimari tabanına göre son test performansında ne kadar iyileştiğini göstermektedir.

Veri iyileştirmelerinin ve model iyileştirmelerinin getirdiği kazanımların çoğunluğunun birbirinden bağımsız olduğunu ve birbirleriyle etkileşimde bulunmadığını (yani, bir model iyileştirmesinin kazancının belirli bir eğitim veri yığınına bağlı olmadığını ve bunun tersinin de doğru olduğunu) fark ettik. Doğrusal bir model kullanarak, OLMES puanındaki varyansın %88'i model iyileştirmelerinin ve veri iyileştirmelerinin toplamsal etkileriyle açıklanabilir.

Arka plan olarak, 2019 ile 2025 yılları arasında veri ve model tarafında neler değiştiğini özetleyelim.

Model tarafında, optimizasyon, konum kodlama, normalleştirme, aktivasyon fonksiyonu ve başlatma gibi alanlarda önemli yeniliklerle GPT-2'den OLMo-2'ye geçiş yaptık.

Veri tarafında, 2019'da OpenWebText ile başladık; bu, Reddit'te yeterince beğenilen bağlantı içeren web sayfalarından oluşuyordu ve tekrarlar kaldırıldıktan ve filtrelendikten sonra nihayetinde yaklaşık 9 milyar token kaldı (bu temel olarak GPT-2'nin eğitim verisidir). 2025'te UltraFineWeb gibi açık kaynak veri kümeleri, yalnızca çok daha büyük bir ölçekle (tüm internetin taraması yoluyla) değil, aynı zamanda çok daha karmaşık filtreleme yöntemleri de kullanıyor (örneğin, hangi verilerin model performansını gerçekten artırabileceğini tahmin etmek için bir sınıflandırıcı eğitme).

Sonuçlarımızın basit bir yorumu şudur: 2019 ile 2024 yılları arasındaki (önceki eğitim dönemi) AI'daki büyük ilerlemelerin çoğu, aslında daha iyi veri mühendisliği (çekim, kurulum vb.) sonucudur ve bu dönemdeki tüm modellerin çalışması çok az önemlidir.

Ancak bu, model iyileştirmelerinin değerini değerlendirmenin yanlış bir yolu olabilir. Model iyileştirmelerinin ana katkısı, aynı performansı daha az FLOP ile elde etmek gibi hesaplama verimliliği olmak zorunda değildir. Bunun yerine, öncelikle daha büyük ölçekli hesaplama kaynaklarının kullanılabilir hale gelmesini sağlar. Parametre sayısı, bağlam uzunluğu, çalışma süresi ve küme boyutu arttıkça, çeşitli sorunlar ortaya çıkar (gradyan patlaması veya kaybı, bellek ve bant genişliği tükenmesi, eğitim aşırı yavaş hale gelir). Model araştırmalarının büyük bir kısmı, bu ölçeklenebilirlik sınırlarını kaldırmak veya ertelemektir. En önemli yeniliklerin çoğu bu kategoriye girer; örneğin MoE, seyrek dikkat varyantları, kararlılık yenilikleri (normalizasyon konumu, başlatma vb.) ve FlashAttention gibi sistem ve çekirdek düzeyi optimizasyonları.

Burada incelediğimiz veri iyileştirmeleri, daha büyük modeller için belki de daha az önemli olabilir. Küçük modeller (bizim eğittiğimiz gibi) veri kalitesindeki iyileşmelerden önemli ölçüde fayda sağlar, çünkü kapasiteleri sınırlı olduğundan içine ne koyacağınızı çok dikkatli seçmelisiniz. Büyük modeller ise büyük bir fazla kapasiteye sahiptir, belki de veriyi mümkün olduğunca çok miktarda içine dökmek istersiniz, hatta çoğu çöp olsa bile, rastgele gradyan indirgeme sihrinin sinyali gürültüden ayırmayı başaracağını umarsınız. Agresif filtreleme seçerseniz, onlarca epoch döngüsü yapmak zorunda kalırsınız ve deneysel sonuçlar genellikle ortalama kalitesi daha düşük ancak daha büyük bir veri seti kullanmaktan daha kötü olur. Aslında, önde gelen modellerin Chinchilla en iyi standartlarına göre en fazla 100 kat fazla eğitildiğini, böylece pekiştirmeli öğrenme ve dağıtım için gerekli olan çıkarım hesaplama gücünü minimize etmek amacıyla göz önünde bulundurursanız, agresif veri kurulumunun zararı daha da artar.

Bir benzetme, yelkenli gemi ve konteyner gemisi arasındaki fark olabilir: Konteyner gemileri mutlaka daha hızlı gitmese de, binlerce ton yük taşır (yüzlerce trilyon token önceden eğitme verisine denk gelir) ve dalgalı denizde devrilmaz (on binlerce GPU üzerinde kararlı eğitim anlamına gelir).

Şimdi daha büyük ve daha dayanıklı konteyner gemilerine sahibiz, bu yüzden ne yüklediğimizle ilgili endişelenmememiz gerekir; hatta sadece hafifçe bile faydalı olan her şeyi yükleyebiliriz. Ancak 2019 yılının küçük ve kırılgan yelkenlileri için, yalnızca en değerli yükleri taşıyabilmek için son derece dikkatli olmanız gerekirdi.

Ancak ön eğitim ilerlemenin özü, bu gemiye daha fazla yük yüklemekse, acaba yükümüz bitmek üzere mi? Bu, veri duvarı sorunu ve sentetik verilerin bu duvarı aşmamıza ne kadar yardımcı olabileceğidir. Sentetik veriler açıkça laboratuvarlarda yaygın olarak kullanılmaktadır, ancak bu verilerin model performansını zarar vermeden veri corpus'umuzu etkili bir şekilde genişletip genişletemeyeceğini tamamen incelememiş durumdayız. Eğer bu tür kazanımlar sınırlıysa, ön eğitim ilerlemesinin ana itici gücü duracaktır, çünkü daha fazla internet içeriği üretmeyeceğiz ve sabit bir veri setinin kurulabilirliği de sınırlıdır. Şu anda böyle olacağını gösteren herhangi bir olumlu nedenimiz yoktur. Ancak verilerin ön eğitim ilerlemesini desteklemekte bu kadar önemli olduğu göz önüne alındığında, bu kritik bir sorundur ve daha fazla araştırmaya değer.

Ryan Greenblatt, 2019 yılından beri ön eğitimdeki ilerlemeleri harekete geçiren veri ilerlemelerinin, AI araştırma ve geliştirme otomatikleştirilirse büyük ölçüde hızlanabileceğini belirtti; bu, geçmişteki ön eğitim veri korpüsü iyileştirmelerinin, farklı verilerle eğitilmiş soyutlama deneylerini çalıştırarak model performansını gözlemleyerek doğrudan deneysel testlerle desteklenebilecek türden ilerlemeler gibi göründüğünü vurguladı.

Bir noktayı netleştirmek istiyoruz: Önceden eğitilmiş modellerin ilerlemesinin izole olarak hızlanıp hızlanmayacağı ya da yavaşlayıp yavaşlamayacağı, son iki yılda elde edilen birçok kazançların强化 öğrenmeden kaynaklandığı için, genel AI ilerlemesi için en önemli soru değildir.

Gelecek araştırma yönleri

Şu anda bizim için ilginç ve önemli olabilecek gelecekteki araştırma yönleri ve sorunlar şunlardır:

• Bu deneyi daha büyük ölçeklerde gerçekleştirebilir ve verilerin veya model iyileştirmelerinin ölçeğe daha çok bağımlı olup olmadığını, böylece öncü alanlarda daha büyük bir etki yaratıp yaratmadığını görebilirsiniz.
• Son yetenek ölçütüne göre, kaliteli yeni verilerin ön eğitim ve sonrası eğitimdeki marjinal değeri nedir?
• Sentetik verilerin gerçek etkisini yaklaşık olarak anlamak istiyoruz. İncelenmesi değerli bir spesifik soru şudur: Eğer küçük bir yüksek kaliteli veri setiniz varsa, bu veriyi sentetik veri üretimiyle genişletmek, aynı veriyi doğrudan çok döngülü olarak eğitmekten ne kadar daha iyi sonuçlar verir?
• Verinin gizli değerini, laboratuvarın veri aracısı, çevre üreticisi vb. harcamalarının hesaplama gücü ve araştırmacı harcamalarına oranına göre tahmin edebilirsiniz.

Verilerin AI ilerlemesinde oynadığı rolü incelemek istiyoruz. Bu soruyu araştırmak için birçok başka yöntem daha vardır ve bunların bazıları bizim yöntemimizden daha akıllıca ve daha bilgilendirici olabilir. Ayrıca deneylerimiz çok küçük ölçeklidir. Bir şeyleri kaçırdığımızı düşünüyoruz ve başkalarının bu soruyu nasıl araştıracağını, en iyi durumda sonuçlarını da görmek istiyoruz!

Çok sayıda faydalı tartışmalar için Charlie O'Neill'e özel teşekkürler.

Bu model tariflerini farklı veri kümeleri üzerinde sıfırdan önceden eğittik, farklı hesaplama bütçeleri kullandık ve birden fazla bağımsız rastgelelik çekirdeği (6) ayarladık. Hesaplama bütçelerimiz: 1e17, 3,16e17, 1e18, 3,16e18 ve 1e19 FLOP. Hesaplama bütçesi ölçümü, nominal hesaplama C = 6ND (N, gömme dışındaki parametre sayısı; D, veri token sayısı) kullanılarak yapılır.

Her hesaplama bütçesi altında, parametre sayısını ayarlayarak eğitilen token sayısını belirleyerek her eğitim formül ve korpus kombinasyonu için hesaplama optimizasyon oranını belirliyoruz. Bu hesaplama optimum noktasını, korpus üzerindeki ayrıştırma kaybı ile belirliyoruz. Ardından, her kombinasyonun alt görev performansı için hesaplama ölçeklendirme eğrilerini elde ederek nihai hesaplama çarpanını çıkarıyoruz.

Tüm çalıştırmalarda paylaşılan sözcük bölücü ve bağlam uzunluğunu zorunlu kılıyoruz: GPT-2 BPE (tiktoken, 50257 kelime dağarcığı) ve T=2048, batch = 262144 token.

Eğitim run'larının son kapasitesi, hiperparametrelere büyük ölçüde bağlıdır. Tüm olası hiperparametre kombinasyonlarını denemek imkânsızdır; hiperparametre ayarlaması gerçekten ince bir sanattır! Bu konuda mümkün olduğunca kontrol sağlamaya çalışıyoruz ve tepe öğrenme oranını en önemli kilit hiperparametre olarak görüyoruz.

Bazı algoritma sürümleri, diğer ilgili değişkenlerin (örneğin model boyutu, veri bütçesi, toplu boyut vb.) bir fonksiyonu olarak tepe öğrenme oranının ne kadar olması gerektiğini belirler. Bunlar, en iyi öğrenme oranını belirlememiz için iyi bir öncül bilgi sağlar.

Öncelikle 5 ana noktada öğrenme oranını tarıyoruz: 3 farklı model boyutu ve 2 farklı D/N oranı. Bu ana noktalar için en uygun öğrenme oranlarını belirliyor ve en uygun öğrenme oranı parametre formunu uygunlaştırıyoruz.

OLMo-2 dışındaki tüm model tarifleri için ortak bir a ve b üssü ile modele özel bir lr₀ uygunlaştırıyoruz. OLMo-2 için ise, ilgili model tarifi tarafından belirtilen en iyi öğrenme oranı kullanılmaktadır. OLMo-2 için bu yaklaşımı benimsememizin nedeni, Ai2'nin tarifin bir parçası olarak küçük model basamaklarını yayınlamasıdır; bu basamaklar, incelediğimiz ölçeklerdeki en iyi hiperparametreleri tanımlamaktadır. Ayrıca, üretken öğrenme oranlarımızın 3,16e18 FLOP hesaplama optimizasyon noktasında veya yakınında olduğunu doğruladık.

Ana Teknik Sonuçlar

Grafikteki bazı anormallikleri açıklayın

Model ve veri boyutlarında, hesaplama verimliliğinin zamanla genel olarak arttığını gözlemledik, bu beklenen bir durumdu. Gözlemlediğimiz bazı sapmalar:

• NeoX, 1e19'da GPT-2'den daha kötü performans gösterdi (ancak 1e17 ile 3,16e18 aralığında daha iyi performans gösterdi). Bu, OLMES değerlendirmesindeki gürültüden kaynaklanıyor olabilir. Ayrıca, FineWeb-Edu korpusunda bırakılan ön eğitim kaybında NeoX'in GPT-2'den daha iyi performans gösterdiğini gözlemledik.
• Piles, OpenWebText'e göre çok daha kötü performans gösteriyor. Bu şaşırtıcı değil, çünkü Pile'in ana iyileştirmesi veri çeşitliliği üzerinde, filtreleme üzerinde değil. PubMed ve arXiv makaleleri, GitHub kodları, yasal görüşler, patentler ve parlamento kayıtlarını içeren dikkatle seçilmiş 22 kaynaklı bir karışımına sahip. Bu tokenlerin çoğu için, OLMES (İngilizce web denemesi çoktan seçmeli) üzerine alanlar arası transfer çok küçük olabilir, bu da hesaplama verimliliğini düşürür. Daha büyük ölçeklerde Pile'in (gerçekten çok küçük ölçekli olan) OpenWebText'i nihayetinde geçeceğini, ölçek daha büyük olduğu için gözlemliyoruz.
• Ayrıca, NeoX ve Pile'nin hesaplama çarpanları dışa doğru extrapolasyon yoluyla elde edildiğinden, ek potansiyel hatalar ortaya çıkmıştır.

Hashrate çarpanı nasıl hesaplanır ve hata sınırı nedir

• Veri noktaları, birden fazla bağımsız tohum eğitimi çalışmasından gelmektedir. Oradaki hata çubukları, bu tohumlar üzerindeki OLMES değerlendirmelerinin standart sapmasını göstermektedir.
• Belirli bir hesaplama gücü düzeyindeki belirli bir referans performans seviyesini göz önünde bulundurun.
• Daha sonra, referans performans seviyesine ilk kez ulaşan aday model veya korpusun hesaplama ölçeklendirme eğrisinin en sol noktasını bularak hesaplama çarpanını hesaplıyoruz. Referans için gerekli hesaplama ile aday için gerekli hesaplama arasındaki oran, adayın hesaplama çarpanını verir.
• Hesaplama çarpanının hata çubuğu, tüm tahmin sürecinin parametrelerinin bootstrap yöntemiyle elde edilmiş olup, 1 standart sapma aralığıdır.
• Gerçek model formül hesaplama çarpanı belirsizliğinin, hata çizgilerinde gösterilenden daha yüksek olacağını vurgulamak istiyoruz. Bunun nedeni, gerçekleştirdiğimiz hiperparametre optimizasyon aralığının sınırlı olması ve nihai performansın veya ayrılan kaybın, en yüksek öğrenme oranının, toplu boyutunun ve diğer faktörlerin kesin seçimlerine oldukça duyarlı olabilmesidir.

Aynı zamanda, yok etme deneylerimizin hesaplama verimliliği artışının tam kapsamını tam olarak yakalayamamasının birçok nedeni olduğunu unutmamak önemlidir. Aslında, 2019 ile 2025 yılları arasında model tarafında yıllık yüzde hesaplama verimliliği artışını 1,24 kat [1,19, 1,29], veri tarafında 1,51 kat [1,45, 1,57] olarak gözlemledik. Birlikte ölçümde, yıllık yüzde hesaplama verimliliği artışını 1,57 kat [1,49, 1,65] olarak gözlemledik7. Bu, Anson Ho ve diğerlerinin yıllık 3 kat ortalama tahmininden gerçekten çok daha düşük; nedenler şunlardır:

• Birçok kazanç ölçeğe bağlı olabilir veya uzun bağlam altında özellikle önemlidir; ancak operasyonumuzun ölçeği, bu kazançların çoğu ortaya çıkmamasına neden olmaktadır. Örneğin, OLMo-2'nin katman normu ve QK normu, NeoX'teki paralel dikkat + MLP blokları.
• İşlem verimliliği iyileştirmeleri (örneğin, LLama-3'ün GQA'sı gibi bir KV önbellek optimizasyonu) araştırmamızda hesaplama kat sayısı olarak yansımayacaktır. Aynı şekilde, tokenizer iyileştirmelerini de incelemedik.
• Elde ettiğimiz hesaplama kat sayısı, her yıl seçtiğimiz model formülasyonu veya veri kümesine oldukça duyarlıdır. Temsili olduğunu düşündüğümüz model formülasyonlarını veya veri kümelerini seçtik. Ancak bunların her yıl için en iyileri olduğunu kesin olarak kanıtlamadık.
• OLMES referansına (10 adet nispeten basit görev türüne dayalı) göre hesaplama kat sayısı üzerinde odaklanıyoruz, belirli bir karmaşıklık skoru elde etmek için hesaplama kat sayısı üzerinde değil. Diğer referanslara (örneğin kodlama veya soru çözme odaklı referanslara) bakarsak, sayılar tamamen farklı olur ve bu referanslar tamamen farklı veri mühendisliği yöntemlerini ödüllendirebilir.

Ayrıca, yeni kaynaklardan daha fazla kaliteli veri toplamak, insan uzmanları tarafından üretilen veriler, sentetik veri üretimi yöntemleri gibi diğer veri yanlarının iyileştirilerini incelemedikğini de belirtmek istiyoruz. Çalışmamızdaki çoğu korpus, mevcut veri kümesini genişletmek yerine aynı Common Crawl’in kurulan (alt) kümesidir. Bu açıkça sınırlı bir stok tüketimi anlamına gelir ve bu stratejinin ilerletebileceği düzey sınırlıdır.

Kazanç, model formülü ve veri setinden bağımsızdır

Model formülasyonu ve veri seti getirileri arasındaki bağımsızlığı belirlemek için aşağıdaki araştırmayı gerçekleştirdik. 3,16e18 FLOPs altında OLMES puan ızgarasını inceledik. OLMES puanları için doğrusal regresyon modeli olarak OLMES puanı = ortalama + model etkisi + veri etkisi kullanıldığında, R-kare değeri 0,88 olarak elde edildi. Bu, OLMES puanlarındaki varyansın %88'inin model ve veri iyileştirmelerinin toplamsal etkileriyle açıklanabildiğini, yalnızca yaklaşık %12'sinin etkileşim terimleri veya daha yüksek mertebeden terimler ile değerlendirme gürültüsünden kaynaklandığını göstermektedir. Bu, karmaşık model-veri etkileşimlerinin (yani bir model iyileştirmesinin belirli bir veri mühendisliğine bağlı olması veya bunun tam tersi olması) nispeten küçük olduğunu ima etmektedir.

Anson Ho ve arkadaşları, yazılım verimliliği iyileştirmelerini (önceki eğitmede) yılda 3 kat olarak tahmin etti (95% güven aralığı: 1,5 kat ile 64 kat). Ho, bu blogda "çoğu yazılım ilerlemesinin aslında veri kalitesi iyileştirmelerinden kaynaklandığını" ve "boyutla ilgili birkaç az sayıdaki algoritmik değişikliğin genişlemesinden kaynaklandığını" belirtti.

İşlem gücü hesaplamak için C = 6ND adlı bir sözleşmeyi kullanıyoruz.

2019 model配方 GPT-2, 2025 model配方 OLMo-2. 2019 veri kümesi OpenWebText, 2025 veri kümesi UltraFineWeb.

Pile üzerinde GPT3'ü uygularken bazı eğitim istikrarsızlık sorunları (gradyan tepe değerleri) yaşadık.

Bunlar: iyileştirilmiş optimizasyon, ısıtma ve azalma planlaması, öğrenilen mutlak konumların yerine RoPE kullanımı, RMSNorm ile SwiGLU kapılı MLP, Norm yeniden düzenleme, QK-norm, Z-kayıp düzenlemesi ve daha temiz bir başlatma içerir.

Hesaplama gücü genişletme grafiği için her biri en az 3 tohum kullandık. 3,16e18 bütçesi altındaki model tarifleri ve veri seti kombinasyonları için 7x7 ızgara üzerinde ise her biri yalnızca 1 tohum kullandık.

1,57 katlık yıllık büyüme çarpanı, model tarafındaki 1,24 katlık iyileşme ile veri tarafındaki 1,51 katlık iyileşmenin çarpımı yerine, 2019 model ve korpusundan 2025 model ve korpusuna kadar olan ortak iyileştirmeler kullanılarak hesaplanmıştır.