Yeni Bir Kağıt, Keşifsel Modelleme Yoluyla Üretken Modeller İçin Sonundan Sonuna Eğitim Öneriyor

2012 yılında AlexNet, bir çağı ezici bir zaferle sona erdirdi. AlexNet'ten önce, görüntü tanıma için insanlar el ile katmanlı özellik çıkarma süreçleri tasarlıyordu; AlexNet, daha sonra tekrar tekrar doğrulanacak bir şeyi kanıtladı: tüm görevi sonundan sonuna kadar modele kendi kendine öğretmek, neredeyse her zaman insanlar tarafından dikkatle tasarlanmış aşamalı akış hatlarını yenerdi.

Görüntü sınıflandırmasından nesne tespitine, ardından görüntü segmentasyonuna kadar derin öğrenmenin her atlama arkasında aynı cümle yer alır: Ona tamamını tek nefeste öğrenmesini bırak.

Yalnızca bir alan her zaman istisnadır: üretme modelleri.

Bugün en güçlü ve en genişletilebilir üretken modeller (hem otoregresif hem de difüzyon modelleri) uçtan uca değildir.

Onlar, eğitim sırasında yalnızca "bir küçük adım" tahmin etmeyi öğrenirken, çıkarım sırasında bu adımı döngüsel ağ gibi yüzlerce veya binlerce kez tekrarlıyorlar.

Eğitim ve çıkarım için farklı örneklem yöntemleri kullanılır. Bu fark, her adımda oluşan hatanın bir sonraki adıma aktarılması, girdilerin eğitimde görülen dağılımdan giderek uzaklaşması ve hataların birikmesi gibi eski bir sorunu getirir. Akademik olarak bu, “maruziyet önyargısı” (exposure bias) olarak bilinir.

Yani, derin öğrenmenin en temel deneyimlerinden biri olan “uçtan uca daha iyidir” kuralı, onlarca yıldır üretici modellere gerçekten uygulanamadı.

Ve yakın zamanda, UIUC ve Harvard Üniversitesi'nden bir makale, bu son parçayı tamamlamayı denedi.

Yazar, bu yeni paradigmaya Explorative Modeling (Keşifsel Modelleme) adını verdi ve modelin kısaltması XM. Fikir, neredeyse basit bir şekilde görünse de, üretken modellerin parametrelerin ve verilerin yanı sıra, üçüncü bir büyüteç eksenine sahip olabileceğini gösteren cesur bir sonuca işaret ediyor.

Proje websitesi: https://explorative-modeling.github.io

Kağıt adresi: https://arxiv.org/abs/2607.27372

Kod deposu: https://github.com/alexiglad/XM

Bu makalein neyi çözmeye çalıştığını anlamak için, üretimin neden zor olduğunu anlamak gerekir.

Normal izleyici öğrenimde (sınıflandırma gibi) her girdi için temelde yalnızca bir doğru cevap vardır ve model yalnızca bir belirli haritalama öğrenir.

Ancak üretimi farklıdır. Modelden "bir köpek üret" dediğinizde, doğru cevap sonsuz sayıda olabilir. Bu geçerli çıktılar, veri dağılımındaki her bir moddur (yani dağılımdaki ayrı ayrı tepe noktaları). Bu kadar çok modu aynı anda yakalamak olduğu için üretmek zordur.

Sorun, ana akım üretme modellerinin eğitimi sırasında重构 kaybı (örneğin, kare hata) kullanılmasıdır. Bir girdiye rastgele birçok farklı geçerli hedef atanıldığında,重构 kaybı için en iyi çözüm bu hedeflerin ortalamasıdır. Ancak çoğu veri için, ortalama veri manifoldu üzerinde değil, birkaç modun tam ortasında, hiçbirine benzemeyen bir noktada yer alır.

Makaledeki grafik oldukça açıklayıcı: Model, herhangi bir teknik kullanmadan doğrudan uçtan uca regresyon yaparsa, üç nokta yığını onun tarafından ortadaki bir nokta olarak tahmin edilecek, bir köpek fotoğrafı bulanık bir leke haline gelecek, bir cümle "the" kelimesinin sonsuza dek tekrarlanmasıyla basitleşecektir. Bu, "mod bulanıklığı" (mode blurring)'dır, yani en iyi çözüm, gerçek verilere en az benzeyen cevaptır.

Mevcut modeller bunu nasıl atlıyor? Cevap, "üretme" işlemini parçalara ayırmak. Otoregresif model bir kez yalnızca bir öğe tahmin eder, dağılım modeli bir kez yalnızca biraz gürültü kaldırır; her küçük adımın hedefi neredeyse tek bir moda indirgenir, bu yüzden yeniden yapılandırma kaybı ortalama almaz.

Bu "ayırma üretme süreci", dağılım ve özyinelemeli modellerin kaliteli örnekler üretebilmesinin nedenidir; ancak aynı zamanda bu süreç, modelin uçtan uca olamamasını sağlar.

Yazar, bu şekilde bir temel soruyu ortaya atıyor: Bir üretme modelinin sadece iki parçaya ayrılabilir yönü var; nasıl üretildiği ve nasıl eğitildiği.

Bu yolun uçtan uca bozulmasına neden oluyorsa, neden eğitimi bozmuyorsunuz?

Keşifsel Modelleme, eğitim döngüsünü doğrudan ayrıştırır.

Mekanizması bir cümleyle açıklanabilir: Her eğitim adımında, model hedefe zorla uymak için yalnızca bir örnek değil, K adet aday üretir ve ardından gerçek veriye en yakın olanı seçerek eğitir ve geri yayılım yapar. Makalede bunu 3 ila 5 satırlık bir for döngüsü olarak uygulamıştır (Algoritma 1).

Neden bunu yapmak mode belirsizliğini çözer?

Hayatın başka bir sahnesini düşünün: dartın isabet noktalarını tahmin edin. Sadece bir kez tahmin yapma hakkınız olsaydı, en iyi strateji tüm dartların ortalama konumunu tahmin etmek olurdu; ancak bu genellikle hedef tahtada hiç dartın isabet etmediği bir noktadır. Ancak K kez tahmin yapma hakkınız olsaydı ve sadece en yakın tahmininiz puanlanırsa, en iyi strateji hemen değişir: Tahminlerinizi dağıtır, her biri farklı isabet kümelerini kapsayacak şekilde ayarlarsınız.

Model de aynı şekilde. K aday keşfedilmesine izin verildiğinde, farklı giriş gürültüleri her biri farklı bir modu «tutar», hepsi ortalamayı almak için ortaya toplanmaz. Kaç kez keşif yapılırsa, model o kadar çok modu sabit tutar.

Yazar, uzun süredir göz ardı edilen bu yeteneğe "üretken ifade" (generative expressivity) adını verdi ve bunun, parametreleri ve verileri ne kadar büyütürseniz büyütün, kendi kendine artmayacağını belirtti.

Bu, endüstride uzun zamandır gözlemlenen bir garipliği de açıklıyor: neden bugünün en iyi modelleri bu kadar çok «kılavuzluk» (guidance) tekniklerine bağımlı.

Sınıflandırıcı olmayan yönlendirme, temelde tahminin bulanık ortalama değerinden "uzaklaştırılması" anlamına gelir. Ancak model kendisi bulanık değilse, neden onu itmek zorunda kalıyoruz? Yönlendirmenin faydalı olmasının nedeni, tam olarak modun bulanık kalmasıyla ortaya çıkan sorundur.

Makale, Forward ve Reverse olmak üzere iki keşif yönü sunar: İlkisi, bir gerçek hedefi sabitler ve kendi üretimi içinde en yakınını arar, bu da «kapsam» (tüm modları kapsama) yönündedir; ikincisi, bir üretimi sabitler ve gerçek verilerde en yakınını arar, bu da «doğruluk» yönündedir ve neredeyse hiçbir hesaplama maliyeti getirmez, ancak sonuç olarak az sayıda moda çökebilir. İkisi birbirini tamamlar ve birlikte kullanılabilir.

Makalenin en önemli sonucu, "keşif" kavramını gerçek bir ölçeklendirme ekseni olarak doğrulamaktır.

Yazar, keşfi yayılma/akış modellerine, Jumpy modellerine ve maskeleme扩散 dil modellerine uyguladığında, görsel, video ve dil olmak üzere üç modalitede tutarlı bir şekilde performansın monotonik olarak arttığını gözlemledi. Daha da önemlisi, kazançların ölçeklenme eğilimi: ne kadar büyütülürse, o kadar güçlü oluyor.

Kağıtta verilen sayılar şunlardır: Veri boyutu arttıkça, keşfin getirdiği artımda %7'den %36'ya kadar bir artış gözlemlenmektedir; model büyüdükçe bu artış %13'ten %23'e çıkmaktadır; hesaplama gücü üç katına çıktığında verimlilik artışı iki katından fazla artmaktadır.

Verimlilik açısından, FLOP verimliliğini 4,1 kat, örnek verimliliğini 6,2 kat ve parametre verimliliğini %47 artırarak keşfedildi. Görüntü oluşturmada, mevcut en güçlü RAE formülünü ImageNet üzerinde 1,43 FID ile yönlendirilmemiş durumda ileriye taşıyarak endüstri liderlik seviyesine yaklaştı.

5 adet modu keşfeden bir Large modeli, 47% daha fazla parametreye sahip ancak keşif yapmayan bir XLarge modelini bile yenebilir.

Bu eğilimin anlamı küçükmüş gibi değil. Yazarın açıklaması şuydu: Küçük ölçeklerde, model anahtar olarak parametreler ve verilerle sınırlanıyor; üretken ifade yeteneği henüz bir darboğaz değil. Ancak parametreler ve veriler, "sınırlayıcı olmaktan çıkar" seviyesine ulaştığında, üretken ifade yeteneği giderek gerçek darboğaz haline gelir. Ve bu, doğrudan artırılabilecek şeyleri keşfetmektir.

Mevcut gerçek temel model eğitimi için kullanılan hesaplama gücü, bu makaledeki en büyük deneyden yaklaşık dört sıralık bir ölçüde daha yüksek olduğundan, yazarlar makalede rapor edilen sayıların daha büyük ölçeklerdeki kazançların alt sınırı olabileceğini düşünmektedir.

Eğer keşfi sınırlara kadar iterseniz ne olur? Cevap, baştaki gizemi tekrar ortaya çıkar: Üretim modelleri nihayet tamamen uçtan uca hale geldi.

Yazar, XM'i bağımsız bir uçtan uca model olarak alıp robot kontrol görevlerinde kullandı. Davranış taklit (Behavior Cloning) üzerinde, Explorative Policy'si, 100 kez ileri geçiş gerektiren Diffusion Policy'yi tek bir ağ ileri geçişiyle eşitledi ve hatta aştı; hedefe yönelik dünya modellemesi üzerinde, Explorative World Model, Diffuser'den 16 ila 256 kat daha az hesaplama gücü kullanarak daha iyi ortalama performans sağladı.

Bu farkın kaynağı açık: Dağılım modelleri, ifade gücü için çıkarım sırasında yüzlerce adım kullanırken, uçtan uca XM bu maliyeti eğitim sırasında keşfe aktarıyor ve çıkarım sadece bir ileri geçiş gerektiriyor. "Çok modlu işleme" gibi bir şey ya çıkarım sırasında yavaşça ayrıştırılır, ya da eğitim sırasında bir kez tamamen keşfedilir; bu makale ikincisini seçiyor.

Makalenin birinci yazarı Alexi Gladstone tanıdık bir isim değil. 2025 yılının Temmuz ayında, liderliğinde geliştirilen Energy-Based Transformers (EBT) sosyal medyada büyük bir tartışma yaratmıştı.

Bu çalışma, standart önden beslemeli Transformer'ın ölçeklendirme eğrisini ilk kez çok boyutlu olarak "yenebileceğini" iddia ediyor ve "Sistem 2 düşünme" kavramını herhangi bir modda yaygınlaştırmayı amaçlıyor. MachineHeart haberine bakın: "Yeni Bir Paradigma Geldi! Yeni Enerji Modeli, Transformer++ Ölçeklendirme Sınırını Aşıyor ve Eğitim Ölçeklendirme Oranını %35 Hızlandırıyor."

Keşifsel Modelleme, onun sürekli olarak sorduğu soruyu sürdürüyor: “Model, tek seferlik ileri yönlü hesaplama ile yapamadığı bir şeyi, belirli bir arama ve keşif yoluyla yapabilir mi?” Bu makale, özellikle Yilun Du ve Heng Ji ile olan ortak çalışmalarının bir diğer teorisi olan Mode Forcing üzerine kuruludur. Makalede açıkça belirtildiği gibi, XM’in büyük ölçüde sonuçları, önce bu teoriyle öngörülüp ardından deneysel olarak doğrulanmıştır; bu durum, “deneyleri tamamladıktan sonra yorumla” yaklaşımının yaygın olduğu derin öğrenme alanlarında nadiren rastlanır.

Yazar, sınırlamaları da açıkça kabul ediyor: best-of-K fikri kendisi yeni değil, daha önce birçok kez uygulanmıştı; gerçek katkısı ise bu basit döngünün tam olarak ne yaptığını anlamaktı: üretim sürecini parçalamadan doğrudan üretim ifade gücünü artırıyordu.

Ayrıca, otoregresif dil modelleri hâlâ en zor sorunlar arasında yer alıyor ve saf uçtan uca Forward XM, çok modlu dağılımlarda (örneğin görüntü üretimi) hâlâ çok maliyetli; bunlar sonraki çalışmalar için bırakılmıştır.

Onlarca yıldır, üretken modelleri ayarlamak için iki düğmeye alıştık: onları daha büyük yapmak ve daha fazla veri vermek.

Yazılan makalede önerilen üçüncü düğme oldukça basittir: Modelin birkaç kez tahmin yapmasına izin verin ve en iyi sonucu koruyun. Ancak eğer bu eğilim geçerliyse, ölçek büyüdükçe ilk iki düğme nihayetinde sınırlara ulaşacak, üçüncüsü ise henüz başlamış olacak.

Referans bağlantısı

https://x.com/AlexiGlad/status/2083230922196107288

Bu yazı, WeChat hesabından "Makine Kalbi" (ID: almosthuman2014) tarafından paylaşılmıştır, yazar: Panda