Kertas Baru Mengusulkan Pelatihan End-to-End untuk Model Generatif Melalui Pemodelan Eksploratif

Pada tahun 2012, AlexNet mengakhiri sebuah era dengan kemenangan telak. Sebelumnya, pengenalan gambar bergantung pada desain manual oleh manusia terhadap proses ekstraksi fitur bertingkat; AlexNet membuktikan sebuah hal yang kemudian berulang kali diverifikasi: menyerahkan seluruh tugas secara end-to-end kepada model untuk dipelajari sendiri hampir selalu mengungguli pipeline bertahap yang dirancang secara cermat oleh manusia.

Dari klasifikasi gambar hingga deteksi objek hingga segmentasi gambar, setiap lompatan dalam pembelajaran mendalam didorong oleh satu kalimat yang sama: biarkan ia belajar sendiri secara utuh.

Satu-satunya bidang yang selalu menjadi pengecualian: model generatif.

Model generatif terkuat dan paling dapat diskalakan hari ini (baik autoregresif maupun diffusion) bukanlah end-to-end.

Mereka dilatih hanya untuk memprediksi "satu langkah kecil", tetapi saat inferensi, mereka harus mengulang langkah ini berulang-ulang ratusan hingga ribuan kali seperti jaringan siklik.

Cara pengambilan sampel yang digunakan untuk pelatihan dan inferensi tidak sama. Celah ini membawa masalah lama: kesalahan pada setiap langkah akan dimasukkan ke langkah berikutnya, sehingga input perlahan menjauh dari distribusi yang pernah dilihat selama pelatihan, dan kesalahan terakumulasi secara bertahap. Secara akademis, ini disebut sebagai "exposure bias".

Dengan kata lain, pelajaran paling mendasar dalam pembelajaran mendalam, yaitu "end-to-end lebih baik", selama dua dekade ini belum pernah benar-benar diterapkan pada model generatif.

Dan baru-baru ini, sebuah makalah dari UIUC dan Harvard University berusaha mengisi potongan terakhir teka-teki ini.

Penulis memberi nama pada paradigma baru ini sebagai Explorative Modeling (pemodelan eksploratif), dengan singkatan XM. Gagasan ini sederhana hingga hampir naif, namun mengarah pada kesimpulan berani: selain parameter dan data, model generatif sebenarnya memiliki sumbu ketiga yang dapat diperbesar.

Situs proyek: https://explorative-modeling.github.io

Alamat makalah: https://arxiv.org/abs/2607.27372

Repo kode: https://github.com/alexiglad/XM

Untuk memahami apa yang dipecahkan oleh makalah ini, pertama-tama harus memahami mengapa generasi itu sulit.

Pembelajaran terawasi biasa (misalnya klasifikasi) setiap input pada dasarnya hanya memiliki satu jawaban yang benar, sehingga model cukup belajar satu pemetaan yang pasti.

Tetapi hasilnya berbeda. Ketika Anda meminta model untuk "menghasilkan seekor anjing", jawaban yang benar bahkan mungkin memiliki jumlah tak terhingga. Output-output yang valid ini adalah masing-masing mode dalam distribusi data (yaitu puncak-puncak independen dalam distribusi). Generasi sulit dilakukan karena harus menangkap sebanyak ini mode secara bersamaan.

Masalahnya adalah bahwa model generatif utama dilatih menggunakan kerugian rekonstruksi (misalnya, kesalahan kuadrat). Ketika sebuah input secara acak dikaitkan dengan banyak target legal yang berbeda, solusi optimal yang dapat diberikan oleh kerugian rekonstruksi adalah rata-rata dari semua target tersebut. Namun, untuk sebagian besar data, rata-rata sama sekali tidak berada di manifold data, melainkan jatuh di antara beberapa mode, sehingga tidak menyerupai satupun.

Gambar dalam makalah itu sangat intuitif: membiarkan model melakukan regresi end-to-end langsung tanpa trik apa pun, tiga kelompok titik tersebar akan diprediksi menjadi satu titik di tengah, foto seekor anjing akan menjadi kabur, dan sebuah kalimat akan tereduksi menjadi pengulangan kata "the" terus-menerus. Ini adalah "mode blurring", yaitu solusi optimal justru merupakan jawaban yang paling tidak mirip dengan data asli.

Model yang ada bagaimana melewati ini? Jawabannya adalah memecah proses “generasi” menjadi bagian-bagian kecil. Regresi otoregresif hanya memprediksi satu elemen sekaligus, diffusion hanya menghilangkan sedikit noise sekaligus, sehingga setiap langkah kecil memiliki tujuan yang dipotong hingga hampir hanya menyisakan satu mode, dan kerugian rekonstruksi tidak lagi mengambil rata-rata.

Proses "pemisahan generasi" ini adalah alasan mengapa difusi dan autoregresif dapat menghasilkan sampel berkualitas tinggi, tetapi justru ini yang membuat model tidak dapat end-to-end.

Penulis kemudian mengajukan pertanyaan kunci: model generatif hanya memiliki dua hal yang dapat diuraikan, yaitu cara menghasilkan dan cara melatih.

Jika memisahkan generasi menghancurkan end-to-end, mengapa tidak memisahkan pelatihan saja?

Explorative Modeling membongkar siklus pelatihan itu sendiri.

Mekanismenya dapat dijelaskan dalam satu kalimat: pada setiap langkah pelatihan, model tidak lagi hanya menghasilkan satu sampel untuk dipaksakan mencapai target, tetapi menghasilkan K kandidat, lalu memilih hanya yang paling dekat dengan data nyata untuk dilatih dan mengirimkan gradien kembali. Dalam paper, ini diimplementasikan sebagai loop for sebanyak 3 hingga 5 baris, sangat sederhana hingga membuat curiga (Algorithm 1).

Mengapa cara ini bisa menyelesaikan ketidakjelasan mode?

Ganti skenario kehidupan sehari-hari: tebak titik jatuhnya panah. Jika Anda hanya diberi satu kali tebakan, strategi optimal Anda adalah menebak posisi rata-rata semua panah, tetapi itu seringkali merupakan tempat di papan yang hampir tidak ada panah yang mengenainya. Namun, jika Anda diperbolehkan menebak K kali dan hanya skor tebakan paling dekat yang dihitung, strategi optimal langsung berubah: Anda akan menyebarkan tebakan-tebakan tersebut agar masing-masing mencakup kelompok titik jatuh yang berbeda.

Model juga sama. Ketika diperbolehkan menjelajahi K kandidat, noise input yang berbeda masing-masing akan "mengklaim" satu mode yang berbeda, bukan semuanya berkumpul di tengah untuk mengambil rata-rata. Seberapa banyak eksplorasi yang dilakukan, model akan dapat dengan stabil menangkap sejumlah mode tersebut.

Penulis memberi nama pada kemampuan yang lama diabaikan ini: generative expressivity, dan menunjukkan bahwa kemampuan ini ditentukan oleh tujuan pelatihan itu sendiri, terlepas seberapa besar Anda menambah parameter dan data, ia tidak akan meningkat dengan sendirinya.

Ini juga menjelaskan fenomena aneh yang sudah lama diamati oleh industri: mengapa model terbaik saat ini sangat bergantung pada teknik «guidance».

Yang disebut classifier-free guidance pada dasarnya adalah mendorong prediksi menjauh dari nilai rata-rata yang kabur. Tetapi jika model itu sendiri tidak kabur, mengapa perlu mendorongnya? Guidance berguna justru karena masalah yang ditinggalkan oleh mode yang kabur.

Paper tersebut juga memberikan dua arah eksplorasi: Forward dan Reverse. Yang pertama mempertahankan satu target nyata dan mencari yang paling dekat dalam hasil generasinya sendiri, cenderung ke arah “recall” (menutupi semua mode); yang kedua mempertahankan satu hasil generasi dan mencari yang paling dekat dalam data nyata, cenderung ke arah “precision”, hampir tidak menambah beban komputasi, tetapi berisiko kolaps ke beberapa mode saja. Keduanya saling melengkapi dan dapat digunakan secara kombinasi.

Kesimpulan paling berbobot dari makalah ini adalah membuktikan bahwa "eksplorasi" sebagai sumbu scaling yang nyata.

Penulis menerapkan eksplorasi pada model diffusion/flow, model Jumpy, hingga model bahasa diffusion tersembunyi, dan secara konsisten melihat peningkatan performa monoton pada tiga modalitas: gambar, video, dan bahasa. Lebih penting lagi, tren manfaat seiring skala: semakin diperbesar, semakin signifikan.

Angka yang diberikan dalam makalah adalah: seiring dengan pertumbuhan skala data, manfaat eksplorasi naik dari 7% hingga 36%; seiring dengan meningkatnya ukuran model, naik dari 13% hingga 23%; ketika daya komputasi meningkat tiga kali lipat, peningkatan efisiensi langsung berlipat lebih dari dua kali.

Secara spesifik dalam hal efisiensi, penelitian ini meningkatkan efisiensi FLOP sebesar 4,1 kali, efisiensi sampel sebesar 6,2 kali, dan efisiensi parameter sebesar 47%. Dalam generasi gambar, ia mendorong resep RAE terkuat saat ini hingga mencapai FID 1,43 tanpa panduan di ImageNet, mendekati tingkat terbaik industri.

Sebuah model Large yang mengeksplorasi 5 mode, bahkan mampu mengalahkan model XLarge yang memiliki 47% parameter lebih banyak tetapi tidak melakukan eksplorasi.

Arti dari tren ini tidak kecil. Penjelasan penulis adalah: pada skala kecil, model terutama dibatasi oleh parameter dan data, sedangkan ekspresivitas generatif belum menjadi bottleneck; namun, begitu parameter dan data diperbesar hingga "tidak lagi menjadi batasan", ekspresivitas generatif akan semakin menjadi bottleneck yang sebenarnya. Dan inilah yang menjadi fokus eksplorasi untuk hal-hal yang dapat langsung diperbesar.

Mengingat pelatihan model dasar nyata saat ini yang menggunakan daya komputasi sekitar empat orde lebih tinggi daripada eksperimen terbesar dalam makalah ini, penulis berpendapat bahwa angka-angka yang dilaporkan dalam makalah kemungkinan hanyalah batas bawah dari keuntungan pada skala yang lebih besar.

Apa yang terjadi jika eksplorasi didorong hingga batasnya? Jawabannya kembali ke ketegangan awal: model generatif akhirnya bisa end-to-end.

Penulis menganggap XM sebagai model end-to-end independen dan menggunakannya untuk tugas pengendalian robot. Dalam Behavior Cloning, Explorative Policy mereka hanya memerlukan satu forward pass jaringan untuk menyamai bahkan melebihi Diffusion Policy yang memerlukan 100 forward pass; dalam pemodelan dunia berorientasi tujuan, Explorative World Model mencapai kinerja rata-rata yang lebih baik dengan kekuatan inferensi 16 hingga 256 kali lebih sedikit dibandingkan Diffuser.

Sumber dari kesenjangan ini jelas: model difusi menukar ekspresivitas dengan proses generasi berlangkah ratusan selama inferensi, sementara XM end-to-end memindahkan biaya ini ke eksplorasi selama pelatihan, sehingga inferensi hanya memerlukan satu forward pass. "Menangani multi-mode" — hal yang sama ini — bisa dilakukan dengan perlahan memecahnya selama inferensi, atau mengeksplorasi sepenuhnya selama pelatihan; makalah ini memilih yang terakhir.

Penulis pertama makalah ini, Alexi Gladstone, bukanlah orang asing. Pada Juli 2025, EBT (Energy-Based Transformers) yang dipimpinnya sempat memicu perbincangan besar di platform sosial.

Pekerjaan tersebut mengklaim pertama kali "mengungguli" kurva ekspansi Transformer feedforward standar di beberapa dimensi, dan berusaha memperluas "pemikiran Sistem 2" ke mode apa pun. Lihat liputan JiQizhixin: "Paradigma Baru Tiba! Model Energi Baru Membongkar Batas Ekspansi Transformer++, Kecepatan Ekspansi Pelatihan 35% Lebih Cepat."

Pemodelan Eksploratif selaras dengan pendekatan konsistennya: keduanya menanyakan apakah model dapat melakukan hal-hal yang tidak mungkin dilakukan oleh satu kali forward melalui cara pencarian atau eksplorasi tertentu. Makalah ini lebih lanjut dibangun di atas teori lain yang dikembangkan bersama rekan-rekannya (Yilun Du dan Heng Ji), yaitu Mode Forcing. Dalam makalah tersebut diakui bahwa karena teori tersebut sudah ada terlebih dahulu, sebagian besar hasil XM diprediksi secara teoretis terlebih dahulu sebelum diverifikasi secara eksperimen—hal yang jarang terjadi di kalangan pembelajaran mendalam yang biasanya berprinsip “jalankan eksperimen dulu, baru jelaskan”.

Penulis juga secara jujur mengakui keterbatasannya: gagasan best-of-K sendiri bukan hal baru, telah banyak dilakukan sebelumnya; kontribusi sebenarnya mereka adalah memahami dengan jelas apa yang sebenarnya dilakukan oleh siklus sederhana ini: ia secara langsung memperbesar ekspresivitas generasi tanpa membagi proses generasi.

Selain itu, model bahasa autoregresif saat ini masih menjadi tantangan terberat, dan Forward XM murni end-to-end masih terlalu mahal pada distribusi yang sangat multimodal (misalnya, generasi gambar), semuanya ditunda untuk pekerjaan selanjutnya.

Selama bertahun-tahun, kita terbiasa mengatur model generatif dengan dua tombol: membuatnya lebih besar dan memberinya lebih banyak data.

Knob ketiga yang diusulkan dalam makalah ini cukup sederhana: biarkan model menebak beberapa kali dan hanya simpan tebakan terbaiknya. Namun, jika tren yang diungkapkan valid, maka seiring skala terus membesar, dua knob pertama pada akhirnya akan mencapai batasnya, sementara knob ketiga baru saja mulai berputar.

Tautan referensi

https://x.com/AlexiGlad/status/2083230922196107288

Artikel ini berasal dari akun WeChat "Machine Heart" (ID: almosthuman2014), penulis: Panda