ByteDance Membuka Sumber Cola DLM: Model Diffusi untuk Penghasilan Teks

Berita ME, 16 Mei (UTC+8), menurut pemantauan Beating, pasukan Seed ByteDance telah melepaskan Cola DLM secara sumber terbuka. Ini adalah satu set model bahasa penyebaran laten berterusan yang cuba mengelakkan laluan tetap model bahasa besar yang menghasilkan teks secara token demi token dari kiri ke kanan, dengan mengganti proses penghasilan teks menjadi pengaturan semantik aras tinggi terlebih dahulu, kemudian kembali kepada teks spesifik. Inti Cola DLM ialah Text VAE + block-causal DiT. Text VAE terlebih dahulu memetakan teks diskret ke ruang laten berterusan, kemudian block-causal DiT mempelajari prior laten melalui Flow Matching, dan akhirnya dekoder bersyarat mengembalikan pemboleh ubah laten kepada teks. Proses penyebaran menangani representasi semantik laten, bukan secara langsung menghapuskan bunyi pada aras token. Versi sumber terbuka ini merupakan model tahap 2B, iaitu sekitar 2.3 bilion parameter keseluruhan, dengan DiT utama sebanyak 1.8 bilion parameter dan VAE sebanyak 500 juta parameter. Dalam lapan ujian—LAMBADA, MMLU, OBQA, HellaSwag, RACE, SIQA, SQuAD, dan Story Cloze—makalah tersebut menyatakan bahawa ia telah mencapai prestasi scaling yang bersaing dengan baseline AR/LLaDA pada skala yang sama di bawah protokol ujian generatif seragam, serta mencapai skor purata akhir tertinggi. Namun, ia masih merupakan checkpoint penyelidikan dan bukan model perbualan yang boleh digunakan terus. Pihak rasmi menjelaskan bahawa model ini tidak melalui penyesuaian arahan atau RLHF, dan tujuan utamanya adalah untuk menyelidik bagaimana penyebaran laten berterusan boleh digunakan untuk penghasilan teks. Makalah tersebut juga menunjukkan eksperimen awal dalam ekspansi ke model seragam teks-gambar, tetapi repositori sumber terbuka ini hanya mengandungi saluran teks. (Sumber: BlockBeats)