ByteDance Membuka Sumber Model Multimodal 3B Parameter Lance yang Dilatih pada 128 GPU A100

Berita ME, 19 Mei (UTC+8), menurut pemantauan Beating, ByteDance Research secara rasmi membuka sumber model besar multimodal seragam asli Lance. Model ringan ini memiliki parameter aktif hanya 3B, dan mampu menyokong pemahaman, penghasilan, serta penyuntingan gambar dan video dalam satu kerangka kerja tunggal. Model seragam utama semasa sangat bergantung pada peningkatan skala parameter atau penggunaan arsitektur teks-ke-gambar, manakala Lance berjaya mengikuti pendekatan kolaboratif dengan kekuatan komputasi yang sangat rendah. Pasukan pembangun melatih model sepenuhnya dari awal dan mengurangkan anggaran komputasi keseluruhan tempoh latihan kepada hanya 128 GPU A100. Untuk menyelesaikan konflik dalaman antara modality dan tugas, Lance mengimplementasikan dua isolasi ketat dalam arsitekturnya: - Menggunakan arsitektur campuran pakar ganda (MoE) untuk menangani urutan multimodal yang saling berhubungan, sambil memisahkan laluan komputasi pemahaman dan penghasilan, dengan berkongsi konteks bawah yang sama. - Memperkenalkan kod posisi putaran yang peka modality, yang secara langsung mengurangkan gangguan isyarat antara token visual heterogen gambar dan video. Kompresi kekuatan komputasi yang ekstrem tidak mengurangkan had prestasi. Dengan hanya 3B parameter aktif, prestasi Lance dalam penghasilan dan penyuntingan gambar serta video memimpin sebahagian besar ujian piawai berbanding model seragam sumber terbuka semasa, berjaya menggabungkan penghasilan dan pemahaman semantik dengan parameter kecil dengan kos rendah. (Sumber: BlockBeats)