ByteDance Membuka Sumber Model Multimodal 3 Miliar Parameter Lance yang Dilatih pada 128 GPU A100

Berita ME, 19 Mei (UTC+8), menurut pemantauan Beating, ByteDance Research secara resmi melepaskan model bahasa besar multimodal asli Lance sebagai sumber terbuka. Model ringan ini memiliki hanya 3B parameter aktif dan mendukung pemahaman, generasi, serta pengeditan gambar dan video dalam satu kerangka kerja tunggal. Saat ini, model unifikasi utama sangat bergantung pada peningkatan ukuran parameter atau penggunaan arsitektur teks-ke-gambar, sementara Lance berhasil menerapkan pendekatan kolaboratif dengan kebutuhan komputasi sangat rendah. Tim pengembang melatih model sepenuhnya dari awal dan membatasi anggaran komputasi total selama siklus pelatihan hingga 128 GPU A100. Untuk mengatasi konflik internal antara modality dan tugas yang berbeda, Lance menerapkan dua isolasi ketat dalam arsitekturnya: - Menggunakan arsitektur campuran ahli ganda (MoE) untuk menangani urutan multimodal yang saling terkait, sambil membagi konteks bawah dan memisahkan jalur komputasi pemahaman dan generasi. - Memperkenalkan positional encoding rotasi yang peka modality, yang secara langsung mengurangi gangguan sinyal antara token visual heterogen gambar dan video. Kompresi kekuatan komputasi ekstrem tidak mengurangi batas kinerja. Dengan hanya 3B parameter aktif, kinerja Lance dalam generasi dan pengeditan gambar serta video memimpin sebagian besar pengujian benchmark dibandingkan model unifikasi sumber terbuka yang ada, berhasil menggabungkan generasi dan pemahaman semantik dengan parameter kecil dengan biaya rendah. (Sumber: BlockBeats)