Google DeepMind meluncurkan DiffusionGemma, kecepatan generasi teks meningkat 4x

iconKuCoinFlash
Bagikan
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconRingkasan

expand icon
Berita on-chain: Google DeepMind telah meluncurkan DiffusionGemma, model generasi teks open-source yang meningkatkan kecepatan hingga 4x. Dengan menggunakan teknologi diffusion, model ini menghasilkan 256 token secara paralel, mencapai lebih dari 1000 token/detik di H100 dan 700+ di RTX 5090. Model MoE 26B ini mengaktifkan 3,8 miliar parameter selama inferensi dan mendukung GPU konsumen setelah kuantisasi. Fitur-fiturnya mencakup perhatian berarah ganda dan koreksi mandiri, ideal untuk penyelesaian kode dan pengeditan inline. Model ini dirilis sebagai open-source di bawah lisensi Apache 2.0. Pencatatan token baru mungkin mendapat manfaat dari kemajuan dalam efisiensi generasi semacam ini.
ME AI Berita, Google DeepMind merilis model eksperimen open-source DiffusionGemma, yang menggunakan teknik diffusion teks, melampaui pendekatan generasi token secara autoregresif satu per satu, dengan menghasilkan 256 token secara paralel dalam satu forward pass. Model MoE 26B ini hanya mengaktifkan 3,8B parameter saat inferensi, dan setelah kuantisasi, cocok untuk GPU konsumen dengan memori GPU 18GB. Mencapai lebih dari 1000 tokens/s di H100 dan lebih dari 700 tokens/s di RTX 5090, meningkatkan kecepatan hingga 4 kali. Dilengkapi perhatian dua arah dan kemampuan koreksi mandiri, dirancang untuk alur kerja interaktif lokal seperti penyuntingan inline dan pengisian kode, dirilis di bawah lisensi Apache 2.0. (Sumber: AiHot)
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.