Menurut pemantauan 1M AI News, Google Research meluncurkan algoritma kompresi kuantisasi TurboQuant, yang dapat mengompresi cache KV model bahasa besar menjadi 3 bit, mengurangi penggunaan memori setidaknya 6 kali lipat, tanpa pelatihan atau fine-tuning, tanpa kehilangan akurasi model. Dalam mode 4 bit, kecepatan komputasi perhatian pada GPU NVIDIA H100 meningkat hingga 8 kali lipat dibandingkan baseline 32 bit yang tidak dikuantisasi.
Tim peneliti menguji TurboQuant pada benchmark konteks panjang seperti LongBench, Needle In A Haystack, dan ZeroSCROLLS menggunakan model Gemma dan Mistral, di mana TurboQuant mencapai kinerja terbaik di semua pengujian. Algoritma ini terdiri dari dua sub-algoritma: PolarQuant menghilangkan overhead memori dari metode kuantisasi tradisional melalui transformasi koordinat polar, sementara QJL hanya menggunakan 1 bit untuk memperbaiki kesalahan sisa.
Penelitian ini dipimpin oleh Amir Zandieh dari Google Research dan Vahab Mirrokni, Wakil Presiden sekaligus Google Fellow, bekerja sama dengan KAIST Korea dan New York University, dan akan dipublikasikan di ICLR 2026. Google menyatakan salah satu aplikasi utama teknologi ini adalah mengatasi bottleneck cache KV pada model seperti Gemini.
Google Research Memperkenalkan TurboQuant: Kuantisasi 3-bit tanpa kehilangan akurasi, mempercepat inferensi hingga 8x
KuCoinFlashBagikan
Ringkasan
Google Research telah meluncurkan TurboQuant, metode kuantisasi 3-bit yang mengurangi penggunaan memori KV cache hingga 6x tanpa kehilangan akurasi. Pada GPU NVIDIA H100, komputasi perhatian 4-bit berjalan hingga 8x lebih cepat daripada model 32-bit. Diuji pada Gemma dan Mistral menggunakan LongBench, Needle In A Haystack, dan ZeroSCROLLS, metode ini memberikan hasil terbaik. Dikembangkan oleh Amir Zandieh dan Vahab Mirrokni bersama KAIST dan NYU, makalah ini akan muncul di ICLR 2026. Data on-chain menunjukkan meningkatnya minat terhadap altcoin yang perlu diwaspadai, karena peningkatan efisiensi mendorong adopsi.
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini.
Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.