1M AI News'in izlemesine göre, Google Araştırma Laboratuvarı, büyük dil modellerinin KV önbelleğini 3 bit'e sıkıştıran TurboQuant adlı nicelleştirme algoritmasını yayınladı; bu, bellek kullanımını en az 6 kat azaltıyor, eğitim veya ince ayar gerektirmeden ve model doğruluğunu kaybetmeden. 4 bit modunda, NVIDIA H100 GPU'da dikkat hesaplamalarının hızı, 32 bit nicelenmemiş temel seviyeye göre en fazla 8 kat artırılıyor.
Gemma ve Mistral modelleriyle LongBench, Needle In A Haystack ve ZeroSCROLLS gibi uzun bağlam benchmark'larında yapılan testlerde TurboQuant, tüm testlerde en iyi performansı gösterdi. Bu algoritma, PolarQuant ve QJL olmak üzere iki alt algoritmadan oluşur: PolarQuant, geleneksel kantizasyon yöntemlerinin bellek maliyetini kutupsal koordinat dönüşümüyle ortadan kaldırır; QJL ise kalan hatayı yalnızca 1 bit ile düzeltir.
Bu araştırma, Google Araştırma Bölümü'nden Amir Zandieh ve Google Fellow ve Başkan Yardımcısı Vahab Mirrokni liderliğinde, Güney Kore KAIST ve New York Üniversitesi ile iş birliği içinde gerçekleştirilmiştir ve ICLR 2026'da yayınlanacaktır. Google, bu teknolojinin ana uygulamalarından birinin Gemini gibi modellerin KV önbellek darboğazını çözmek olduğunu belirtmiştir.
Google Araştırma, TurboQuant'u tanıttı: 3-bit kuantizasyon, doğruluk kaybı olmadan, çıkarım hızını en fazla 8 kat hızlandırır
KuCoinFlashPaylaş
Özet
Google Research, doğruluk kaybı olmadan KV önbellek bellek kullanımını 6 kat azaltan TurboQuant adlı 3-bit kuantizasyon yöntemini açıkladı. NVIDIA H100 GPU'larında, 4-bit dikkat hesaplamaları 32-bit modellere göre en fazla 8 kat daha hızlı çalışıyor. Gemma ve Mistral üzerinde LongBench, Needle In A Haystack ve ZeroSCROLLS ile test edilen bu yöntem, en iyi sonuçları sundu. Amir Zandieh ve Vahab Mirrokni tarafından KAIST ve NYU ile birlikte geliştirilen makale, ICLR 2026'da yayınlanacak. Zincir üzerindeki veriler, verimlilik kazanımları nedeniyle dikkat edilmesi gereken altcoin'lere olan ilginin arttığını gösteriyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.