Tether'in AI Araştırmaları Grubu, AI bellek gereksinimlerini önemli ölçüde azaltmak için Google Research tarafından tasarlanan TurboQuant algoritmasının üretim hazırsı bir uygulamasını, Pazartesi basın açıklaması kapsamında açık kaynak hale getirdi.
Teknoloji, şimdi Tether’in yerel AI motoru olan QVAC Fabric’in bir parçasıdır ve tam bir kuantizasyon hattını, framework entegrasyonlarını, belgeleri ve gerçek dünya kullanım senaryoları için dağıtım profillerini içerir.
Yayın, yerel cihazlarda gelişmiş AI çalıştırmayı en büyük engellerden biri olan bellek tüketimini hedefliyor. AI asistanları daha uzun sohbetleri, daha büyük dosyaları ve daha karmaşık görevleri işledikçe KV önbellekleri genişler ve önemli donanım kaynakları gerektirebilir.
Araştırmacılara göre, TurboQuant, model performansını korurken bu bellek taleplerini en fazla 5 kat azaltır ve güçlü AI sistemlerinin dizüstü bilgisayarlar, telefonlar, tüketici GPU'ları ve kenar cihazlarında çalıştırılmasını kolaylaştırır.
“Google’un araştırması, AI belleğinin çoğu kişinin varsaydığından çok daha verimli bir şekilde sıkıştırılabileceğini gösterdi. Çalışmamız bu devrimi, geliştiricilerin, startup’ların ve kullanıcıların gerçekleştirebileceği üretim yazılımlarına taşıyor,” dedi Tether CEO’su Paolo Ardoino, yayınla ilgili yorum yaparken.
Ardoino'ya göre, AI araçları uzun belgeleri işlemeli, proje bağlamını korumalı, yazılım geliştirme desteği sağlamalı ve her görevi bulut altyapısı üzerinden yönlendirmek yerine özel verileri yerel olarak işlemelidir. O, TurboQuant'un yerel AI sistemlerine daha büyük bellek kapasitesi ve bağlam farkındalığı sağlayarak bunu mümkün kıldığını söyledi.
“Eğer uzun bağlam AI yalnızca en büyük veri merkezlerinin içinde çalışıyorsa, AI en çok donanıma sahip olan tarafından şekillendirilecektir,” diye ekledi.
Tether, teknolojinin, daha uzun bağlam pencereleri ve yerel donanımda artırılmış performans sayesinde daha fazla yapay zeka iş yükünü merkezi bulut hizmetlerinden uzaklaştırmaya yardımcı olabileceğini düşünüyor.
QVAC SDK 0.12.0 ile birlikte, şirketin kullanıcıların kişisel cihazları, yerel ağlar ve merkeziyetsiz altyapı üzerinden daha yakın yerlerde çalışan yapay zeka sistemleri inşa etme hedefini desteklemektedir.