Tether, Cihazlarda Daha Büyük Yapay Zeka Modellerini Etkinleştirmek İçin TurboQuant'u Lansman Yapıyor

• Tether’in TurboQuant’ı, AI bellek kullanımını en fazla 5 kat azaltarak cihazların daha uzun görevleri yerel olarak işlemesini sağlıyor.
• QVAC 0.12.0, geliştiricilere daha az bellek yüküyle dizüstü bilgisayarlar ve telefonlarda daha büyük AI iş yüklerini çalıştırmayı sağlar.
• TurboQuant, AI'nin bellek darboğazını çözer, daha uzun sohbetler, daha büyük dosyalar ve daha büyük kod projeleri sağlar.

Tether, QVAC SDK 0.12.0'a yeni bir bellek optimizasyon aracı ekledi; bu adım, dizüstü bilgisayarlar, akıllı telefonlar ve diğer cihazların daha büyük iş yüklerini yerel olarak işlemesine yardımcı olabilir. X üzerinde yapılan duyuruda CEO Paolo Ardoino, yayımda TurboQuant adlı bir teknolojinin yer aldığını ve bu teknolojinin AI bellek gereksinimlerini neredeyse aynı çıktı kalitesini korurken beş kat azalttığını söyledi.

Güncelleme, büyük dil modelleri için önemli bir sınırlamaya odaklanıyor: bellek. Konuşmalar ve görevler uzadıkça bellek talepleri keskin bir şekilde artıyor. TurboQuant, bu yükü azaltarak cihazların daha büyük belgelerle, daha uzun konuşmalarla ve daha fazla bilgiyle aynı anda çalışmasını sağlıyor.

Yayın, metinden video oluşturma, robot kontrol özellikleri, kodlama asistanı desteği, ses işleme güncellemeleri ve daha hızlı görüntü sınıflandırma araçları da ekler.

TurboQuant, QVAC SDK 0.12.0 sürümünün merkezinde yer alıyor. Bu teknoloji, AI modellerinin oturum sırasında konuşmaları, belgeleri ve diğer bilgileri takip etmek için kullandığı KV önbelleğini sıkıştırır.

Kullanıcılar, bir modele daha fazla bilgi girdikçe bellek talepleri artar. Tether, yaklaşık 262.000 token işleyen 4 milyar parametreli bir modelin yalnızca önbellek için yaklaşık 8 GB bellek gerektirebileceğini söyledi. Bu ölçekte birden fazla oturumu çalıştırmak, birçok dizüstü bilgisayar ve tüketici cihazının sınırlarını hızla aşıyor.

TurboQuant, bu baskıyı azaltmayı amaçlıyor. Tether'e göre, bu teknoloji, neredeyse aynı çıktı kalitesini korurken KV önbellek belleği gereksinimlerini beş kat kadar azaltabilir. Sonuç olarak, kullanıcılar, uzak hesaplama kaynaklarına daha az bağımlı kalmadan daha uzun sohbetler, daha büyük belgeler ve daha büyük kod tabanları ile çalışabilir.

Güncelleme, yalnızca bellek iyileştirmelerini içermiyor. QVAC SDK 0.12.0, geliştiricilerin yerel cihazlarda çalıştırabilecekleri şeyleri genişletmeyi amaçlayan birkaç yeni araç ekliyor.

Eklenenler arasında Wan2.1 modeli aracılığıyla metinden video üretimi desteği yer alıyor. Platform, geliştiricilerin robotik kontrol için uygulamalar oluşturmasına izin veren bir görsel-dil-eylem özelliği de tanıtıyor.

Sürüm, daha büyük görsel modeller gerektirmeyen görevler için tasarlanmış hafif bir görüntü sınıflandırma aracı da eklemektedir. Aynı zamanda QVAC, metinden sese ve transkripsiyon sistemlerini GGML motoruna taşıdı, bu değişim büyük masaüstü ve mobil işletim sistemleri üzerindeki desteği genişletmektedir.

Geliştiriciler ayrıca kodlama asistanları için yeni seçenekler kazandı. QVAC, model yönetimi ve dağıtımını kolaylaştıran bir sağlayıcı paketi aracılığıyla artık OpenCode ve OpenClaw ile entegre oldu.

İlgili: Multicoin Ortak Kurucusu, Kripto Kimlik Krizi Arasında ‘Web3 Ölü’ Diyor

Yayın, Tether'in tüm hesaplama görevlerini merkezi veri merkezlerine tamamen bağımlı kalmadan kullanıcı cihazlarında doğrudan çalıştırmaya odaklandığını gösteriyor. Şirket, kişisel cihazlarda, yerel ağlarda ve merkeziyetsiz sistemlerde çalışabilen yazılımlara artan bir şekilde odaklanmaktadır.

Ardoino, “Google’nin araştırması, AI belleğinin çoğu kişinin varsaydığından çok daha verimli bir şekilde sıkıştırılabileceğini gösterdi. Çalışmamız bu devrimi, geliştiricilerin, startup’ların ve kullanıcıların aslında kullanabileceği üretim yazılımlarına taşıyor,” dedi.

Şunu ekledi: “İnsanların, bir yapay zeka asistanına uzun bir belge okumasını, bir projeyi hatırlamasını, kodla yardımcı olmasını veya her görevin uzak bir veri merkezinden geçirilmeden özel bilgilerle çalışmasını sağlamalı.”

Lansman, Tether'in bellek optimizasyon araçları dışına çıkarak çaba göstermesiyle geliyor. Ardoino, şirketin açık kaynaklı bir eş-eş arama motoru geliştiriyor ve merkeziyetsiz bir Wikipedia arama sisteminin bir gösterimini paylaştı.

İlgili: Michael Burry, Nvidia’nın 5,4 milyar dolarlık GPU anlaşmasını “Fugazi” olarak adlandırıyor