Odaily Dünyası Günlüğüne göre resmi duyuruya göre Tether, Microsoft BitNet (1-bit LLM) için eğitim ve çıkarım optimizasyonu sağlayan çoklu platformlu BitNet LoRA ince ayar çerçevesini QVAC Fabric içinde tanıttı. Bu çerçeve, hesaplama ve bellek gereksinimlerini önemli ölçüde azaltarak milyar parametreli modellerin dizüstü bilgisayarlar, tüketici düzeyi GPU'lar ve akıllı telefonlarda eğitimini ve ince ayarını mümkün kılıyor.
Bu proje, BitNet modelinin mobil GPU'larda (Adreno, Mali ve Apple Bionic dahil) ince ayarını ilk kez gerçekleştirdi. Testler, 125M parametreli modelin yaklaşık 10 dakikada, 1B modelin yaklaşık 1 saatte ince ayarlandığını gösterdi ve hatta mobil cihazlarda 13B parametreli modele kadar genişletilebilir.
Ayrıca, bu çerçeve Intel, AMD ve Apple Silicon gibi heterojen donanımları destekler ve NVIDIA olmayan cihazlarda ilk kez 1-bit LLM LoRA ince ayarı gerçekleştirir. Performans açısından, BitNet modelleri mobil GPU'da CPU'ya göre 2 ila 11 kat daha hızlı çıkarım yapar ve geleneksel 16-bit modellere kıyasla bellek kullanımını en fazla %77,8 oranında azaltır.
Tether, bu teknolojinin yüksek performanslı hesaplama ve bulut altyapısına olan bağımlılığı kırarak AI eğitiminin merkeziyetsizleştirilmesine ve yerelleştirilmesine katkı sağlayacağını ve federasyonlu öğrenme gibi yeni uygulama alanlarına temel oluşturacağını belirtti.