- Tether’ın BitNet LoRA çerçevesi, AI model eğitiminin akıllı telefonlar, GPU’lar ve tüketici cihazları üzerinde yapılmasını sağlar.
- Sistem, bellek kullanımını azaltır ve performansı artırır, VRAM gereksinimlerini %77,8 oranında düşürür.
- Kullanıcılar, kenar AI yeteneklerini genişleterek mobil cihazlarda 13 milyar parametreye kadar modelleri ince ayarlayabilir.
Tether announced, QVAC Fabric platformı aracılığıyla yeni bir AI çerçevesini duyurdu ve tüketici cihazlarında çapraz platform BitNet LoRA eğitimi imkânı sağladı. Bu güncelleme, milyarlarca parametreli modellerin akıllı telefonlarda ve GPU’larda çalıştırılmasını mümkün kılıyor. CEO Paolo Ardoino, geliştirme hakkında bilgi paylaştı ve maliyetlerdeki azalma ile AI araçlarına daha geniş erişimi vurguladı.
Çapraz Platformlu Yapay Zeka Eğitimi Erişimi Genişletiyor
QVAC Fabric güncellemesi, BitNet LoRA ince ayar için çapraz platform desteği sunuyor. Bu, AI modellerinin farklı donanım ve işletim sistemlerinde çalışmasını sağlıyor.
Özellikle, çerçeve AMD, Intel ve Apple'dan GPU'ları, mobil çipsetleri de dahil olmak üzere destekler. Ayrıca uyumluluk için Vulkan ve Metal arka uçlarını kullanır.
Tether'e göre, bu ilk kez BitNet LoRA bu kadar geniş bir cihaz aralığında çalışıyor. Bu sayede kullanıcılar günlük donanımlarda modeller eğitebiliyor.
Tüketici Donanımında Performans Artışları
Sistem, BitNet ve LoRA tekniklerini birleştirerek bellek ve hesaplama gereksinimlerini azaltır. BitNet, model ağırlıklarını basitleştirilmiş değerlere sıkıştırırken, LoRA eğitilebilir parametreleri sınırlar.
Bu yöntemler birlikte donanım gereksinimlerini önemli ölçüde azaltır. Örneğin, GPU çıkarımı mobil cihazlarda CPU'ya göre iki ila on bir kat daha hızlı çalışır.
Ayrıca, tam hassasiyetli modellere kıyasla bellek kullanımı keskin bir şekilde azalıyor. Benchmarklar, karşılaştırılabilir sistemlere göre VRAM kullanımında %77,8'e kadar azalma gösteriyor.
Tether, akıllı telefonlarda ince ayarlamayı de gösterdi. Testler, Samsung S25 gibi cihazlarda dakikalar içinde 125 milyon parametreli modellerin eğitildiğini gösterdi.
Mobil ve kenar cihazları daha büyük modelleri işliyor
Çerçeve, daha büyük modellerin kenar cihazlarında çalışmasını sağlar. Tether, iPhone 16 üzerinde 13 milyar parametreye kadar olan modellerin başarıyla ince ayarlandığını bildirdi.
Ayrıca sistem, Adreno, Mali ve Apple Bionic gibi mobil GPU'ları destekler. Bu, AI geliştirme alanını özel donanımlara sınırlamadan genişletir.
Paolo Ardoino'ya göre, AI geliştirme genellikle pahalı altyapıya bağlıdır. O, bu çerçevenin yetenekleri yerel cihazlara doğru kaydırdığını söyledi.
Tether, sistemin merkeziyetçi platformlara olan bağımlılığı azalttığını ve kullanıcıların verileri cihazlarında doğrudan eğitebileceğini ve işleyebileceğini ekledi.