PANews, 21 Mart'ta, resmi duyuruya göre Tether, Microsoft BitNet (1-bit LLM) için eğitim ve çıkarım optimizasyonu sağlayan çok platformlu BitNet LoRA ince ayar çerçevesini QVAC Fabric içinde tanıttı. Bu çerçeve, hesaplama gücü ve bellek gereksinimlerini önemli ölçüde azaltarak milyar parametreli modellerin dizüstü bilgisayarlar, tüketici düzeyi GPU'lar ve akıllı telefonlarda eğitimini ve ince ayarını mümkün kılıyor. Bu çözüm, BitNet modellerinin mobil GPU'larda (Adreno, Mali ve Apple Bionic dahil) ince ayarını ilk kez gerçekleştirdi. Testler, 125M parametreli modelin yaklaşık 10 dakikada, 1B modelin yaklaşık 1 saatte ince ayarlandığını gösterdi; hatta akıllı telefonlarda 13B parametreli modele kadar genişletilebilir. Ayrıca, bu çerçeve Intel, AMD ve Apple Silicon gibi heterojen donanımları destekliyor ve NVIDIA olmayan cihazlarda 1-bit LLM LoRA ince ayarını ilk kez mümkün kılıyor. Performans açısından, BitNet modellerinin mobil GPU'daki çıkarım hızı CPU'ya göre 2 ila 11 kat arasında artış gösterirken, bellek kullanımında geleneksel 16-bit modellere kıyasla en fazla %77,8 oranında azalma sağlanıyor. Tether, bu teknolojinin yüksek performanslı hesaplama ve bulut altyapısına olan bağımlılığı kırarak AI eğitimini merkeziyetsizleştirme ve yerelleştirme yönünde ilerlemeyi sağlayacağını ve federasyonlu öğrenme gibi yeni uygulama alanlarına temel oluşturacağını belirtti.
Tether, Tüketici Cihazlarında Milyar Parametreli Model Eğitimİ için Çapraz Platformlu BitNet LoRA Çerçevesini Başlatıyor
PANewsPaylaş
Özet
Tether, zincir içi haberler ve kripto haberler için çok platformlu bir BitNet LoRA çerçevesini duyurdu ve bu çerçeve, tüketici donanımlarında Microsoft'un 1-bit BitNet modellerinin eğitilmesini sağlıyor. Bu araç, milyarlarca parametreli modellerin dizüstü bilgisayarlar, akıllı telefonlar ve Adreno, Mali ile Apple Bionic gibi GPU'lar üzerinde çalışmasını mümkün kılıyor. 1 milyar parametreli bir modelin ince ayarlanması yaklaşık bir saat sürüyor. Sistem, Intel, AMD ve Apple Silicon'u destekliyor ve bu sayede 1-bit LLM LoRA ayarı ilk kez NVIDIA dışı cihazlara getiriliyor. BitNet modelleri, mobil GPU'larda CPU'lara kıyasla 2–11 kat daha hızlı çalışıyor ve 16-bit sürümlerine göre %77,8 daha az bellek kullanıyor. Tether, bu teknolojinin bulut bağımlılığını azaltarak merkeziyetsiz AI eğitimi sağlamayı amaçladığını iddia ediyor.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.