- Framework BitNet LoRA Tether memungkinkan pelatihan model AI di seluruh smartphone, GPU, dan perangkat konsumen.
- Sistem ini mengurangi penggunaan memori dan meningkatkan kinerja, dengan kebutuhan VRAM hingga 77,8% lebih rendah.
- Pengguna dapat menyesuaikan model hingga 13 miliar parameter di perangkat seluler, memperluas kemampuan AI edge.
Tether mengumumkan kerangka kerja AI baru melalui platform QVAC Fabric, memungkinkan pelatihan BitNet LoRA lintas platform di perangkat konsumen. Pembaruan ini memungkinkan model dengan miliaran parameter berjalan di smartphone dan GPU. CEO Paolo Ardoino membagikan pengembangan ini, menyoroti penurunan biaya dan akses yang lebih luas ke alat-alat AI.
Pelatihan AI lintas platform memperluas akses
Pembaruan QVAC Fabric memperkenalkan dukungan lintas platform untuk fine-tuning BitNet LoRA. Ini memungkinkan model AI berjalan di berbagai perangkat keras dan sistem operasi.
Secara khusus, kerangka kerja ini mendukung GPU dari AMD, Intel, dan Apple, termasuk chipset seluler. Ini juga menggunakan backend Vulkan dan Metal untuk kompatibilitas.
Menurut Tether, ini adalah pertama kalinya BitNet LoRA berfungsi di berbagai perangkat seluas ini. Akibatnya, pengguna dapat melatih model di perangkat sehari-hari.
Peningkatan Kinerja pada Perangkat Konsumen
Sistem mengurangi kebutuhan memori dan komputasi dengan menggabungkan teknik BitNet dan LoRA. BitNet memampatkan bobot model menjadi nilai yang disederhanakan, sementara LoRA membatasi parameter yang dapat dilatih.
Bersama-sama, metode-metode ini menurunkan kebutuhan perangkat keras secara signifikan. Sebagai contoh, inferensi GPU berjalan dua hingga sebelas kali lebih cepat daripada CPU pada perangkat seluler.
Selain itu, penggunaan memori turun tajam dibandingkan model presisi penuh. Hasil pengujian menunjukkan penggunaan VRAM hingga 77,8% lebih rendah dibanding sistem sebanding.
Tether juga menunjukkan fine-tuning pada smartphone. Uji coba menunjukkan model dengan 125 juta parameter dilatih dalam hitungan menit pada perangkat seperti Samsung S25.
Perangkat seluler dan edge menangani model yang lebih besar
Kerangka kerja ini memungkinkan model yang lebih besar berjalan di perangkat edge. Tether melaporkan keberhasilan fine-tuning model hingga 13 miliar parameter di iPhone 16.
Selain itu, sistem ini mendukung GPU seluler seperti Adreno, Mali, dan Apple Bionic. Ini memperluas pengembangan AI di luar perangkat keras khusus.
Menurut Paolo Ardoino, pengembangan AI sering bergantung pada infrastruktur yang mahal. Ia mengatakan kerangka ini menggeser kemampuan ke perangkat lokal.
Tether menambahkan bahwa sistem ini mengurangi ketergantungan pada platform terpusat. Sistem ini juga memungkinkan pengguna untuk melatih dan memproses data langsung di perangkat mereka.