- Rangka kerja BitNet LoRA Tether membolehkan latihan model AI merentas telefon pintar, GPU, dan peranti pengguna.
- Sistem ini mengurangkan penggunaan memori dan meningkatkan prestasi, dengan keperluan VRAM sehingga 77.8% lebih rendah.
- Pengguna boleh menyesuaikan model hingga 13B parameter di peranti mudah alih, memperluas kemampuan AI tepi.
Tether mengumumkan kerangka AI baharu melalui platform QVAC Fabric, membolehkan latihan BitNet LoRA silang platform pada peranti pengguna. Kemas kini ini membenarkan model berparameter bilion berjalan pada telefon pintar dan GPU. CEO Paolo Ardoino berkongsi pembangunan ini, menekankan pengurangan kos dan akses yang lebih luas kepada alat AI.
Latihan AI Silang Platform Memperluas Akses
Kemas kini Fabrik QVAC memperkenalkan sokongan silang platform untuk penyesuaian LoRA BitNet. Ini membolehkan model AI berjalan di pelbagai peranti keras dan sistem pengendalian.
Secara ketara, kerangka kerja ini menyokong GPU dari AMD, Intel, dan Apple, termasuk chipset mudah alih. Ia juga menggunakan latar belakang Vulkan dan Metal untuk kesesuaian.
Menurut Tether, ini adalah kali pertama BitNet LoRA berfungsi di sejumlah peranti yang luas. Akibatnya, pengguna boleh melatih model pada peranti harian.
Peningkatan Prestasi Pada Peranti Pengguna
Sistem ini mengurangkan keperluan memori dan pengiraan dengan menggabungkan teknik BitNet dan LoRA. BitNet mengkompresi berat model menjadi nilai yang disederhanakan, manakala LoRA membatasi parameter yang boleh dilatih.
Secara bersama-sama, kaedah-kaedah ini menurunkan keperluan peranti keras dengan ketara. Sebagai contoh, inferens GPU berjalan dua hingga sebelas kali lebih pantas berbanding CPU pada peranti mudah alih.
Selain itu, penggunaan memori menurun tajam berbanding model presisi penuh. Ujian menunjukkan penggunaan VRAM sehingga 77.8% lebih rendah berbanding sistem sepadan.
Tether juga menunjukkan penyesuaian halus pada telefon pintar. Ujian menunjukkan model dengan 125 juta parameter dilatih dalam beberapa minit pada peranti seperti Samsung S25.
Peranti mudah alih dan tepi menangani model yang lebih besar
Rangka kerja ini membolehkan model yang lebih besar berjalan pada peranti tepi. Tether melaporkan penyesuaian halus yang berjaya pada model sehingga 13 bilion parameter di iPhone 16.
Selain itu, sistem ini menyokong GPU mudah alih seperti Adreno, Mali, dan Apple Bionic. Ini memperluas pembangunan AI melampaui peranti khas.
Menurut Paolo Ardoino, pembangunan AI sering bergantung pada infrastruktur yang mahal. Beliau berkata kerangka ini mengalihkan kemampuan ke peranti tempatan.
Tether menambahkan bahawa sistem ini mengurangkan ketergantungan kepada platform terpusat. Ia juga membenarkan pengguna melatih dan memproses data secara langsung pada peranti mereka.