Tether Melancarkan Kerangka Kerja BitNet LoRA Antarplatform untuk Latihan Model Berparameter Miliaran pada Peranti Pengguna

PANews 21 Mac, menurut pengumuman rasmi, Tether mengumumkan pelancaran kerangka penyesuaian halus BitNet LoRA lintas platform dalam QVAC Fabric, untuk mengoptimumkan latihan dan inferens Microsoft BitNet (1-bit LLM). Kerangka ini secara ketara mengurangkan keperluan pengiraan dan memori, membolehkan model berparameter bilionan dilatih dan disesuaikan halus di atas laptop, GPU peringkat pengguna, dan telefon pintar. Penyelesaian ini pertama kali mencapai penyesuaian halus model BitNet pada GPU mudah alih (termasuk Adreno, Mali, dan Apple Bionic). Ujian menunjukkan model 125M parameter boleh disesuaikan halus dalam tempoh kira-kira 10 minit, model 1B dalam tempoh sekitar 1 jam, dan bahkan boleh dikembangkan hingga model 13B parameter di telefon pintar. Selain itu, kerangka ini menyokong peranti heterogen seperti Intel, AMD, dan Apple Silicon, serta pertama kali mencapai penyesuaian halus LoRA 1-bit LLM pada peranti bukan NVIDIA. Dari segi prestasi, kelajuan inferens model BitNet pada GPU mudah alih meningkat 2 hingga 11 kali ganda berbanding CPU, sambil mengurangkan penggunaan memori video sehingga 77.8% berbanding model 16-bit tradisional. Tether menyatakan teknologi ini berpotensi memutuskan ketergantungan kepada kekuatan pengiraan tinggi dan infrastruktur awan, mendorong latihan AI ke arah desentralisasi dan lokalisasi, serta menyediakan asas untuk aplikasi baru seperti pembelajaran federasi.