Tether Meluncurkan Kerangka Kerja BitNet LoRA lintas platform untuk pelatihan model berparameter miliaran di perangkat konsumen

PANews, 21 Maret, menurut pengumuman resmi, Tether mengumumkan peluncuran kerangka kerja fine-tuning BitNet LoRA lintas platform di QVAC Fabric, yang mengoptimalkan pelatihan dan inferensi untuk Microsoft BitNet (1-bit LLM). Kerangka kerja ini secara signifikan mengurangi kebutuhan komputasi dan memori, memungkinkan model berparameter miliaran untuk dilatih dan disesuaikan di laptop, GPU konsumen, dan smartphone. Solusi ini pertama kali memungkinkan fine-tuning model BitNet pada GPU seluler (termasuk Adreno, Mali, dan Apple Bionic). Pengujian menunjukkan bahwa model 125M parameter dapat diselesaikan dalam sekitar 10 menit, model 1B dalam sekitar 1 jam, dan bahkan dapat diperluas hingga model 13B parameter di perangkat seluler. Selain itu, kerangka kerja ini mendukung perangkat hibrida seperti Intel, AMD, dan Apple Silicon, serta pertama kali mewujudkan fine-tuning LoRA 1-bit LLM pada perangkat non-NVIDIA. Dari segi kinerja, kecepatan inferensi model BitNet pada GPU seluler meningkat 2 hingga 11 kali dibanding CPU, sekaligus mengurangi penggunaan memori GPU hingga 77,8% dibanding model 16-bit tradisional. Tether menyatakan bahwa teknologi ini berpotensi mengurangi ketergantungan pada kekuatan komputasi tinggi dan infrastruktur cloud, mendorong pelatihan AI menuju desentralisasi dan lokalitas, serta menyediakan dasar untuk aplikasi baru seperti federated learning.