Tether ay Naglunsad ng Cross-Platform BitNet LoRA Framework para sa Pag-train ng Billion-Parameter Model sa mga Consumer Device

PANews, 21 Mar — Ayon sa opisyal na pahayag, inihayag ng Tether ang paglunsad ng cross-platform BitNet LoRA fine-tuning framework sa loob ng QVAC Fabric, na nagpapabuti sa pag-train at inference ng Microsoft BitNet (1-bit LLM). Ang framework na ito ay nagsasabog ng malaking pagbawas sa pangangailangan sa computing power at memory, na nagpapahintulot sa mga modelong may bilyong parameter na matuturuan at mafine-tune sa laptop, consumer-grade GPU, at smartphone. Ito ang unang solusyon na nagpapahintulot sa fine-tuning ng BitNet models sa mobile GPU (kabilang ang Adreno, Mali, at Apple Bionic). Ayon sa mga pagsubok, ang 125M parameter model ay maaaring mafine-tune sa loob ng halos 10 minuto, habang ang 1B model ay nai-complete sa halos 1 oras, at maaari pang i-extend sa mobile hanggang sa 13B parameter model. Dagdag pa rito, suportado ng framework ang heterogenous hardware tulad ng Intel, AMD, at Apple Silicon, at ito ang unang pagkakataon na nagawa ang 1-bit LLM LoRA fine-tuning sa mga device na hindi NVIDIA. Sa aspeto ng performance, ang inference speed ng BitNet models sa mobile GPU ay 2 hanggang 11 beses na mas mabilis kaysa sa CPU, samantalang ang memory usage ay bumaba ng hanggang 77.8% kumpara sa tradisyonal na 16-bit models. Sinabi ng Tether na ang teknolohiyang ito ay may potensyal na sirain ang pagkakadepende sa mataas na computing power at cloud infrastructure, at magpapalaganap ng AI training patungo sa decentralization at localization, habang binibigyan ng pundasyon ang mga bagong aplikasyon tulad ng federated learning.