- Ang BitNet LoRA framework ni Tether ay nagpapahintulot sa pag-train ng AI model sa mga smartphone, GPU, at consumer devices.
- Binabawasan ng sistema ang paggamit ng memorya at pinapabuti ang performance, na may mas mababang pangangailangan sa VRAM hanggang 77.8%.
- Maaaring mag-fine-tune ang mga user sa mga modelo hanggang 13B na parameter sa mga mobile device, na nagpapalawak sa mga kakayahan ng edge AI.
Tether inilabas ang isang bagong AI framework sa pamamagitan ng kanyang QVAC Fabric platform, na nagpapahintulot sa cross-platform na BitNet LoRA training sa mga consumer device. Pinapayagan ng update na tumakbo ang mga modelong may bilyong parameter sa mga smartphone at GPU. Ibinahagi ni CEO Paolo Ardoino ang pag-unlad, na nagbibigay-diin sa pagbaba ng gastos at mas malawak na pagkakataon sa mga AI tool.
Ang Cross-Platform AI Training ay Nagpapalawak ng Pagkakataon
Ang QVAC Fabric update ay naglalabas ng cross-platform support para sa BitNet LoRA fine-tuning. Ito ay nagpapahintulot sa AI models na mag-run sa iba’t ibang hardware at operating systems.
Kilala na ang framework ay sumusuporta sa GPUs mula sa AMD, Intel, at Apple, kabilang ang mga mobile chipset. Gumagamit ito rin ng Vulkan at Metal backends para sa compatibility.
Ayon sa Tether, ito ang unang beses na gumagana ang BitNet LoRA sa isang malawak na sakop ng mga device. Bilang resulta, maaaring mag-train ang mga user ng mga model sa karaniwang hardware.
Mga Pagpapabuti sa Paggawa sa Consumer Hardware
Binabawasan ng sistema ang pangangailangan sa memorya at compute sa pamamagitan ng pagpagsasama ng mga teknik na BitNet at LoRA. Binabawasan ng BitNet ang mga timbang ng model sa simplified na mga halaga, habang limitado ng LoRA ang mga trainable na parameter.
Magkasama, ang mga paraan na ito ay bawasan ang mga pangangailangan sa hardware nang malaki. Halimbawa, ang GPU inference ay dalawang hanggang labing-isang beses na mas mabilis kaysa sa CPU sa mga mobile device.
Dagdagan pa, bumababa nang malaki ang paggamit ng memorya kumpara sa mga modelo na may buong-precisyon. Ipinakikita ng mga benchmark na hanggang 77.8% mas kaunti ang paggamit ng VRAM kaysa sa mga katumbas na sistema.
Ipakita rin ng Tether ang pagpapabuti sa mga smartphone. Ipakita ng mga pagsubok na ang mga modelo na may 125 milyong parameter ay natututo sa minuto sa mga device tulad ng Samsung S25.
Mas malalaking modelo ang trato ng mobile at edge devices
Nagpapahintulot ang framework na tumakbo ang mas malalaking modelo sa mga edge device. Ipinahayag ng Tether ang tagumpay na fine-tuning ng mga modelo hanggang 13 bilyon na parameter sa iPhone 16.
Dagdag pa, ang sistema ay sumusuporta sa mga mobile GPU tulad ng Adreno, Mali, at Apple Bionic. Ito ay nagpapalawak sa AI development labas sa mga espesyalisadong hardware.
Ayon sa Paolo Ardoino, madalas na nakasalalay ang pag-unlad ng AI sa mahal na imprastruktura. Sinabi niya na ang framework na ito ay nagpapalipat ng mga kakayahan patungo sa mga lokal na device.
Dinagdagan ng Tether na ang sistema ay nagbabawas sa pagkakasalalay sa mga sentralisadong platform. Ito ay nagpapahintulot din sa mga gumagamit na itrain at prosesuhin ang data nang direkta sa kanilang mga device.