Ayon kay Paolo Ardoino, CEO ng Tether, ang Tether AI team ay naglabas ng bagong bersyon ng QVAC Fabric na may integrasyon ng cross-platform na BitNet LoRA framework, na nagpapahintulot sa pag-train at pag-infer ng malalaking modelo na may bilyon-bilyon na parameter sa consumer-grade na GPU at smartphone. Ang bagong QVAC Fabric LLM ay unang nagawa ang pag-micro-adjust at pag-infer ng BitNet LoRA sa AMD, Intel, Apple Metal, at mobile GPU. Sa mga flagship device, ang GPU inference speed ay nagsikat ng 2 hanggang 11 beses kumpara sa CPU, at ang memory usage ay bumaba ng hanggang 90% kumpara sa full-precision model. Ang Tether team ay nakapag-completo na ng pag-micro-adjust ng modelo na may hanggang 3.8 bilyon na parameter sa Pixel 9, S25, at iPhone 16, at nakapag-infer ng modelo na may hanggang 13 bilyon na parameter sa iPhone 16. Ang kaugnay na code ay naging open source na sa GitHub.
Tether ay Naglunsad ng Cross-Platform BitNet LoRA Framework para sa Consumer GPUs at Smartphones
TechFlowI-share
Summary
Ipinahayag ng Tether ang paglunsad ng updated na QVAC Fabric by Tether AI, na may cross-platform na BitNet LoRA framework. Pinapayagan ng framework na ito ang pagpapatakbo ng mga modelong may bilyong parameter sa consumer GPUs at smartphone. Suportado ng bagong LLM ang AMD, Intel, Apple Metal, at mobile GPUs, na may inference speeds na 2 hanggang 11 beses na mas mabilis kaysa sa CPU at 90% mas kaunting paggamit ng memorya. Fine-tuned ng Tether ang 3.8 bilyon at 130 bilyon parameter models sa mga device tulad ng iPhone 16. Bukas na ang code sa GitHub. Ipinapakita ng on-chain news ang malaking update na ito. Maaaring makatulong ang pag-unlad na ito sa AI sa mga bagong listahan ng token.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.