Tether ay Naglunsad ng AI Framework para sa Pagtratrabaho ng Smartphone Model

Mga Pangunahing Kaalaman

• Tether ay naglunsad ng isang framework na nagpapahintulot sa pag-train ng malalaking wika model sa mga smartphone.
• Ginamit ng sistema ang BitNet architecture at LoRA fine-tuning upang bawasan ang mga pangangailangan sa compute.
• Dagdagan ng mga kumpanya sa crypto ang kanilang paggastos sa AI infrastructure at high-performance computing.

Tether inilabas ang isang bagong framework para sa pagtatrain ng artificial intelligence noong Martes na nagpapahintulot sa mga malalaking language model na mag-run at mag-fine-tune sa consumer hardware. Ang sistema ay bahagi ng QVAC platform ng kumpanya at sumusuporta sa mga smartphone kasama ang ilang non-Nvidia processors. Iminungkahi ng mga inhinyero ang framework upang bawasan ang mga pangangailangan sa memorya, kaya mas mababa ang hadlang sa gastos para sa pagbuo at pagsubok ng language models.

Ang paglunsad ay naganap habang ang mga kumpanya sa crypto infrastructure ay lumalalim sa pag-unlad ng artificial intelligence at mga merkado ng compute. Ang Tether, tagapaglabas ng pinakamalaking stablecoin batay sa market capitalization, inilarawan ang paglunsad bilang isang pagtatangka na i-decentralize ang mga kakayahan sa machine-learning. Ang kumpanya ay nag-argumen na ang pagpapahintulot sa pag-train ng model sa mga madaling maabot na hardware ay maaaring mabawasan ang pagkakasalalay sa mga sentralisadong cloud provider.

Ang pagpapahayag ni Tether ay inilarawan ang framework bilang isang training environment na binuo sa pamamagitan ng BitNet architecture ni Microsoft. Ang disenyo ay gumamit ng one-bit neural network structures kasama ang LoRA fine-tuning methods, na nagpapahintulot sa mga developer na ayusin ang mga model habang nananatiling mababa ang mga pangangailangan sa compute.

Sinabi ng mga inhinyero ng kumpanya na tinuruan ng sistema ang mga modelo ng wika na may hanggang isang bilyon na parameter sa mga smartphone sa loob ng higit sa dalawang oras. Ang mas maliit mga modelo ay sinasabing natapos ang pagtuturo sa loob ng ilang minuto kapag pinahusay sa parehong paraan. Sinabi rin ng kumpanya na suportado ng platform ang mga modelo na umabot sa tatlumpu’t tatlong bilyon na parameter sa mga mobile device.

Ginawa ng mga inhinyero ang sistema upang magtrabaho sa iba’t ibang hardware ecosystem kaysa mag-asa sa mga chip ng Nvidia. Suportahan ng framework ang mga processor ng AMD, arkitektura ng Intel, mga sistema ng Apple Silicon, at mga mobile graphics processor mula sa Qualcomm at Apple. Ang katangiang ito ay nagpalawak ng pagkakataon para sa pagsubok sa machine-learning sa labas ng tradisyonal na mga high-performance computing cluster.

Ang teknikal na disenyo ay nagbawas din ng mga kahilingan sa memorya ng graphics kumpara sa mga standard na modelo. Ipinaliwanag ng mga resulta ng panloob na inhenyeriya na ang BitNet architecture ay bumawas ng hanggang 77.8% sa paggamit ng VRAM kumpara sa mga katumbas na 16-bit na sistema.

Sinabi ng Tether na ang arkitektura ay nagpapahintulot sa LoRA fine-tuning sa hardware sa labas ng Nvidia ecosystem. Noong nakaraan, nakadepende ang mga developer sa mga graphics processor ng Nvidia para sa mga training workload dahil ang mga chip na ito ay epektibong nag-aalaga ng malalaking tensor calculations. Sinubukan ng mga inhinyero ng Tether na tanggalin ang limitasyong ito sa pamamagitan ng pagpapahintulot sa mga low-bit training methods sa alternatibong processor.

Ang kumpanya ay nag-argumenta na ang arkitektura ay nagpabuti rin sa mga bilis ng inference para sa mobile workloads. Ang mga pagsubok ay nagpakita na ang mga mobile graphics processor ay nagproseso ng mga BitNet model nang ilang beses na mas mabilis kaysa sa karaniwang central processing units. Ang pagkakaiba na ito ay nagbigay-daan para sa mga model na tumakbo sa lokal na mga handheld device kesa sa paghingi ng remote cloud infrastructure.

Ang mga developer ay nag-aral din ng mga distributed machine-learning method sa loob ng sistema. Tether ay inilarawan ang mga posibleng gamit ng mga federated learning model na i-update sa mga network ng mga independiyenteng device. Sa ilalim ng istrukturang iyon, natututo ang mga model mula sa lokal na data habang pinapanatili ang impormasyon sa bawat device kesa i-upload ito sa mga sentralisadong server.

Inirerekomenda ng kumpanya na ang pagkakasunod ay maaaring suportahan ang mga nakatuon sa privacy na kapaligiran sa pagtuturo. Nanatili ang data sa lokal, habang ang mga pag-update ng modelo lamang ang napapadala sa mga network. Ipinakikita ng arkitekturang ito ang mga trend sa loob ng mga decentralized computing system at distributed cryptographic networks.

Ang aktibidad sa merkado sa sektor ng mga digital na ari-arian ay nagpakita ng pagtaas sa pag-invest sa infrastruktura ng artificial intelligence. Lalo na ang mga kumpanya sa crypto ay patuloy na ginagamit muli ang kanilang computing capacity na dating binuo para sa blockchain operations patungo sa machine-learning workloads.

Ipinakita ng mga pampublikong dokumento na ang mga kumpanya sa teknolohiya ay nagtatag ng mga pagkakasundo upang matiyak ang computing power na kaugnay sa pangangailangan sa artificial intelligence. Isang kasunduan na inihayag noong Sept. ay nagbigay sa Google ng minority stake sa Cipher Mining bilang bahagi ng 10-taong kasunduan na may halagang $3 bilyon. Ang pagkakasundo ay nag-uugnay sa kapasidad ng data center sa mga pangangailangan sa artificial intelligence processing.

Nilathal ng mga pahayag ng korporasyon na ang mga kumpanya ng bitcoin mining ay nagdirekta rin ng kapital patungo sa mga serbisyo ng machine-learning. Noong Disyembre, ilarawan ng miner na IREN ang mga plano upang mag-angkat ng halos 3.6 bilyong dolyar upang palawakin ang infrastruktura para sa mga operasyon ng artificial intelligence.

Ang mga ulat sa kikitain ng mga korporasyon sa simula ng taon ay nagpapatibay sa parehong trend. Ibinahagi ng HIVE Digital Technologies ang kita na $93.1 milyon pagkatapos magpalawak ng kanyang mga serbisyo sa high-performance computing. Sa parehong panahon, nakakuha ang Core Scientific ng loan facility na $500 milyon mula sa Morgan Stanley upang suportahan ang paglago ng kanyang computing infrastructure.

Ang mga developer ay nag-experimenta rin sa mga autonomous artificial intelligence agents na integrado sa blockchain infrastructure. I-launch ng Coinbase ang mga wallet tools na nagpapahintulot sa software agents na mag-execute ng mga transaksyon nang direkta sa-chain. I-introduce ng Alchemy ang mga serbisyo na nagpapahintulot sa mga agent na makakuha ng blockchain data habang isinasagawa ang mga bayad sa pamamagitan ng stablecoin infrastructure.

Ang mga network ng identity ay nag-aral din ng ugnayan sa pagitan ng mga sistema ng artificial intelligence at digital verification. Ang World, ang identity network na itinatag ni Sam Altman, ang pangulo ng OpenAI, ay inilabas ang AgentKit noong nakaraang linggo. Ang toolkit ay nagbigay-daan sa mga software agent na patunayan ang kanilang koneksyon sa isang natatanging human identity sa pamamagitan ng World ID system.

Ang pinakabagong framework ng Tether ay pumasok sa parehong lumalawak na sektor kung saan nagtatagpo ang mga computing resources, machine learning, at blockchain systems.

Sinabi ng kumpanya na maaaring i-integrate ng mga developer ang mga kasangkapan sa pagsasanay sa mga distributed na aplikasyon at lokal na device nang hindi nakauukol sa sentralisadong server.

Ang susunod na pag-unlad para sa Tether’s artificial intelligence framework ay magiging batay sa pagtatanggap ng mga developer at pagsubok sa performance sa antas ng device. Malamang na susubaybayan ng mga inhinyero kung paano hinahandle ng QVAC platform ang mga malalaking model sa distributed consumer hardware sa mga darating na release.

Lumabas muna ang post Tether Unveils AI Framework Enabling Model Training on Smartphones sa The Coin Republic.