Ipinakilala ng Amazon Web Services ang TorchNeuron noong Lunes upang tulungan ang mga AI startup na ilipat ang kanilang mga aplikasyon sa mga Trainium chip ng Amazon. Ang kasangkapan ay nagtutol sa software advantage na nakatulong na gawing default na hardware choice ang Nvidia para sa mga AI application. Sinasabi ng Amazon na pinapayagan ng TorchNeuron ang mga aplikasyon na isulat gamit ang PyTorch na mag-run sa Trainium sa pamamagitan ng pagbabago ng isang linya ng konfigurasyon, nang walang pagbabago sa code.
Ang PyTorch ay isang libre at open-source na toolkit para sa pagbuo, pag-train, at pagpapatakbo ng mga AI model. Sabi ng Amazon, tungkol sa 85% ng mga AI application ay isinulat gamit ang PyTorch. Unang inilikha ng Facebook ang PyTorch, na bahagi na ng Linux Foundation simula noong 2022. Pinapanatili ng Linux Foundation ang mga open-source project. Ginugol ng Nvidia ang maraming taon upang siguraduhin na ang CUDA, ang software infrastructure para sa pagpapatakbo ng mga application sa Nvidia hardware, ay suportahan nang walang problema ang mga PyTorch application. Dahil dito, ang Nvidia hardware ay naging malalim na nakapaloob sa PyTorch, halos sa pamamagitan ng default.
Ang TorchNeuron ay nabawasan mula sa PyTorch, kaya ang mga developer na pamilyar sa PyTorch ay alam na kung paano gamitin ang TorchNeuron. Maaari rin ang mga user ng PyTorch na ilipat ang mga aplikasyon sa AMD GPUs o mga chip ng Apple sa pamamagitan ng isang simpleng pagbabago ng konfigurasyon. Gayunpaman, sinasabing ni Amazon na ang paglipat sa Trainium ay nagbibigay din ng access sa buong cloud ng Amazon para sa mga AI startup. Ikinukwento ng AWS na mas mabuting pagpipilian ang AWS para sa mga startup kaysa sa mga espesyalisadong cloud provider tulad ng Coreweave, Nebius at Firmus, na nakadepende sa Nvidia hardware.
Si Colin Brace ay vice president ng Technology Software sa AWS Annapurna Labs, ang yunit na gumagawa ng mga custom chip ng Amazon. Sinabi ni Brace na kasalukuyang binibigay ng AWS ang infrastraktura na kailangan ng mga founder upang lumipat mula sa mga prototype patungo sa produksyon at palawakin ang mga operasyon kapag kinakailangan. Sinasabi ng AWS na ang Trainium ay naghahandle ng parehong pag-train at inference ng model, kapag natapos na ang mga model at nagpapagana ng mga gawain tulad ng pag-sagot sa mga tanong ng mga user. Sinasabi ng AWS na ang paggamit ng parehong chip para sa parehong gawain, na malapit na i-integrate sa cloud infrastructure, ay magliligtas sa pera ng mga startup kahit hindi ito ang pinakamura sa bawat token. Sinabi ni Brace na ang Trainium ay nagpapabuti sa gastos sa buong workload sa pamamagitan ng price-performance at isang solong platform para sa pag-train at inference. Sinabi ni Brace na ang Deepgram ay lumipat sa Trainium gamit ang native PyTorch support at nagproseso ng 70% higit pa sa audio bawat dolyar sa production-grade accuracy. Nagbibigay ang Deepgram ng AI voice applications at nagsisilbing kalaban ng ElevenLabs.
Sabi ng Amazon na ang kumpanya ay nagtatrabaho upang gawing mas maliit ang automatikong pagkakasentro ng PyTorch sa Nvidia. Sabi ng Amazon na magtatampok ang kumpanya ng code sa pangunahing proyekto ng PyTorch upang suportahan ang pagsisikap na ito. Sinasabi ng pahayag ng Amazon na nagtatrabaho sila sa komunidad ng PyTorch upang alisin ang code na nag-uugnay sa framework sa mga partikular na chip. Sabi ng Amazon na ang layunin ay gawing mas maliit ang pagkakadepende ng PyTorch sa partikular na hardware para sa lahat ng developer, hindi lamang para sa mga gumagamit ng Trainium.
Ang pagsisikap na ito ay nakakatulong sa mga provider ng hardware at cloud na kumikita kay Nvidia. Gayunpaman, ang PyTorch ay bahagyang inilahad upang protektahan ang mga developer mula sa mga hirap sa pagpapatakbo ng AI code sa hardware. Ang pagbabawas ng pagkakasalalay ng PyTorch sa Nvidia ay maaaring magbigay ng higit pang pagpipilian at mas abot-kaya mga opsyon, gaya ng ipinangako ni Amazon, o gumawa ng higit pang mga problema sa konfigurasyon. Ang matagumpay na paghihiwalay ng PyTorch mula sa Nvidia ay maaaring magdulot ng mas malalaking epekto sa Nvidia kaysa sa kompetisyon lamang mula sa iba pang mga tagagawa ng chip. Ipinakita ni Brace ang pagsisikap na ito bilang pag-alis ng mga paghihigpit na nagbawal sa mga developer na magkaroon ng totoong pagpipilian.
Inilunsad ng Amazon ang TorchNeuron upang hamunin ang dominasyon ng Nvidia sa AI software
FLASH AII-share
Summary
Kinilala ni Amazon ang TorchNeuron, isang bagong kasangkapan para sa mga developer ng AI upang jalurin ang mga app na PyTorch sa mga chip na AWS Trainium gamit ang minimum na pagbabago sa code. Binabawasan ng kasangkapan ang pagkakasalig ng PyTorch sa software na CUDA ng Nvidia. Sabi ni AWS, maaaring magpalit ang mga developer sa Trainium gamit ang isang linya ng konfigurasyon. Mag-aambag din ang kumpanya ng code sa PyTorch upang gawing mas maliit ang pagkakasalig nito sa hardware. Maaaring bawasan ng mga startup na gumagamit ng Trainium para sa pag-train at pag-infer ang mga gastos. Ikinahayag ni Deepgram ang 70% pagtaas sa pagproseso ng audio bawat dolyar pagkatapos ng pagpapalit. Ipinapakita ng balitang AI + crypto na ito ang paglalakbay ni AWS patungo sa on-chain news at AI infrastructure.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.