Ang CEO ng Nvidia, si Jensen Huang, ay may kakayahang magpakita ng teatral. Sa isang kamakailang presentasyon, inilabas niya ang isang AI computer na nagkakahalaga ng $249 mula sa isang apoy sa kusina, dahil tila ganito ang paraan ng paglunsad ng hardware kapag ang halaga mo ay $100B+. Ang device, na tinatawag na Jetson Orin Nano Super Developer Kit, ay disenyo upang patakbuhin ang mga malalaking language model nang lokal, walang kailangan ng cloud subscription.
Simpleng pitch: patakbuhin ang mga AI model tulad ng Llama 3, Mistral, Gemma, at DeepSeek sa isang kompaktong kahon na nakaupo sa iyong mesa. Walang paulit-ulit na bayarin sa API. Walang pagpapadala ng iyong data sa server ng iba. Just plug it in and go.
Ano talaga ang nasa loob nito
Ang Jetson Orin Nano Super ay nagpapagana ng 67 hanggang 70 TOPS, o trilyon na operasyon bawat segundo, habang gumagamit lamang ng 25 watts ng kapangyarihan. Para sa konteksto, iyon ay halos katumbas ng paggamit ng enerhiya ng isang karaniwang liwanag. Ang device ay may 8 GB ng memorya na may bandwidth na 1,023 GB/s.
Sinasabi ng Nvidia na dublado nito ang performance nito sa nakaraang bersyon, ang orihinal na Jetson Orin Nano, habang ibinibigay ang 50% higit na memory bandwidth. Ito ay isang makabuluhang pagtaas para sa isang device sa parehong presyo.
Kahit ang Nvidia ay nagsasabi na ang device ay kayang harapin ang mga workflow na dati ay nasa sakop ng mga mas malaking HGX AI supercomputer nito.
Bakit mahalaga ang lokal na AI, lalo na para sa crypto
Local inference, o ang pagpapatakbo ng mga AI model sa iyong sariling hardware kesa sa pamamagitan ng isang cloud provider, ay direktang tumutugon sa dalawang pag-aalala na mahalaga sa komunidad ng cryptocurrency: data privacy at decentralization. Kapag pinapatakbo mo ang model sa lokal, ang iyong mga prompt at data ay hindi naglalabas ng iyong machine. Walang third-party API na nagsasalba ng iyong mga query o nagpupupulot ng iyong mga input para sa training data.
Mahalaga ito para sa mga decentralized AI project na nagbuo sa mga network tulad ng Bittensor, Render, o Akash. Ang mga protokol na ito ay nagtatangkang lumikha ng distributed computing marketplaces kung saan ang mga indibidwal ay nag-aambag ng GPU power sa palitan para sa token rewards. Isang $249 entry point para sa kakayahang AI hardware ay maaaring malaki pang palawakin ang pool ng mga kalahati sa mga network na ito.
Ang pag-alis ng mga paulit-ulit na bayarin sa API ay isa pang aspeto na dapat subaybayan. Ang OpenAI, Anthropic, at Google ay nagbabayad per-token para sa kanilang cloud-based na mga modelo. Para sa mga crypto project na nag-iintegrate ng AI functionality, kahit para sa trading bot, pag-audit ng smart contract, o on-chain analytics, mabilis na dumadami ang mga gastos. Isang isang-time na pamumuhunan na $249 na maaaring patakbuhin ang katumbas na open-source na mga modelo sa lokal ay isang pangunahing iba’t ibang ekonomikong proporsiyon.
Ano ang ibig sabihin nito para sa mga investor
Para sa mas malawak na merkado ng AI hardware, ito ay nagtataguyod ng bagong benchmark. Kailangan ng mga kalaban ngayon na sagutin ang isang simpleng tanong: kayang kumita ba nila ang 67 hanggang 70 TOPS sa 25 watts para sa $249?
Ang panganib na dapat subaylan ay kung kaya ba ng lokal na mga modelo na manatili sa antas ng cloud-hosted na frontier models sa kahusayan. Ang pagpapatakbo ng Llama 3 sa isang device na $249 ay nakakapanumbalik, ngunit hindi ito GPT-4. Para sa maraming paggamit, lalo na sa DeFi at pagtitingin, mahalaga pa rin ang pagkakaiba sa kalidad sa pagitan ng lokal na open-source models at ang pinakabagong cloud models.