Ang AI Agent ay Nagre-replica ng CUDA-like na Software sa 10 Oras, Nagpapalabas ng Debate

CUDA ay muli at muli pang na-create…

Ang nagpapagawa ngayon ay ang AI na diretso na pinagbigyan ng NVIDIA.

Isang maliit na kumpanya na itinatag lamang sa isang taon, gamit ang AI programming agent, ay nagbuo ng isang “CUDA-like software” sa loob ng lamang 10 oras.

Huwag, huwag, huwag.

Ibig sabihin mo, ang software empire na itinayo ng NVIDIA sa loob ng halos 20 taon, ay nasusulit na ganito?

Hindi lang iyon. DeepSeek Nagsubok din na maliit ang pagkasulat ng ilang CUDA na paa.

Nilikha nila ang isang bukas na source na GPU operator library na tinatawag na TileKernels, na isinusulat gamit ang TileLang, na nag-iwas sa malaking dami ng pagkakasulat ng mga mababang antas na CUDA code.

Hindi naman ito ang unang beses na narinig namin ang katulad na “CUDA crisis”.

Sa bawat panahon, ang CUDA ay pinapakita bilang isang layunin—sinasabing nalilipat na, napapaglaban na, at ang mga batis ay muli nang napapalitan…

Totoo ba talaga?

Kapag binanggit ang NVIDIA, ang unang reaksyon ng marami ay ang GPU.

Ang H100, Blackwell, at Rubin, sa pamamagitan ng bawat henerasyon ng mas makapangyarihang chip, ay nagbigay sa NVIDIA ng pinakamalaking benepisyo mula sa kamakailang alon ng AI.

Ngunit ang tunay na mahirap pagdudulot na pangunguna ni NVIDIA ay hindi ang hardware, kundi ang software.

Maaaring bilhin ang chip, maari mong sundan ang mga parameter, at mag-iitera rin ang proseso. Ang tunay na dahilan kung bakit mahirap palitan ang NVIDIA pagkatapos gamitin ng customer ay ang buong software ecosystem na binuo paligid sa GPU.

At ang CUDA ay ang puso ng software empire na ito.

Ang CUDA ay ang pangkabuuang pangalan ng Compute Unified Device Architecture, na nilikha ng pamunuan ni Ian Buck, isang tagapagpaganap ng NVIDIA, sa loob ng halos 20 taon.

Madalas ito ay tinatawag na programming language, ngunit mas tumpak na sabihin, ang CUDA ay isang buong software platform na binuo sa paligid ng NVIDIA GPU.

Kung hihiwalay natin sa tatlong antas, ang pinakababa ay ang kernel layer, na direktang nagpapagawa sa chip ng kernel, compiler, at runtime.

Gitna ay ang library layer—mga mataas na pinag-optimisahang library tulad ng cuBLAS at cuDNN, kasama ang mga tool para sa debugging, pag-verify, at pag-analyze ng performance.

Sa pinakatuktok ay ang mga development framework tulad ng PyTorch at TensorFlow, ang malaking halaga ng code at workflow na nakumpuni ng mga negosyo, at ang developer ecosystem na umunlad sa paligid ng CUDA.

△

Maaaring mukhang abstrak na ito, ngunit isipin mo ang mga GPU ng NVIDIA bilang isang pabrika.

Ang CUDA ay naglalayong sabihin sa machine kung paano gawin ang bawat hakbang sa pinakamababang antas, ang gitnang antas ay nag-aalok ng mga handang gamitin na kasangkapan sa produksyon, at ang pinakamataas na antas ay isang buong sistema ng produksyon na nakapagpapatakbo na ng maraming taon.

Kaya para sa mga customer, hindi lang sila bumibili ng isang card ng NVIDIA, kundi isang factory na handa na gamitin.

Ngayon, si Jeremy Nixon, isang kapatid, ay dumarating kasama ang AI Agent.

Si Nixon ay ang tagapagtatag ng AI software startup na Infinity at dating researcher sa Google Brain.

Ang kanyang tim ay nag-develop ng isang AI research agent na tinatawag na Ignition, na espesyal na ginawa para mag-write ng底层 software para sa iba’t ibang AI chips.

Nakakagawa ito ng GPU Kernel, nagpapatakbo ng mga pagsubok, naghahanap ng mga error, nagmamarka ng performance, at awtomatikong isinusulat muli ang code batay sa mga resulta.

Ang mga inhinyero ng tao ang responsable sa pagbibigay ng mataas na direksyon, habang ang mga maliit at nakakapagod na gawain ay ipinapagawa sa Agent para sa paulit-ulit na siklo.

Nakapagbuo na ang Infinity ng isang CUDA-like software para sa d-Matrix, isang startup sa AI chip, gamit ang Ignition.

Nag-wasak lang ng 10 oras.

Ah??

Maaari na ba ang mga panaalangin na code na dati ay kailangang i-debug ng mga inhinyero ng software ng chip nang paulit-ulit?

Hindi talaga maaaring sabihing pure hype lang.

Ang AI Agent ay talagang angkop para sa ganitong uri ng programming task na may malinaw na feedback.

Maaaring makakuha ng sagot sa pamamagitan ng pagpapatakbo nito: kung maaari bang i-compile ang code, kung tama ang kalkulasyon, at kung nagkaroon ng pagpapabuti sa performance.

Kaya ang agent ay makakabuo ng isang buong saradong loop:

Isulat ang code → I-compile → I-run → Subukin ang kawastuhan at performance → I-update batay sa feedback

Gayunpaman, ang pangunahing layunin ng Infinity ay ang unang layer ng CUDA: ang pagbuo at pag-optimize ng inference Kernel para sa iba’t ibang chip, at ang pagbuo ng mga base software capability sa paligid ng mga kernel na ito.

Nagpapalawak ito ng isang pangkalahatang inference library na nakatuon sa iba’t ibang chip, ngunit hindi ito katumbas ng pagkopya ng buong ecosystem ng CUDA na nagtipon ng 20 taon sa loob ng 10 oras.

Ngunit…

Ngunit!

Hindi mo talaga kailangang kopyahin ang isang CUDA para makakuha ng $15 milyon na pagsasakay.

Ang kasalukuyang valuation ng kumpanya ay umabot na sa $100 milyon.

Hindi ko alam kung may banta ba sa NVIDIA, pero tiyak na binili ng kapital. (doge)

Kung ang AI Agent ay ang sandata para sa pag-atake sa kuta, ang reasoning market ay ang butas sa kuta.

Ang pagkalkula ng malalaking modelo ay pangunahing nahahati sa dalawang bahagi:

Ang pagtatrain ay paggawa ng modelo, kailangan ng libu-libong GPU na nagco-cooperate sa loob ng ilang buwan; ang inference naman ay paggamit ng naitrain na modelo para sagutin ang mga tanong, kaya lang ng maliit na cluster o kahit isang GPU.

Sa training side, ang CUDA ay kasalukuyang halos walang solusyon.

Ang malawakang pagtatrain ay napakasensitibo sa performance, stability, at cluster coordination. Ang komunikasyon sa pagitan ng mga chip, ang pag-schedule ng video memory, at ang paraan ng pagbabalik pagkatapos ng error—ang anumang pagkawala ng efficiency ay maaaring magdulot ng tunay na pagkawala ng oras at gastos kapag itinabas sa libu-libo o maging milyon-milyon na mga chip.

Kaya, ang mga negosyo ay kadalasang napakapag-iingat sa pagpili ng isang platform para sa pagtuturo.

Kahit na magandang mga parameter sa papel ang iba pang chips, kung ang software ay hindi pa sapat na matatag at ang cluster ay hindi pa stable, ang mga gastos sa hardware na napapagdaan ay maaaring mabayaran nang mas marami sa mga gastos sa pag-unlad at pagsubok.

Ngunit sa side ng inference, nagbago ang mga panuntunan ng laro.

Sa paniniwala ni Marshall Choy, Chief Business Officer ng Korean AI chip company na Rebellions:

Sa side ng inference, ang CUDA ay hindi na ang desisyon. Ito ay magiging isang pakikidigma sa open-source software.

Bakit hinahabol ng mga kalaban ang inference?

Dahil ang pagtatrabaho ay nakatuon sa "pinakamataas na performance," samantalang ang pagpapaliwanag ay nakatuon sa "gastos bawat sagot."

Ang pagtatrain ay nangangailangan ng libo-libo ng mga GPU na nagkakasundo, habang ang inference ay maaaring i-split sa maliit na cluster o kahit isang GPU; hindi magkakaroon ng pagbabago ng chip sa pagtatrain, ngunit maaari sa inference.

Kahit anong uri, kung mabilis at murang mag-run, ay handa ang mga kliyente na subukan.

Mas mahalaga pa, ang software na pang-reason ay maaaring mag-run sa iba't ibang chip. Kung ang inference framework ay makakasuporta sa maraming uri ng chip, ang mga user ay makakapag-switch sa iba't ibang hardware nang hindi kailangang i-rewrite ang code—

Ang pinakamalaking locking effect ng CUDA ay nawala na.

Nag-iwan ito ng pagkakataon para sa mga espesyalisadong chip para sa pag-iisip.

Hindi lahat ng mga gawain sa pag-iisip ay nangangailangan ng buong kakayahan ng CUDA mula sa pag-train hanggang sa koordinasyon ng cluster. Ang mga chip na disenyo na para sa partikular na modelo at sitwasyon, kung sakaling makapagpapabilis, makakabawas ng gastos, o makakapag-save ng enerhiya, ay may pagkakataon na makakuha ng bahagi ng merkado mula sa NVIDIA.

Halimbawa, ang d-Matrix ay isang kumpanya ng chip na nakatuon sa inference.

Itinatag ito noong 2019, na nakatuon sa mga chip ng pag-iisip na generative AI.

Ang co-founder at CEO na si Sid Sheth ay nagsalaysay na agad nilang natukoy na ang mga pagkakataon mula sa AI inference ay hahawak sa huli ng higit sa pagtuturo.

Ang software na katulad ng CUDA na binuo ni Infinity gamit ang AI Agent sa loob ng 10 na oras, ay naglilingkod sa mga chip ng inference ng d-Matrix.

Kaya, ang buong kuwento ng «10-hour event» ay nagkakaisa na:

Gusto ng bagong chip na pumasok sa market ng inference, ngunit kulang sa matatag na software; ang AI Agent ay mabilis na naglalikha at nagpapabuti ng mga paaalala sa ilalim, na nagpapaliit sa pagpapasya na maaaring magtrabaho nang ilang buwan hanggang sa taon sa ilang oras o araw.

Sinabi pa ni Sid nang malinaw:

Bagaman nananatiling dominanteng nangunguna ang NVIDIA sa pagtatrain, ang kanilang malalim na kalakalan ay nabawasan sa pagpapatakbo.

Hindi lang si d-Matrix ang nagmamasid sa puwang na ito.

Ang mga pangunahing pagtatapos sa pag-iisip tulad ng Rebellions at d-Matrix, ang pagtaya sa mga chip na may sukat ng wafer tulad ng Cerebras, ang Inferentia ng Amazon, ang TPU ng Google, at ang MI300X ng AMD…

Ang mga kumpanya ng chip at mga malalaking kumpanya ng cloud computing ay nasa posisyon na sa market ng inference, handa na upang kunin ang bahagi ng merkado mula sa NVIDIA.

Para sa mga kompanyang ito, hindi nila kailangang agad na palitan ang NVIDIA.

Kailangan lang nilang patunayan na sa ilang mga pagtataya ng pag-iisip, maaaring mag-run nang mas mabilis o mas murang hindi gumagamit ng buong hardware at CUDA ecosystem ng NVIDIA.

Sapat na iyon.

Ang sagot ay posibleng… malayo pa.

Nakasabi na rin namin na ang 10-hour rewrite ay ang “code na nag-aadapt sa isang chip,” ngunit ang CUDA ecosystem ay may 20 taon ng akumulasyon ng mga library, mga tool para sa debugging, komunidad, at ilang milyong developer.

Hindi ito madaling ma-disrupt.

Mas mahalaga pa, ang pagkakaroon ng code ay hindi katumbas ng pagkakaroon ng paggamit.

Ang founder ng INT21, Bing Xu, ay nagmula sa kaniyang nakaraang AI chip software company, ang HippoML, na kinuha ng NVIDIA, at umalis siya sa NVIDIA noong Abril ng taong ito.

Ang kanyang pagtataya ay: ang Agent ay makakagawa ng malaking dami ng code sa maikling panahon, ngunit ang pag-verify ang pinakamalaking bottleneck.

Mabilis ang paggawa ng 10,000 linya ng code ng AI, ngunit ang pagpapatotoo na ang 10,000 linya ay tama at masisiguro sa lahat ng mga boundary case ay napakalalim.

Ang pinakamalalim na ari-arian ng CUDA ay ang kanilang chain ng pag-verify—kaya naniniwala siya na sa panahon ng Agent, ang verification ecosystem ay magiging sumunod na moat ng CUDA.

Ang Modular co-founder at CEO na si Chris Lattner ay nagbigay din ng malamig na pagtugon.

Naniniwala siya na ang mga pagpapabuti na dinala ng coding agent ay progresibong, at "pinakamalaking pagpapalaki ng mga pangako."

May tatlong dahilan: Una, ang pagsusulat ng code ay maliit na bahagi lamang ng software engineering; ang production-grade optimization ang nakakaapekto sa performance ng chip at direktang nakakaapekto sa gastos sa pagpapatakbo ng AI;

Pangalawa, ang chip software ay isang maliit na larangan ng mga eksperto, at ang mga open-source code ay maraming mas kaunti kaysa sa application development; ang AI ay may limitadong training data na matututunan dito;

Ikatlo, ang gastos sa paglipat ng milyon-milyong linya ng existing code ay nananatili pa; ito ay hindi isang teknikal na problema kundi isang desisyon ng organisasyon.

Isang bagay na madalas na nalilimutan: ginagamit din ng NVIDIA ang AI.

Sinabi ng Vice President ng Developer Ecosystem ng NVIDIA, Ankit Patel:

Gumagamit din kami ng AI Agent para mas mabilis na pagbuo ng CUDA at pag-verify sa mas malaking saklaw.

Gamitin ang sariling dagaan upang sirain ang kalaban's kalasag, ang relatibong pakinabang ng tagapagsalakay ay mababawasan.

Ang pagkakasummary ni Bing Xu: Ang tagumpay o pagkabigo ng laban na ito ay nakasalalay kung kaya ba ng mga kalaban na mas mabilis silang makasagot kay NVIDIA kaysa sa bilis ng self-iteration ni NVIDIA.

Ngunit malinaw na ang pinakamalaking tagagawa ng chip sa buong mundo ay 'hindi natutulog o nasa iisang lugar'.

Sa kabuuan, ang malalim na kahoyan ng NVIDIA ay ligtas sa maikling panahon, ngunit ang mga pagbabago ay magsisimula nang tahimik sa aspeto ng pagpapaliwanag.

Ang tunay na pagkabigla sa matagalang panahon ay: ang moog ay naglalakbay mula sa “stock ng code” patungo sa “ekosistema ng pag-verify at pag-optimize”.

Sino ang una na makakakuha ng bagong posisyon, siya ang susunod na mananalo.

Mga kaukulang link: [1]https://www.businessinsider.com/nvidia-cuda-new-threats-ai-coding-agents-2026-8

Ang artikulong ito ay galing sa WeChat public account na “Quantum Bit”, may-akda: Ting Yu