Habang patuloy na lumalawak ang sukat ng AI data centers, nagbabago rin ang diskusyon sa paligid ng competitive advantage ni NVIDIA. Ipinahiwatig ng foreign media na TechCrunch na dating mas nakatuon ang mga investor sa kung magkakaroon ba ng pagkabawas sa GPU dahil sa sariling chip na ginagawa ng mga cloud provider, ngunit matapos ang pinakabagong financial report, umuunlad na ang pagmamasid ng merkado sa isang iba pang tanong: sino ang makakapagpapatakbo nang epektibo ng buong AI system.
Ang pagkonsentrasyon sa kompetisyon ay napapalitan sa sistema
Naniniwala ang artikulo na ang pag-deploy ng AI computing power ay patungo sa mas mataas na power at mas malalaking cluster, at ang pagtingin lamang sa GPU ay hindi na sapat upang ipaliwanag ang kompetitibong landscape. Mas malaki ang data center, mas kumplikado ang koordinasyon sa pagitan ng data, storage, network, at computing. Ang GPU ay patuloy na pangunahing bahagi, ngunit ang tunay na nagdedesisyon sa efficiency ay lalo na ang mga system capability sa labas ng GPU.
Ito ay core ng pagbabago ng kuwento ni NVIDIA sa kasalukuyan. Kahit na ang mga malalaking cloud provider tulad ng Amazon at Google ay patuloy na pagsisikap na mag-develop ng kanilang sariling chip, nananatili pa rin ang NVIDIA sa pagbuo ng mas kompletong bundle ng infrastruktura palibot sa GPU. Ipinapaliwanag ng artikulo ito bilang: Kung ang GPU ay ang engine, ang natitirang sistema ay ang buong sasakyan.
Mas maraming bahagi ang nakakalipat ni Vera Rubin
Sinipi ng TechCrunch na tinatapos ni NVIDIA ang Vera Rubin architecture. Ang arkitekturang ito ay hindi naglalaman lamang ng Rubin GPU, kundi kasama rin ang Vera CPU, at rack-level system para sa storage, network, at iba pang mga bahagi. Naniniwala ang artikulo na ang kahalagahan ng mga produktong ito ay ang paghahatid ng mga ito ay hindi direktang responsable sa pagbuo ng token, kundi ang pagpapababa ng pagkawala ng performance sa labas ng GPU.
Sa pagitan nito, ang Vera CPU ay inilarawan bilang mahalagang bahagi ng pag-schedule ng data. Sinabi ni Jason Hardy, Vice President for Storage Technologies ng NVIDIA, na limitado ang memorya na maaaring ipakita ng isang server o isang computational platform, kaya ang pagpapadala ng data sa GPU sa tamang oras ay naging susi sa efficiency ng sistema.
Ang paglipat ng data ay naging bagong battlefield
Ang artikulo ay sumasalamin sa sabi ni Hardy na sa ilang mga kaugnay na operasyon, ang pagpapabilis na dala ng Vera CPU ay maaaring umabot sa halos 3 beses. Ibig sabihin nito na mas mabuting mapapakinabangan ang mga hardware resource tulad ng flash memory, at maaaring bumaba ang mga bottleneck ng sistema.
Binanggit din ng artikulo na ang ganitong uri ng problema ay hindi lamang naroroon sa sistema ni NVIDIA. Noong ipakilala ni OpenAI ang Jalapeño chip, isinama rin nila ang pagbawas ng paggalaw ng data at latency sa komunikasyon bilang pangunahing layunin. Ang kanilang ideya ay upang panatilihin ang buong workload sa loob ng isang interconnected system upang mabawasan ang pagkawala dahil sa paglipat sa pagitan ng mga module.
Sa pananaw ng TechCrunch, ipinapakita nito na ang kompetisyon sa infrastruktura ng AI ay pumasok sa isang bagong yugto. Hindi na lang ang paghahambing ng kapasidad ng processor, kundi kung paano umiikot ang data, kung paano sumasagot ang pag-iimbak, at kung paano maiiwasan ang pagkablock ng network. Sa madaling salita, ang antas ng kompetisyon ay umiihip mula sa “Sino ang may mas malakas na GPU?” patungo sa “Sino ang makakapagpapatakbo ng buong sistema nang mas mataas na efficiency?”
Sa artikulo, sinasabing ang pagbabagong ito ay hindi nangangahulugan na ang NVIDIA ay nagsasakop na. Patuloy pa rin itong makakaharap sa kompetisyon mula sa iba pang mga tagagawa ng chip at mga malalaking cloud service provider. Ngunit sa kasalukuyang yugto, nananatiling nangunguna ang NVIDIA sa system integration at scheduling capability, na kung saan ay mahalagang dahilan kung bakit binabago muli ng merkado ang pagtataya sa kanilang AI advantage.