Ipinahayag ng Nvidia ang komersyal na paggawa ng Groq 3 LPX rack system, kung saan ang hardware para sa inference na kinuha sa akusisyon ay nagsisimula na sa pagpapadala sa merkado, at naging pinakamainam na paksa sa industriya ng AI hardware, na naglilipat ng pansin mula sa pagtatrain ng malalaking model sa kakayahan ng mababang latency sa inference para sa mga agent. Ang hardware na ito ay bahagi ng Vera Rubin tech stack, na nagtatampok ng napakabilis na output ng token; sa mga skena na may 100,000 token na konteksto, maaari itong mag-output ng libo-libong token bawat segundo. Ayon sa mga pagsusulit ng opisina, sa ilang partikular na skena, maaaring bumaba ang gastos sa computing hanggang 35 beses kumpara sa nakaraang henerasyon, at itinayo ito lalo na para sa mga aplikasyon tulad ng AI agents at automated program execution na nangangailangan ng napakabilis na response. Noong nakaraan, maraming proyekto ng agent ay hindi makakamit ang komersyal na paggamit dahil sa sobrang mataas na latency sa inference—ang mga user ay kailangang maghintay nang mahaba para makumpleto ng model ang maraming hakbang, kaya't mahirap ilapat ang karanasan. Ang unang cloud provider ay nagsimula na na magamit ang rack system na ito, at sa hinaharap, maaaring maglabas ang mga cloud service provider ng premium, low-latency API packages para sa mga enterprise customer na may mataas na pangangailangan sa bilis. Ngunit ito ay magbabago rin sa business model ng cloud AI: sa hinaharap, ang serbisyo ng AI ay hindi na lang nakatuon sa laki ng parameter ng model—ang performance ng hardware sa inference ay magiging mahalagang pagkakaiba-iba para sa bawat cloud provider. Ang paggawa na ito ay naglalabas din ng mahalagang mensahe sa industriya: ang susunod na battlefield ng AI ay hindi na ang paghahanap ng mas malalaking parameter sa training model, kundi kung paano mas mabilis at mas mura ang pagpapatakbo ng mga malalaking model na nasa kasalukuyan. Ang mga hadlang para sa komersyalisasyon ng agent ay unti-unting tinatanggal ng hardware, at sa susunod ay makikita natin ang higit pang automated agent applications na dati ay nasa laboratoryo lamang, na nagsisimula nang lumabas sa totoong komersyal na kapaligiran. #Nvidia #AI_Hardware #Agent