Ipinahayag ng NVIDIA ang buong produksyon ng mga Groq 3 LPX Racks para sa Nebius Deployment

Ayon sa ChainCatcher, ipinahayag ni Dion Harris, senior director ng NVIDIA, noong Lunes lokal na oras na ang Groq 3 LPX rack ay nasa pagsasagawa ng full-scale production at ipapalabas sa data center ng bagong cloud service provider na Nebius, na inaasahang magsisimula sa huli ng taon. Ito ay nagmarka ng komersyalisasyon ng teknolohiya na natanggap ni NVIDIA mula sa pagkakasundo sa Groq noong Disyembre ng nakaraang taon na may halagang halos $20 bilyon, kung saan ang ilang pangunahing miyembro ng Groq ay nagsama na sa NVIDIA, at ang tagapagtatag na si Jonathan Ross ay naging chief software architect ng NVIDIA. Pinapabilis ni NVIDIA ang produksyon ng mga chip ng Groq at ang pagbibigay ng mga produkto sa mga kliyente, na nagpapakita ng kahalagahan ng low-latency inference. Ang Groq 3 LPX, na ipinakilala noong Marso, ay isang inference accelerator para sa platform na Vera Rubin, na may 500 megabytes ng high-speed SRAM na ikinokonekta sa chip die upang mabawasan ang memory bottleneck. Bawat LPX rack ay maaaring magkaisa ng 256 Groq 3 chips, at ayon sa mga benchmark na binanggit ni NVIDIA, maaaring prosesuhin nito ang 3,400 tokens bawat segundo; ang chip ay gawa ng Samsung. Sinabi ni Harris na ang mga low-latency chip ay hindi nagpapalit sa GPU, kundi ginagamit ang tamang processor para sa iba’t ibang bahagi ng workload, at maaaring magbigay ng mas mataas na presyo sa mga client na may sensitivity sa latency. Ang CEO ni NVIDIA na si Jensen Huang ay plano na i-allocate ang halos isang-kapat ng puwang para sa data center na nakatuon sa programming applications para sa mga chip ng Groq, habang ang natitirang bahagi ay gagamitin ang Vera Rubin system, at inaasahan niya na hanggang 2027, ang kabuuang kita mula sa Blackwell at Vera Rubin ay makakamit ang $1 trilyon.