Perjanjian $2 bilion NVIDIA dengan Groq membuahkan hasil apabila cip Groq 3 LPX memasuki penghasilan masal

Berita Cepat Beating AI: NVIDIA Groq 3 LPX kini memasuki produksi massal sepenuhnya. Pada Disember tahun lalu, NVIDIA menghabiskan sekitar US$20 bilion untuk mendapatkan lesen teknologi Groq dan merekrut pasukan inti termasuk pendirinya, Jonathan Ross. Delapan bulan kemudian, peranti pertama daripada transaksi ini telah dilancarkan. Groq 3 LPX adalah sistem khas yang dirancang untuk mempercepat inferens model besar, yang menggunakan 256 cip Groq 3 LPU. Dalam ujian Artificial Analysis, apabila Gemma 4 31B dimasukkan dengan 100,000 token, Groq 3 LPX mampu menghasilkan 3,431 token keluaran per saat. Dalam ujian yang sama, API paling pantas yang boleh diakses secara awam pada masa itu hanya menghasilkan sekitar 870 token, iaitu hampir empat kali ganda lebih rendah. Dalam pelaksanaan sebenar, GPU Rubin bertanggungjawab atas pengiraan yang lebih berat, manakala Groq 3 LPX secara khusus meningkatkan kelajuan penghasilan token. Bagi Coding Agent, apabila memanggil model secara berterusan puluhan hingga ratusan kali, masa tunggu untuk model "mengeluarkan" jawapan dapat dikurangkan secara ketara. Nebius akan menjadi penyedia awan AI pertama yang mengadopsi Groq 3 LPX. Lebih menarik lagi, Groq sendiri juga menjadi salah satu pengguna awal, dan akan bekerjasama dengan Dell untuk melaksanakannya. Tahun lalu, mereka memberikan lesen teknologi kepada NVIDIA, dan tahun ini pula mereka mulai menggunakan "Groq" yang dihasilkan oleh NVIDIA.