Nvidia secara rasmi mengumumkan pengeluaran berskala penuh untuk sistem rak Groq 3 LPX, peranti inferens yang diperoleh ini kini memasuki tahap penghantaran komersial, menjadi topik paling hangat dalam kalangan industri peranti AI, serta mengalihkan fokus persaingan industri daripada pelatihan model besar kepada kemampuan inferens latensi rendah untuk skenario Agent. Peranti ini merupakan sebahagian daripada stack teknologi Vera Rubin, yang menonjolkan kelajuan pengeluaran token yang sangat pantas; dalam skenario konteks panjang hingga 100,000 token, ia mampu menghasilkan ribuan token per saat. Data ujian rasmi menunjukkan bahawa dalam skenario tertentu, kos pengiraan boleh turun sehingga 35 kali ganda berbanding generasi sebelumnya, direka khas untuk skenario yang sangat sensitif terhadap masa respons seperti AI agent dan automatik pelaksanaan program. Banyak projek Agent sebelum ini sukar untuk dikomersialkan, sebahagian besarnya disebabkan latensi inferens yang terlalu tinggi, di mana pengguna perlu menunggu lama untuk model menyelesaikan tugas berbilang langkah, menjadikan pengalaman pengguna sukar diwujudkan. Penyedia awan pertama telah mengintegrasikan sistem rak ini, dan pada masa depan, penyedia perkhidmatan awan boleh menawarkan pakej API berprestasi tinggi dengan latensi rendah berdasarkan peranti ini untuk pelanggan korporat yang memerlukan kelajuan tinggi. Namun, ini juga akan menulis semula model perniagaan AI awan: pada masa depan, perkhidmatan AI tidak lagi hanya dinilai berdasarkan saiz parameter model—prestasi inferens peranti akan menjadi kelebihan persaingan utama bagi setiap penyedia awan. Pengeluaran berskala ini juga mengeluarkan isyarat penting kepada industri: medan pertempuran seterusnya dalam AI bukan lagi pada usaha mencapai model latihan dengan parameter yang lebih besar, tetapi bagaimana menjalankan model besar yang sudah sangat canggih dengan kos yang lebih rendah dan kelajuan yang lebih pantas. Rintangan komersialisasi Agent sedang secara beransur-ansur dirobohkan oleh peranti keras, dan kita akan melihat lebih banyak aplikasi agent automatik yang sebelum ini hanya wujud dalam persekitaran makmal, berpindah secara berperingkat ke persekitaran perniagaan sebenar. #Nvidia #AI_Hardware #Agent