Nvidia secara resmi mengumumkan produksi massal sistem rak Groq 3 LPX, perangkat keras inferensi hasil akuisisi ini kini secara resmi memasuki tahap pengiriman komersial, menjadi topik paling hangat di kalangan perangkat keras AI saat ini, serta secara langsung menggeser fokus persaingan industri dari pelatihan model besar menuju kemampuan inferensi latensi rendah untuk skenario Agent. Perangkat keras ini merupakan bagian dari stack teknologi Vera Rubin, yang menonjolkan kecepatan output token yang sangat tinggi; dalam skenario konteks panjang hingga seratus ribu token, sistem ini mampu mencapai output ribuan token per detik. Data pengujian resmi menunjukkan bahwa pada skenario tertentu, biaya komputasi dapat turun hingga 35 kali lipat dibandingkan generasi sebelumnya, dirancang khusus untuk skenario yang sangat sensitif terhadap kecepatan respons seperti AI agent dan otomatisasi program. Banyak proyek Agent sebelumnya sulit dikomersialkan karena latensi inferensi yang terlalu tinggi, sehingga pengguna harus menunggu lama untuk menyelesaikan tugas multi-langkah, membuat pengalaman pengguna sulit diwujudkan. Penyedia cloud pertama telah mengadopsi sistem rak ini, dan di masa depan penyedia layanan cloud dapat menawarkan paket API berperforma tinggi dengan latensi rendah berdasarkan perangkat keras ini untuk melayani pelanggan perusahaan yang membutuhkan kecepatan tinggi. Namun, hal ini juga akan mengubah ulang model bisnis AI cloud: di masa depan, layanan AI tidak lagi hanya dilihat dari ukuran parameter model, tetapi kinerja inferensi perangkat keras akan menjadi nilai jual penting bagi setiap penyedia cloud. Produksi massal ini juga mengirimkan sinyal industri penting: medan pertempuran berikutnya dalam AI bukan lagi pada upaya menciptakan model pelatihan dengan parameter lebih besar, melainkan bagaimana menjalankan model besar yang sudah sangat kuat dengan biaya lebih rendah dan kecepatan lebih tinggi. Ambang batas komersialisasi Agent sedang secara bertahap dihilangkan oleh perangkat keras, dan kita akan segera melihat lebih banyak aplikasi agent otomatis yang sebelumnya hanya ada di laboratorium mulai masuk ke lingkungan bisnis nyata. #Nvidia #AI_Hardware #Agent