Seiring dengan terus membesarnya skala pusat data AI, diskusi mengenai moat NVIDIA pun berubah. TechCrunch melaporkan bahwa para investor sebelumnya lebih fokus pada apakah GPU akan dilemahkan oleh chip buatan sendiri oleh penyedia cloud, tetapi setelah laporan keuangan terbaru, pasar mulai mengalihkan perhatian ke pertanyaan lain: siapa yang mampu mengoperasikan seluruh sistem AI secara efisien.
Fokus persaingan beralih ke sistem
Artikel tersebut menyatakan bahwa penyebaran kekuatan komputasi AI sedang bergerak menuju daya yang lebih tinggi dan klaster yang lebih besar, sehingga melihat GPU saja tidak lagi cukup untuk menjelaskan lanskap persaingan. Semakin besar pusat data, semakin kompleks sinergi antara data, penyimpanan, jaringan, dan komputasi. GPU tetap menjadi komponen inti, tetapi yang semakin menentukan efisiensi adalah kemampuan sistem di luar GPU.
Ini juga merupakan inti dari perubahan narasi NVIDIA saat ini. Meskipun perusahaan cloud besar seperti Amazon dan Google terus mengembangkan chip buatan sendiri, NVIDIA tetap membangun kombinasi infrastruktur yang lebih lengkap di sekitar GPU. Artikel ini merangkumnya sebagai: jika GPU adalah mesin, maka sistem lainnya adalah seluruh mobil.
Vera Rubin mencakup lebih banyak tahap
TechCrunch melaporkan bahwa NVIDIA sedang mengembangkan arsitektur Vera Rubin. Arsitektur ini tidak hanya mencakup GPU Rubin, tetapi juga CPU Vera, serta sistem rak level yang dirancang untuk penyimpanan, jaringan, dan komponen lainnya. Artikel tersebut berpendapat bahwa makna produk-produk ini adalah bahwa mereka tidak secara langsung bertanggung jawab atas pembuatan token, melainkan berusaha meminimalkan kehilangan kinerja di luar GPU.
Di antaranya, Vera CPU digambarkan sebagai bagian penting dalam penjadwalan data. Jason Hardy, Wakil Presiden Teknologi Penyimpanan NVIDIA, menyatakan bahwa kapasitas memori yang dapat ditampung oleh satu server atau satu platform komputasi terbatas, sehingga bagaimana mengirimkan data ke GPU pada waktu yang tepat menjadi kunci efisiensi sistem.
Data menjadi medan pertempuran baru
Artikel tersebut mengutip pernyataan Hardy bahwa dalam beberapa operasi terkait, percepatan yang dihasilkan oleh Vera CPU dapat mencapai sekitar 3 kali lipat. Ini berarti sumber daya perangkat keras seperti flash memory dapat dimanfaatkan lebih optimal, dan bottleneck sistem juga berpotensi berkurang.
Artikel tersebut juga menyebutkan bahwa masalah serupa tidak hanya ada dalam sistem NVIDIA. Sebelumnya, ketika OpenAI memperkenalkan chip Jalapeño, mereka juga menjadikan pengurangan perpindahan data dan latensi komunikasi sebagai tujuan utama. Pendekatannya adalah memastikan seluruh beban kerja tetap berada dalam satu sistem terhubung untuk mengurangi kerugian yang ditimbulkan oleh transmisi lintas modul.
Menurut TechCrunch, ini menunjukkan bahwa persaingan infrastruktur AI memasuki tahap baru. Perusahaan tidak lagi bersaing hanya berdasarkan daya pemrosesan prosesor, tetapi juga bagaimana data mengalir, bagaimana penyimpanan mendukung, dan bagaimana jaringan menghindari kemacetan. Dengan kata lain, tingkat persaingan sedang berpindah dari "siapa yang memiliki GPU lebih kuat" menjadi "siapa yang dapat membuat seluruh sistem beroperasi dengan efisiensi lebih tinggi".
Artikel tersebut berpendapat bahwa perubahan ini tidak berarti NVIDIA telah memastikan kemenangannya. Perusahaan masih harus menghadapi persaingan dari produsen chip lain dan penyedia layanan cloud besar. Namun, pada tahap saat ini, NVIDIA tetap unggul dalam integrasi dan kemampuan pengelolaan sistem, yang menjadi alasan penting mengapa pasar mengevaluasi ulang keunggulan AI-nya.