Agen AI Meniru Perangkat Lunak Seperti CUDA dalam 10 Jam, Memicu Perdebatan

CUDA lagi-lagi di-hack...

Ini kali ini, AI yang dibesarkan langsung oleh NVIDIA yang bertindak.

Sebuah perusahaan kecil yang baru berdiri selama satu tahun, menggunakan AI Programming Agent, hanya membutuhkan 10 jam untuk membangun sebuah perangkat lunak "serupa CUDA".

Stop stop stop.

Apakah yang kamu maksud adalah kerajaan perangkat lunak yang dibangun oleh NVIDIA selama hampir 20 tahun ini, begitu saja disalin?

Tidak hanya itu. DeepSeek Juga mencoba menulis lebih sedikit CUDA tingkat rendah.

Mereka telah mengopen-source sebuah pustaka operator GPU bernama TileKernels, yang ditulis menggunakan TileLang, menghemat banyak pekerjaan menulis kode CUDA tingkat rendah secara manual.

Namun, "krisis CUDA" semacam ini bukan pertama kalinya kami dengar.

Sekali-kali, CUDA harus dijadikan sasaran kritik, selalu dikatakan akan menggantikan, menembus, atau moatnya lagi digulingkan…

Is that really true?

Ketika disebut NVIDIA, banyak orang langsung memikirkan GPU.

H100, Blackwell, Rubin, dengan chip-chip yang semakin kuat dari generasi ke generasi, NVIDIA memanfaatkan keuntungan terbesar dari gelombang AI kali ini.

Namun, keunggulan sejati NVIDIA yang sulit digoyahkan sebenarnya bukan pada perangkat keras, melainkan perangkat lunak.

Chip bisa dibeli, spesifikasi bisa dikejar, proses produksi juga akan berkembang. Yang benar-benar membuat pelanggan yang sudah menggunakan NVIDIA sulit berpindah adalah seluruh ekosistem perangkat lunak yang dibangun di sekitar GPU.

Dan CUDA adalah inti dari kerajaan perangkat lunak ini.

CUDA adalah singkatan dari Compute Unified Device Architecture, yang dikembangkan selama hampir 20 tahun oleh tim dipimpin oleh Ian Buck, seorang eksekutif NVIDIA.

Ini sering disebut sebagai bahasa pemrograman, tetapi lebih akurat, CUDA adalah seluruh platform perangkat lunak yang dibangun di sekitar GPU NVIDIA.

Jika dibagi menjadi tiga lapisan sederhana, lapisan paling bawah adalah lapisan inti, yang terdiri dari Kernel, compiler, dan runtime yang langsung membuat chip bekerja.

Di tengah adalah lapisan perpustakaan—perpustakaan komputasi yang sangat dioptimalkan seperti cuBLAS dan cuDNN, serta alat debugging, verifikasi, dan analisis kinerja.

Di bagian paling atas, terdapat kerangka pengembangan seperti PyTorch dan TensorFlow, kode dan alur kerja dalam jumlah besar yang dikumpulkan perusahaan, serta ekosistem pengembang yang tumbuh di sekitar CUDA.

△

Mungkin agak abstrak untuk mengatakan ini, tetapi Anda bisa membayangkan GPU NVIDIA sebagai sebuah pabrik.

CUDA lapisan paling bawah bertanggung jawab memberi tahu mesin cara melakukan setiap langkah, lapisan tengah menyediakan alat produksi siap pakai, dan lapisan paling atas adalah seluruh sistem produksi yang telah berjalan bertahun-tahun.

Jadi, bagi pelanggan, yang dibeli bukan hanya satu kartu NVIDIA, melainkan sebuah pabrik siap pakai.

Sekarang, seorang pria bernama Jeremy Nixon datang dengan AI Agent.

Nixon adalah pendiri perusahaan startup perangkat lunak AI Infinity, sebelumnya juga menjadi peneliti di Google Brain.

Timnya mengembangkan sebuah Agent penelitian AI bernama Ignition yang secara khusus menulis perangkat lunak lapisan bawah untuk berbagai chip AI.

Ia dapat menghasilkan GPU Kernel, menjalankan pengujian, mencari kesalahan, mengukur kinerja, lalu menulis ulang kode secara otomatis berdasarkan hasilnya.

Insinyur manusia bertanggung jawab memberikan arahan tingkat tinggi, sementara pekerjaan-pekerjaan kecil dan melelahkan secara mental diserahkan kepada Agent untuk diulang-ulang.

Itu saja, Infinity menggunakan Ignition untuk membangun perangkat lunak sejenis CUDA bagi perusahaan rintisan chip AI, d-Matrix.

Hanya memakan waktu 10 jam.

Apa??

Apakah kode tingkat rendah yang dulu memerlukan penyesuaian berulang oleh insinyur perangkat lunak chip sekarang benar-benar bisa diserahkan ke AI?

It's not entirely hype.

AI Agent memang sangat cocok untuk tugas pemrograman dengan umpan balik yang jelas.

Apakah kode dapat dikompilasi, apakah hasilnya benar, dan apakah performanya meningkat, semuanya bisa dijawab melalui eksekusi nyata.

Dengan demikian, agen dapat membentuk siklus tertutup yang lengkap:

Tulis kode → kompilasi → jalankan → uji kebenaran dan kinerja → sesuaikan berdasarkan umpan balik

Namun, Infinity terutama menyerang lapisan pertama CUDA: menghasilkan dan mengoptimalkan Kernel inferensi untuk berbagai chip, serta membangun kemampuan perangkat lunak dasar di sekitar Kernel-Kernel ini.

Ini sedang mengembangkan pustaka inferensi universal yang berfokus pada berbagai chip, tetapi ini tidak berarti ia meniru seluruh ekosistem CUDA yang telah dikumpulkan selama hampir 20 tahun dalam waktu 10 jam.

Tetapi…

Tetapi!

Anda sebenarnya tidak perlu menyalin CUDA untuk mendapatkan pendanaan sebesar $15 juta.

The company's current valuation has also reached $100 million.

Tidak tahu apakah ada ancaman terhadap NVIDIA, tapi modal jelas sangat menerima nya. (doge)

Jika Agen AI adalah senjata untuk menyerang kota, maka pasar inferensi adalah celah di dinding kota.

Perhitungan model besar terbagi menjadi dua tahap:

Pelatihan adalah membuat model, memerlukan ribuan kartu bekerja sama selama beberapa bulan; inferensi adalah menggunakan model yang sudah dilatih untuk menjawab pertanyaan, bahkan kluster kecil atau satu kartu saja sudah cukup.

Di sisi pelatihan, CUDA saat ini masih hampir tidak teratasi.

Pelatihan skala besar sangat sensitif terhadap kinerja, stabilitas, dan koordinasi klaster. Komunikasi antar chip, pengelolaan memori GPU, dan pemulihan setelah kesalahan program—setiap kehilangan efisiensi, ketika diperbesar ke ribuan hingga puluhan ribu chip, akan berubah menjadi waktu dan biaya nyata.

Oleh karena itu, perusahaan sering sangat konservatif dalam memilih platform pelatihan.

Chip lainnya, meskipun parameter teknisnya tampak baik di atas kertas, jika perangkat lunaknya belum matang atau klasternya tidak stabil, biaya hardware yang dihemat kemungkinan besar akan dibayar kembali dua kali lipat melalui biaya pengembangan dan percobaan.

Namun, di sisi inferensi, aturan permainannya berubah.

Marshall Choy, Chief Business Officer dari perusahaan chip AI Korea, Rebellions, berpendapat:

Di sisi inferensi, CUDA bukan lagi faktor penentu. Ini akan menjadi persaingan perangkat lunak open source.

Mengapa para pesaing semua memperhatikan inferensi?

Karena pelatihan memperhatikan "kinerja ekstrem", sedangkan inferensi memperhatikan "biaya setiap jawaban".

Pelatihan memerlukan ribuan chip bekerja sama, sedangkan inferensi dapat dibagi ke kluster kecil bahkan satu chip; tidak berani mengganti chip untuk pelatihan, tetapi bisa untuk inferensi.

Toh selama bisa berjalan dan murah, pelanggan akan mau mencoba.

Yang lebih penting lagi, perangkat lunak inferensi dapat berjalan lintas chip. Jika kerangka inferensi mendukung berbagai chip, pengguna dapat beralih di antara perangkat keras yang berbeda tanpa perlu menulis ulang kode—

Lock-in effect terbesar CUDA telah gagal.

Ini memberikan peluang bagi chip inferensi khusus.

Tugas inferensi tidak memerlukan seluruh kemampuan CUDA dari pelatihan hingga kolaborasi klaster. Chip yang dirancang ulang untuk model tertentu dan skenario tertentu, selama mampu berjalan lebih cepat, lebih murah, atau lebih hemat energi, memiliki peluang untuk merebut sebagian pasar dari NVIDIA.

Misalnya d-Matrix, yang memang merupakan perusahaan chip yang berfokus pada inferensi.

Perusahaan ini didirikan pada tahun 2019 dan fokus pada chip inferensi AI generatif.

Co-founder dan CEO Sid Sheth pernah mengingat bahwa mereka sejak awal memprediksi bahwa peluang yang dibawa oleh inferensi AI pada akhirnya akan melebihi pelatihan.

Perangkat lunak sejenis CUDA yang dibangun oleh Infinity menggunakan AI Agent dalam 10 jam melayani chip inferensi d-Matrix.

Jadi, cerita lengkap dari "peristiwa 10 jam" pun terhubung:

Chip baru ingin memasuki pasar inferensi, tetapi kekurangan perangkat lunak yang matang; AI Agent secara cepat menghasilkan dan mengoptimalkan Kernel dasar, mengompresi pekerjaan adaptasi yang awalnya mungkin memakan waktu berbulan-bulan bahkan bertahun-tahun menjadi hanya beberapa jam atau hari.

Sid juga secara terbuka menyatakan:

Meskipun NVIDIA tetap mendominasi di bidang pelatihan, keunggulan kompetitifnya dalam inferensi telah berkurang.

Yang memperhatikan celah ini bukan hanya d-Matrix.

Rebellions dan d-Matrix yang fokus pada inferensi, Cerebras yang berinvestasi pada chip skala wafer, Inferentia dari Amazon, TPU dari Google, MI300X dari AMD...

Berbagai pabrikan chip dan raksasa komputasi awan telah siap mengatur strategi di pasar inferensi, bersiap merebut sebagian pasar dari NVIDIA.

Bagi perusahaan-perusahaan ini, mereka tidak perlu segera menggantikan NVIDIA.

Mereka hanya perlu membuktikan bahwa dalam beberapa tugas penalaran, dapat berjalan lebih cepat atau lebih murah tanpa bergantung pada seluruh perangkat keras dan ekosistem CUDA dari NVIDIA.

That's enough.

The answer might be... still far off.

Sebelumnya juga disebutkan, 10 jam digunakan untuk menulis ulang kode adaptasi «sebuah chip», sementara ekosistem CUDA memiliki akumulasi selama 20 tahun berupa perpustakaan, alat debugging, komunitas, dan beberapa juta pengembang.

Ini bukan sesuatu yang bisa dengan mudah digantikan.

Yang lebih penting lagi, kode yang bisa dihasilkan tidak sama dengan bisa digunakan.

Pendiri INT21, Bing Xu, sebelumnya bekerja di perusahaan perangkat lunak chip AI, HippoML, yang diakuisisi oleh NVIDIA, dan ia baru meninggalkan NVIDIA pada bulan April tahun ini.

Penilaiannya adalah: Agent dapat menghasilkan sejumlah besar kode dalam waktu singkat, tetapi verifikasi adalah hambatan terbesar.

AI dapat menghasilkan sepuluh ribu baris kode dengan cepat, tetapi 'membuktikan bahwa sepuluh ribu baris tersebut menghitung dengan benar dan berjalan stabil di berbagai kondisi batas' sangat lambat.

Aset terdalam CUDA justru adalah alat verifikasinya—jadi ia percaya, di era Agent, ekosistem verifikasi akan menjadi benteng berikutnya untuk CUDA.

Modular co-founder dan CEO Chris Lattner juga menyiramkan air dingin.

Dia percaya bahwa perbaikan yang dibawa oleh coding Agent bersifat progresif, "hype tersebut sangat dilebih-lebihkan."

Ada tiga alasan: pertama, menulis kode hanyalah sebagian kecil dari rekayasa perangkat lunak, optimasi tingkat produksi yang menentukan kinerja chip dan secara langsung menentukan biaya menjalankan AI;

Kedua, perangkat lunak chip merupakan bidang elit yang niche, dengan kode terbuka jauh lebih sedikit dibandingkan pengembangan aplikasi; data pelatihan yang tersedia bagi AI di bidang ini memang terbatas;

Ketiga, biaya migrasi jutaan baris kode yang sudah ada masih ada, ini bukan masalah teknis yang bisa diatasi, melainkan keputusan organisasi.

Satu hal lagi yang sering diabaikan: NVIDIA sendiri juga menggunakan AI.

Vice President of NVIDIA's Developer Ecosystem, Ankit Patel, mengatakan:

Kami juga menggunakan AI Agent untuk mengembangkan CUDA lebih cepat dan melakukan validasi dalam skala yang lebih besar.

Dengan mempertahankan diri sendiri untuk menyerang perisai lawan, keunggulan relatif pihak penyerang juga akan berkurang.

Bing Xu menyimpulkan: Hasil pertarungan ini bergantung pada seberapa cepat pesaing mengejar NVIDIA dibandingkan kecepatan iterasi mandiri NVIDIA.

Tetapi jelas, produsen chip terbesar di dunia ini "tidak sedang tidur atau berdiri di tempat".

Secara keseluruhan, parit perlindungan NVIDIA aman dalam jangka pendek, tetapi perubahan akan terjadi terlebih dahulu di sisi inferensi.

Pertanyaan sejati jangka panjang adalah: moat sedang berpindah dari "stok kode" ke "ekosistem verifikasi dan optimasi".

Siapa yang lebih dulu mendapatkan posisi baru, dialah pemenang berikutnya.

Tautan referensi: [1] https://www.businessinsider.com/nvidia-cuda-new-threats-ai-coding-agents-2026-8

Artikel ini berasal dari akun WeChat "Quantum Bit", penulis: Ting Yu