Chip Jalapeño OpenAI Mengungguli NVIDIA Blackwell dalam Metrik Utama

Penulis asli: Dong Jing

Sumber asli: Wall Street Journal

Chip pertama buatan sendiri OpenAI, Jalapeño, muncul secara spektakuler, mengguncang tatanan yang ada di industri chip AI dengan kecepatan yang menakjubkan—ini bukan hanya peluncuran produk, tetapi juga sinyal: AI sedang membentuk ulang cara desain chip itu sendiri.

Menurut artikel Wall Street Journal, seperti dilaporkan Bloomberg pada 25 Agustus, OpenAI menyatakan bahwa Jalapeño unggul dalam dua indikator kunci: jumlah pekerjaan AI yang dapat ditangani per unit konsumsi daya dan kecepatan respons, dibandingkan dengan GB300 dari NVIDIA. Chip ini dikembangkan oleh OpenAI bekerja sama dengan Broadcom, dirancang khusus untuk tahap inferensi AI, dan paling cepat akan digunakan secara nyata pada akhir tahun ini. Richard Ho, kepala chip OpenAI, mengatakan bahwa Jalapeño dapat mencapai performa kuat dengan konsumsi daya rendah sebesar 700 watt, yang membantu mengurangi biaya listrik pusat data secara signifikan.

Menurut lembaga riset semikonduktor SemiAnalysis, chip ini hanya membutuhkan sekitar 16 bulan dari awal desain hingga selesai proses fabrikasi, dengan tahap fabrikasi pengemasan CoWoS kunci selesai pada November 2025, baru 9 bulan yang lalu, jauh lebih singkat daripada siklus umum industri yang biasanya 18 hingga 36 bulan.

Para peneliti SemiAnalysis secara langsung mengunjungi laboratorium OpenAI dan menguji Jalapeño menggunakan suite pengujian buatan mereka sendiri, InferenceX, dengan kesimpulan langsung: chip ini mengalahkan semua chip NVIDIA, AMD, dan Google yang sebelumnya mereka uji dalam hal performa per watt (perf/W).

Yang lebih patut diperhatikan adalah pencapaian ini diraih tanpa mengaktifkan optimasi seperti speculative decoding, pemisahan deployment prefetching dan decoding, sementara chip lain yang dibandingkan telah mengaktifkan konfigurasi optimal mereka masing-masing.

Tidak heran jika analis semikonduktor terkenal Dylan Patel pun secara terus terang mengatakan, "Bukan hanya Blackwell yang terguling, tetapi chip Rubin NVIDIA pun telah dilewati!"

Analisis menyatakan bahwa hasil ini menimbulkan tantangan langsung terhadap posisi pasar NVIDIA, serta mendorong pasar untuk meninjau ulang lanskap persaingan chip AI.

Hasil pengujian SemiAnalysis menunjukkan bahwa keunggulan Jalapeño dalam efisiensi inferensi cukup signifikan.

Pada model GPT-OSS 120B, Jalapeño dapat menghasilkan sekitar 1459 token per detik, sementara NVIDIA GB200 hanya 535; dalam hal latensi end-to-end, Jalapeño menyelesaikan satu tugas hanya dalam 1,65 detik, sedangkan GB300 membutuhkan hampir 6 detik, dengan perbedaan sebesar 3,6 kali. Dalam skenario interaksi tinggi, ketika GB300 didorong ke kecepatan decoding tercepatnya (169 token per detik), throughput Jalapeño adalah 104,3 kali lebih tinggi.

Pada indikator inti efisiensi pusat data, yaitu jumlah Token yang dihasilkan per megawatt per detik, Jalapeño mencapai sekitar 53 juta Token/MW/s pada model GPT-OSS, sementara GB200 NVL72 hanya sekitar 10 juta.

SemiAnalysis menunjukkan bahwa indikator ini pada dasarnya setara dengan jumlah Token yang dihasilkan per joule, yang secara langsung menentukan batas pendapatan pusat data—di masa kini di mana daya komputasi dibatasi oleh listrik, keunggulan pada dimensi ini sangat krusial.

Dari sudut pandang biaya sistem, menurut SemiAnalysis yang memasukkan listrik, pendinginan, dan jaringan ke dalam perhitungan, biaya kepemilikan total per chip per jam untuk Jalapeño sekitar $1,56, hampir sebanding dengan $1,55 untuk H100, sementara Vera Rubin dari NVIDIA mencapai $3,61.

Perlu dicatat bahwa SemiAnalysis juga mengajukan beberapa keberatan penting.

Pertama, model yang digunakan dalam pengujian bukanlah model terkini; NVIDIA dan AMD telah merilis hasil berdasarkan AgentX suite pada model berskala lebih besar seperti DeepSeek V4 Pro dan Kimi K3, sementara Jalapeño belum menyelesaikan pengujian AgentX—suite ini lebih mampu mencerminkan kinerja dalam skenario produksi nyata seperti multi-round dan konteks panjang.

Kedua, perbandingan yang lebih adil adalah dengan NVIDIA Vera Rubin yang juga menggunakan HBM4, bukan Blackwell; kinerja per watt Vera Rubin meningkat sekitar 5,4 kali dibanding GB200 NVL72, dan dalam hal total biaya kepemilikan (TCO) per token, keduanya hampir seimbang dibanding Jalapeño.

Ketiga, Jalapeño saat ini masih berada dalam tahap prototipe teknis, dan produksi massal diperkirakan baru akan meningkat secara bertahap pada tahun 2027.

Salah satu alasan utama mengapa Jalapeño dapat menyelesaikan pengembangan dengan kecepatan luar biasa adalah integrasi mendalam alat AI. Menurut SemiAnalysis, OpenAI secara luas menggunakan model AI internal dalam proses desain chip, termasuk GPT-Astra yang banyak mendapat perhatian dari luar.

Pengguna platform sosial X, Andrew Curran, mengutip informasi dari OpenAI yang menyatakan bahwa GPT-Astra terlibat mendalam dalam seluruh proses pengembangan Jalapeño:

Tim menggunakan Codex dan GPT-Astra untuk mengoptimalkan tiga model open-source yang awalnya tidak termasuk dalam rencana produksi massal Jalapeño menjadi status performa tinggi dalam dua bulan.

Ini berarti AI tidak hanya mempercepat desain chip itu sendiri, tetapi juga memperluas dengan cepat rentang model yang dapat didukung oleh chip.

Data dari SemiAnalysis lebih memperkuat kontribusi ini:

Desain yang dibantu AI mengurangi luas unit SIMD sebesar 8% dan luas matriks engine sebesar 10%, sekaligus mengungguli versi awal dalam hal timing dan konsumsi daya.

Di tingkat perangkat lunak, OpenAI menggunakan versi internal Codex yang diperluas untuk menulis kernel Jalapeño, dengan sebagian kode kernel mencapai sekitar 3.000 baris; pada mekanisme perhatian dan modul MoE yang paling membutuhkan kinerja, kode yang dihasilkan AI lebih cepat 1,5 hingga 1,8 kali dibandingkan implementasi insinyur terbaik manusia.

SemiAnalysis memberikan evaluasi yang sangat tajam: model OpenAI yang berjalan di GPU NVIDIA, seperti GPT-5.6 Sol, sedang digunakan untuk merancang chip yang benar-benar mengancam moat CUDA—“GPU milik NVIDIA sendiri sedang secara real-time menciptakan penerus potensialnya.”

Secara luas, publik mengasumsikan Jalapeño adalah chip yang secara mendalam disesuaikan untuk model milik OpenAI sendiri, tetapi kesimpulan SemiAnalysis justru sebaliknya: Jalapeño adalah chip universal untuk inferensi AI yang dapat menjalankan berbagai model dan beban kerja, bahkan termasuk game Doom yang dipindahkan menggunakan Codex.

Pada tingkat arsitektur, filosofi desain inti Jalapeño adalah "menghilangkan latensi tetap". Berbeda dengan GPU yang bergantung pada hierarki memori yang kompleks, Jalapeño menghubungkan inti komputasi secara langsung dengan potongan HBM, dengan inti-inti tersebut disinkronkan melalui jaringan kolektif berpita lebar khusus, sehingga secara signifikan mengurangi latensi akses memori.

Selain itu, Jalapeño menggunakan inti eksekusi out-of-order (OoO) dengan cache L1, bukan register yang dikelola perangkat lunak yang umum digunakan oleh akselerator lain, sehingga mampu mendekati puncak teoretis perangkat keras dalam skenario batch kecil dan latensi rendah.

Dalam hal bandwidth memori, Jalapeño menggunakan HBM4, mencapai bandwidth memori per paket sebesar 15,4 TB/s, dengan bandwidth HBM per watt mencapai 22, sedangkan NVIDIA Rubin sebesar 11,1 dan GB300 hanya 5,71.

SemiAnalysis menunjukkan bahwa kecepatan pin HBM4 Jalapeño mencapai 10Gbps, sedikit lebih tinggi dari 9.6Gbps pada Rubin NVIDIA, dengan pemasok HBM kemungkinan adalah Samsung.

Perlu dicatat bahwa Jalapeño memilih untuk tidak menerapkan pemisahan deployment prefetching dan decoding (PDD). SemiAnalysis memberikan penjelasan rinci mengenai hal ini:

Dalam lingkungan produksi nyata, parameter seperti rasio input-output, jumlah koneksi paralel, dan tingkat keberhasilan cache terus berubah; pooling tetap menyebabkan penurunan utilitas global; sementara pool sumber daya homogen dapat merespons perubahan lalu lintas secara fleksibel dan mengalokasikan sumber daya secara dinamis antara permintaan yang sensitif terhadap latensi dan pemrosesan batch berkecepatan tinggi.

SemiAnalysis dalam laporannya menyampaikan penilaian yang cukup berdampak: parit perlindungan CUDA mungkin sudah mati.

Ini didasarkan pada perbandingan kecepatan peluncuran perangkat lunak. Peluncuran CoWoS untuk NVIDIA Rubin selesai satu bulan lebih awal daripada Jalapeño, tetapi hingga saat ini, data benchmark publik Rubin yang dapat dilihat pihak luar hanya berasal dari contoh rekayasa CoreWeave, dan NVIDIA belum membuka akses bebas bagi pihak ketiga untuk menguji di laboratorium, seperti yang dilakukan OpenAI. SemiAnalysis berpendapat bahwa ini mencerminkan bukan perbedaan dalam perangkat keras itu sendiri, melainkan perbedaan dalam kedewasaan perangkat lunak.

Membangun tumpukan perangkat lunak dari nol memungkinkan OpenAI melepaskan beban sejarah dan membuat keputusan arsitektur yang lebih bersih. OpenAI menggunakan bahasa pemrograman inti buatan sendiri Gluon (berbasis Triton) dan mesin inferensi internal "Teacup", serta memanfaatkan Codex untuk mempercepat penyetelan inti. SemiAnalysis mengamati bahwa dalam waktu kurang dari dua minggu, Jalapeño meningkatkan throughput lebih dari dua kali lipat pada kecepatan interaksi tertentu; dalam delapan hari, tim memperluas tensor paralel dari TP8 menjadi TP32, mencapai penyebaran skala penuh kabinet lintas rak.

Namun, SemiAnalysis juga secara jelas menunjukkan bahwa pengujian saat ini hanya mencakup beban kerja relatif sederhana 8k1k, dan belum menyelesaikan pengujian panjang multi-sesi AgentX. Di bawah beban kerja agen yang lebih kompleks, kinerja komponen-komponen seperti router dan cache awalan akan menjadi tantangan baru.

Cerita Jalapeño belum berakhir.

Menurut SemiAnalysis, chip stepping A0 saat ini digunakan dalam pengujian publik, sementara stepping B0 telah memasuki pabrik wafer dan diperkirakan akan meningkatkan kinerja per watt sekitar 25% dibandingkan A0—daya komputasi MXFP4 untuk satu die komputasi B0 akan mencapai 13,4 PFLOPs, dengan TDP tetap pada 700W.

Pada tingkat sistem, OpenAI bekerja sama dengan Celestica untuk merancang solusi rak lengkap: setiap rak ASIC berisi 128 chip Jalapeño, dengan total daya sistem dua rak sekitar 160 kW, sebanding dengan rak ganda lebar NVIDIA GB300.

Dalam hal penerapan skala besar, satu domain jaringan tunggal dapat terhubung hingga 2.048 Jalapeño XPU, mencakup 16 rak. Dalam hal produksi massal, SemiAnalysis memperkirakan akan secara bertahap meningkatkan kapasitas pada tahun 2027, dengan tujuan tonggak berikutnya adalah penerapan skala 100MW.

Gambaran strategis yang lebih besar adalah bahwa OpenAI telah menandatangani perjanjian kerja sama untuk accelerator khusus 10GW, sebesar sekitar daya penuh dari sepuluh unit pembangkit nuklir.

Artikel Wall Street Journal menulis bahwa Richard Ho, kepala chip OpenAI, menyatakan bahwa perusahaan telah mencapai tingkat konsumsi daya dan biaya yang memungkinkan penurunan nyata dalam biaya infrastruktur, "Ini baru langkah pertama." Ia juga menekankan bahwa NVIDIA tetap menjadi mitra penting, dan permintaan OpenAI terhadap daya komputasi sangat besar, sehingga dalam jangka pendek tidak akan meninggalkan pemasok saat ini.

Para analis menunjukkan bahwa makna Jalapeño mungkin bukan terletak pada seberapa banyak chip NVIDIA yang dapat digantikannya hari ini, tetapi pada bukti bahwa hal yang sebelumnya banyak diragukan—sebuah perusahaan AI, menggunakan alat AI, dalam waktu rekornya, menciptakan chip yang benar-benar kompetitif—telah terwujud. Roda ini telah mulai berputar.