Chip Jalapeño dari OpenAI Mengungguli Blackwell dari NVIDIA dalam Efisiensi

Penulis: SemiAnalysis

Diterjemahkan oleh Deep潮 TechFlow

Ringkasan Shenchao: Data uji coba chip inferensi pertama buatan OpenAI, Jalapeño, telah terungkap, dengan efisiensi daya yang langsung mengalahkan flagship terkini NVIDIA, Blackwell, dan mendekati Rubin generasi berikutnya. Bagi perusahaan AI yang terhambat oleh batasan daya pusat data, chip ini berpotensi mengubah tatanan pasar komputasi. Namun, apakah chip generasi pertama ini benar-benar dapat menggoyahkan ekosistem CUDA NVIDIA tetap menjadi pertanyaan.

Dua tahun terakhir, OpenAI secara diam-diam mengembangkan "Jalapeño", chip inferensi yang baru saja diumumkan di Hot Chips. Kabar tentang keberhasilan produksi chip ini telah beredar sejak lama. Sekarang kami mendapatkan detailnya. OpenAI mengundang kami untuk melihat chip tersebut, memasuki laboratorium untuk memverifikasi keasliannya, dan melakukan pengujian benchmark menggunakan kit InferenceX kami.

Pada Juni tahun ini, OpenAI mengumumkan proyek chip bekerja sama dengan Broadcom, dirancang dari nol khusus untuk inferensi LLM. Pekerjaan desain dimulai pada pertengahan 2024, dan hanya memakan waktu sekitar 16 bulan dari rekrutmen tim awal hingga produksi chip, sebuah siklus pengembangan ASIC yang sangat cepat.

Biasanya chip generasi pertama tidak kompetitif, tetapi OpenAI melakukan sebaliknya: di berbagai model open-source teratas, ia mengalahkan semua chip NVIDIA, AMD, dan Google yang dapat kami uji, memimpin industri. OpenAI mencapainya melalui desain sinergis perangkat lunak dan perangkat keras yang ekstrem. Yang mengejutkan, OpenAI tidak terlalu fokus pada satu aspek tertentu dari inferensi model, tetapi berfokus pada menciptakan chip universal yang memberikan kinerja tinggi di semua skenario.

Artikel ini akan membahas secara mendalam detail arsitektur, detail perangkat lunak, dan hasil kinerja Jalapeño di InferenceX.

Semua orang mengatakan chip OpenAI dirancang khusus untuk model OpenAI, tetapi itu salah, OpenAI membuat chip universal untuk inferensi AI.

Timeline terlalu gila. Ini menunjukkan bahwa klaim “menggunakan AI untuk mempercepat desain chip” itu benar. Meskipun timeline sangat cepat, OpenAI menghabiskan banyak dana, membuat keputusan desain yang pragmatis, dan timnya sangat kuat, jadi ini tidak mengejutkan.

Dilihat dari spesifikasinya saja, langsung menjadi pesaing kuat:

Dan dengan menggunakan HBM4, ia cukup kuat untuk dibandingkan dengan GPU unggulan NVIDIA dan AMD:

Banyak media mengikuti pernyataan singkat OpenAI, mengklaim bahwa chip ini akan mengoptimalkan model mereka dengan cara yang tidak bisa dilakukan chip lain. Ini salah. Jalapeño adalah chip inferensi universal yang dapat menjalankan berbagai model dan beban kerja, termasuk benchmark InferenceX kami—kami menjalankan pengujian ini bersama insinyur OpenAI di laboratorium. Sebagai lelucon, OpenAI bahkan menunjukkan kepada kami bagaimana chip mereka menjalankan Doom, game yang hanya dipindahkan ke chip mereka menggunakan petunjuk Codex.

Berikut adalah hasil performa/watt terpenting kami, yang mengukur throughput token per total daya dalam megawatt. Jalapeño unggul jauh dibandingkan semua chip lainnya. Semua ini dilakukan tanpa menggunakan multi-token prediction (MTP), sementara chip lain dalam grafik menggunakan konfigurasi terbaik masing-masing SKU dengan MTP diaktifkan.

Jalapeño dalam hampir semua skenario, kinerja per watt melebihi Blackwell, tanpa dioptimalkan untuk titik tertentu pada kurva. Ia tidak hanya unggul dalam skenario latensi rendah, tetapi juga sangat baik dalam skenario throughput tinggi. Perbandingan yang lebih adil adalah melihat hasil prediksi satu token, di mana Jalapeño mengungguli semua pesaingnya dengan jarak jauh. Dalam skenario konsistensi rendah, Jalapeño menunjukkan interaktivitas luar biasa pada model DeepSeek R1, dengan lebih dari 700 token per detik per pengguna saat konsistensi sebesar 1.

Yang tak terduga, semuanya diimplementasikan menggunakan single-token prediction (STP), tanpa speculative decoding dan tanpa pemisahan prefill-decode. Selain DeepSeek R1, kami juga melihat beberapa model lain, termasuk Kimi-K2.5 dan GPT-OSS, yang mampu mencapai sekitar 1.400 token per pengguna per detik. Untuk semua model, kami mengonfirmasi bahwa hasil evaluasi GSM8k Jalapeño sebanding dengan chip NVIDIA.

Berikut beberapa hal yang perlu diperhatikan. Pertama, semua data disediakan oleh OpenAI. Kami telah menguji langsung InferenceX di laboratorium, tetapi tidak menjalankan seluruh rangkaian benchmark InferenceX, dan juga tidak melihat hasil AgentX. AgentX adalah rangkaian pilihan kami untuk membandingkan kinerja chip, karena dataset-nya yang memiliki konteks sangat panjang dan sifat multi-round mampu mencerminkan perilaku cache di bawah beban kerja produksi nyata. Framework yang tampil baik pada 8k1k mungkin justru tampil lebih buruk pada AgentX, karena beban kerja produksi nyata akan menguji komponen-komponen seperti router, mekanisme cache awalan, manajemen cache, dan infrastruktur offload. Pengujian 8k1k satu putaran tidak mencakup aspek-aspek ini. Untuk informasi lebih lanjut, silakan baca artikel AgentX kami.

AgentX - InferenceXv3: Apakah dinding pelindung CUDA masih bertahan dalam inferensi agen?

Kedua, kami merasa perbandingan dengan Blackwell agak tidak lengkap dan kurang adil. Lawan sebenarnya dari Jalapeño adalah chip-chip seperti Rubin yang juga menggunakan HBM4. Sistem Vera Rubin saat ini sudah mulai mengirimkan produk ke pelanggan, sementara Jalapeño dari OpenAI masih hanya memiliki sampel teknik dan memerlukan waktu lagi sebelum siap diproduksi massal.

Oleh karena itu, kinerja seharusnya dibandingkan dengan Rubin, bukan Blackwell. Dalam arti tertentu, kami memang mengharapkan chip khusus seperti Jalapeño akan melebihi Blackwell. Kinerja per watt dari Vera Rubin NVL72 adalah 5,4 kali lipat dari GB200 NVL72, seperti yang telah kami tulis dalam artikel analisis pernyataan kinerja NVIDIA dan CoreWeave bulan lalu. Kami akan membandingkan Jalapeño dengan data kinerja Vera Rubin pada Juli nanti.

Vera Rubin NVL72 dibandingkan GB200 NVL72? Analisis TCO dan arsitektur inferensi

Ketiga, model yang diuji tidak berada di garis terdepan open-source. NVIDIA dan AMD telah mempublikasikan hasil model yang lebih besar, seperti DeepSeek V4 Pro dan Kimi K3, melalui AgentX. Semakin besar model dan semakin baru rilisnya, semakin kompleks proses menjalankannya di chip baru. Meski demikian, model yang dijalankan OpenAI di Jalapeño juga tidak kecil.

Tujuan desain OpenAI adalah performa per watt. Alasannya sederhana: OpenAI saat ini dibatasi oleh listrik pusat data, bukan anggaran atau ruang ruang server, sehingga jumlah token per megawatt sangat penting. Di Computex 2026, Jensen Huang mengatakan bahwa performa per watt, keandalan, dan umur panjang adalah fitur inti GPU masa depan. Ia berkata secara langsung: "Jika Anda memiliki 1 gigawatt listrik, maka throughput per watt adalah pendapatan." Ia juga menyebutkan bahwa tidak masuk akal memilih arsitektur yang salah hanya karena chipnya lebih murah.

NVIDIA juga menekankan hal ini dalam presentasi Vera di Hot Chips 2026, sambil menampilkan grafik pendapatan yang sama: “Pusat data saat ini dibatasi oleh listrik.” Listrik sangat penting dan mendorong pendapatan.

Operator tidak dapat dengan mudah mendapatkan lebih banyak megawatt. Waktu yang dibutuhkan untuk menambah GPU dan meningkatkan kapasitas jaringan listrik sangat berbeda. Batas daya pusat data dibatasi oleh banyak faktor, seperti koneksi utilitas, infrastruktur, kapasitas pendinginan, serta desain UPS/generator cadangan. Penundaan jaringan listrik sering kali jauh lebih lama daripada kemajuan perangkat keras dan konstruksi, sehingga menciptakan permintaan akan kapasitas listrik pasca-meter. Artinya, membangun turbin gas dan generator lokal di lokasi pusat data. Kapasitas ini berada di belakang meter utilitas dan tidak bergantung pada jaringan listrik publik. Hal ini memungkinkan operator untuk memberi daya pada fasilitas tanpa harus menunggu koneksi jaringan listrik dan peningkatan utilitas. Inilah alasan utama mengapa Colossus 2 xAI sangat bergantung pada kapasitas pasca-meter, sementara koneksi jaringan listriknya sendiri jauh tertinggal. Untuk informasi lebih lanjut, lihat model energi kami.

Seperti yang kami tulis di postingan X, tok/s/MW dapat disederhanakan menjadi jumlah token per joule. Karena watt adalah joule per detik. Oleh karena itu, tok/s/MW mewakili efisiensi sistem serta kemampuan untuk mengubah energi menjadi token.

Dalam hal ini, Jalapeño unggul bahkan dibandingkan Rubin. Jalapeño dari OpenAI menghasilkan throughput token per megawatt STP yang melebihi hasil MTP Vera Rubin. Hasil ini dirilis oleh NVIDIA dan CoreWeave pada Juli. Hasil ini juga jauh melampaui hasil MTP GB200 pada tahun 2025. Seperti yang kami sebutkan dalam artikel Vera Rubin, perbandingan antara VR dan hasil GB200 tahun 2025 dilakukan karena keduanya berada pada tahap awal yang serupa. Sementara itu, membandingkan dengan GB200 tahun 2025 mempertahankan tingkat kedewasaan perangkat lunak yang sama. Menurut logika ini, kami membandingkan tiga hasil: hasil terbaru Vera Rubin Juli 2026, hasil GB200 tahun 2025, dan hasil Jalapeño saat ini. Perbandingan ini sangat masuk akal karena ini adalah data Rubin publik terbaik. Selain itu, OpenAI baru merilis chip mereka setelah Rubin. Baik OpenAI maupun Rubin masih belum matang, sehingga kinerja mereka masih akan terus meningkat.

Dalam hal kinerja/total cost of ownership (TCO), Vera Rubin dan Jalapeño seimbang, menghasilkan jumlah token hampir sama per dolar. Namun, seperti yang telah disebutkan sebelumnya, hasil Jalapeño tidak menggunakan speculative decoding, sedangkan hasil Vera Rubin menggunakan speculative decoding. Speculative decoding dapat mengurangi biaya per token sekitar 3-5 kali lipat. Setelah Jalapeño menerapkan speculative decoding, biaya penyediaan token-nya akan menjadi lebih efisien. Tentu saja, sebagian keunggulan TCO berasal dari menghindari margin keuntungan tinggi NVIDIA dan beralih ke margin keuntungan lebih rendah (meskipun tetap tinggi) dari Broadcom. Namun, ini bukan satu-satunya alasan. Misalnya, proyek AI ASIC Meta dan Microsoft yang telah lama diinvestasikan belum berhasil diwujudkan. Ini menunjukkan bahwa biaya hanyalah salah satu bagian dari persamaan. Untuk rincian lengkap TCO Jalapeño, lihat model TCO AI Cloud SemiAnalysis.

Secara arsitektur, OpenAI memilih untuk tidak memisahkan prefill dan decode ke dalam pool chip yang berbeda. Model draft dan model utama berbagi chip dan struktur interkoneksi yang sama. Desain ini mengorbankan sebagian efisiensi teoretis demi kemudahan operasional praktis. Motivasinya adalah komposisi beban kerja berubah seiring waktu. Misalnya, rasio input, penulisan cache, pembacaan cache, dan token output telah berubah secara signifikan. Perubahan ini terjadi setelah kami melewati tiga era model: pengetahuan, penalaran, dan agen, seperti yang dibahas dalam artikel terbaru kami. Oleh karena itu, menetapkan jumlah tetap untuk silicon prefill dan decode yang heterogen sejak awal akan menyebabkan ketidakefisienan seiring berjalannya waktu. OpenAI memilih pool homogen dalam arsitektur ini dan berupaya memastikan chip berkinerja baik pada semua tugas.

Dan memang demikian. Pada Kimi K2.5 (yang menjadi dasar Cursor Composer 2.5), Jalapeño mencapai hampir 700 tok/s/user. Kecepatan ini lebih dari 9 kali lipat dari chip terbaik kedua yang berada di 100 tok/s/user.

Di GPT-OSS, lagi-lagi terjadi dominasi mutlak. Jalapeño mencapai throughput interaktif per megawatt yang hampir dua kali lipat dari titik throughput maksimum GB200, dan lebih dari 50 kali lipat dari titik konkurensi 1 GB200. Titik Jalapeño dengan konkurensi lebih tinggi menggunakan EP8.

Hasil-hasil ini sangat mengesankan! Namun, kita harus lebih kritis: ini hanyalah 8k1k, dengan tingkat penyesuaian yang jauh lebih rendah, dan belum ada data kinerja AgentX. Seperti yang kami sebutkan dalam artikel AgentX, beban kerja multi-round dan konteks panjang memberikan tekanan lebih besar pada berbagai aspek stack inferensi, misalnya router dan cache awalan. Untuk tampil prima dalam beban kerja agen, diperlukan lebih banyak optimasi. Baca artikel AgentX untuk informasi lebih lanjut.

AgentX - InferenceXv3: Apakah parit CUDA masih dapat bertahan dalam inferensi agen?

Semua hasil ini berasal dari stepping A0 Jalapeño, hanya 9 bulan sejak proyek diluncurkan. Namun, stepping B0 kini sudah berada di pabrik wafer! Optimalisasi B0 meningkatkan kinerja per watt sekitar 25% dibandingkan silikon A0 sebelumnya. Secara khusus, stepping B0 mencapai 13,4 PFLOPs MXFP4 pada chip dengan ukuran mask tunggal. Chip ini diproduksi menggunakan proses TSMC N3P. Sebagai perbandingan, satu chip komputasi Rubin mencapai 17,5 PFLOPs dense Rubin NVFP4 pada ukuran serupa dan node yang sama.

Mengingat TDP Jalapeño hanya 700W, sementara Rubin mengonsumsi 900-1150W per chip komputasi, kinerja ini semakin mengesankan. Karena Jalapeño dirancang untuk inferensi, bukan pelatihan, OpenAI tidak perlu meningkatkan TDP untuk memaksimalkan FLOPs. Ini dapat dipahami. Namun demikian, hasil di atas menunjukkan bahwa Jalapeño menyediakan FLOPs teoretis puncak yang signifikan.

Dibandingkan dengan akselerator lainnya, Jalapeño memiliki bandwidth HBM per watt tertinggi dan FLOPs per watt tertinggi, setara dengan konfigurasi Rubin Max-Q 1800W.

Jalapeño akan menggunakan HBM4, menjadikannya salah satu chip pertama yang mengadopsi teknologi ini setelah Nvidia dan AMD, bahkan mendahului proyek TPU dan Trainium yang sudah ada. Salah satu prinsip arsitektur utama Jalapeño adalah memaksimalkan bandwidth HBM, sehingga mengompromikan penggunaan HBM yang bukan kelas atas akan bertentangan dengan tujuan ini. Hal ini menghasilkan bandwidth memori per paket sebesar 15,4 TB/s, melebihi semua akselerator lain yang saat ini dijual dan menggunakan HBM3E. Bandwidth 15,4 TB/s menunjukkan bahwa HBM4-nya dapat mencapai kecepatan pin 10 Gbps, sedikit lebih tinggi dari 9,6 Gbps HBM4 pada Rubin milik Nvidia. HBM kemungkinan besar disediakan oleh Samsung.

OpenAI menyelesaikan jalur produksi Jalapeño pada November 2025, lebih tepatnya, jalur produksi desain CoWoS, bukan hanya chip lapisan atas. Dalam 9 bulan setelah jalur produksi pada November 2025, dan hanya setelah 3 bulan debugging pada silikon nyata, OpenAI telah mencapai hasil sangat baik dengan Jalapeño. Hal ini semakin mengesankan mengingat tim memulai dari nol pada stack perangkat lunak.

Sementara itu, proses produksi CoWoS Rubin selesai pada Oktober 2025, satu bulan lebih awal, tetapi satu-satunya hasil awal yang kami lihat saat ini berasal dari sampel teknis CoreWeave. Nvidia tidak memungkinkan kami untuk menguji dan mempublikasikan benchmark seperti yang dilakukan OpenAI, menunjukkan bahwa perangkat lunak chip mereka masih belum matang. Mengingat OpenAI dapat menjalankan model baru dengan sangat cepat di chip miliknya sendiri, parit CUDA mungkin telah menghilang.

Mereka masih jauh dari dioptimalkan, dan kita dapat melihat bahwa secara keseluruhan Jalapeño memberikan data yang lebih baik. Kami tidak menganggap perangkat keras Nvidia lebih buruk, tetapi perkembangan penyesuaian perangkat lunak Jalapeño lebih cepat daripada Nvidia. Ini menunjukkan kekuatan desain sinergis perangkat keras/perangkat lunak, yang merupakan bidang utama di mana tim ASIC laboratorium terdepan mampu mengungguli produsen chip komersial yang lebih matang. Secara kontra-intuitif, memulai dari nol mungkin juga menguntungkan OpenAI, karena dapat membuat keputusan arsitektur baru tanpa terikat pada kompatibilitas mundur atau versi perangkat lunak lama.

Meskipun OpenAI telah memiliki sampel teknik Jalapeño, produksi massal saat ini direncanakan untuk meningkat secara bertahap pada tahun 2027, dengan sebagian besar output dijadwalkan untuk akhir tahun depan. Untuk detail lebih lanjut mengenai jumlah unit dan harga rata-rata, lihat SemiAnalysis Accelerator Model.

OpenAI Jalapeno dapat dikatakan sebagai ASIC berskala besar yang sebenarnya.

Dibandingkan dengan timeline Rubin, kecepatan Jalapeño luar biasa. Seperti yang telah ditunjukkan sebelumnya, meskipun Rubin memulai lebih awal, hasil Jalapeño tetap mengungguli Rubin.

Arsitektur Jalapeño

Dari segi arsitektur mendalam, mesin matriks chip ini menggunakan format numerik MXFP dan array gelombang penyimpan bobot, mirip dengan TPU. Namun, dibandingkan langsung dengan TPU, ia mendukung bentuk/dimensi yang lebih kecil, yang berarti tidak akan mengalami penurunan kinerja aneh pada perkalian matriks dengan ketidakcocokan bentuk seperti yang terjadi pada array gelombang yang lebih besar.

Chip ini juga memiliki inti skalar 64-bit dan inti vektor FP32/INT32. OpenAI juga menerapkan desain redundansi di tingkat tray, serta membangun recovery yield di tingkat inti dan saluran. Mereka menyatakan bahwa bantuan AI dalam desain chip mengurangi luas SIMD sebesar 8% dan luas matriks engine sebesar 10%. Meskipun mereka tidak menyebutkan kondisi PVT (proses/tegangan/suhu) secara spesifik, mereka menyebutkan bahwa modul bantuan AI meningkatkan timing dan konsumsi daya dibandingkan modul awal.

Desain arsitektur Jalapeño berfokus pada penghapusan pemindahan memori KVCache dan bobot, serta latensi dan overhead tetap, agar dapat mendekati kapasitas dan bandwidth puncak asli dibandingkan akselerator lainnya, bahkan pada batch kecil atau bentuk kecil.

Inti dan HBM dibagi menjadi beberapa potongan, di mana setiap potongan inti memiliki pandangan lokal berlatensi rendah terhadap potongan HBM-nya sendiri. Sinkronisasi antar potongan dilakukan melalui jaringan kolektif khusus berpita lebar tinggi. Struktur memori yang sangat sederhana ini memberikan Jalapeño keunggulan potensial besar dibandingkan GPU, karena akses memori pada GPU harus melewati sistem memori yang kompleks, menghasilkan latensi yang lebih besar yang harus diamortisasi atau disembunyikan pada bentuk besar.

Pilihan ini feasible karena sinkronisasi antar inti dapat dibatasi pada komunikasi berpita lebar terbatas dan diketahui, seperti komunikasi paralel tensor yang dapat tumpang tindih dengan komputasi.

Selain itu, terdapat NoC umum tambahan untuk komunikasi umum dan akses ke jaringan eksternal. Secara keseluruhan, OpenAI menghemat sejumlah besar daya dan mencapai peningkatan kinerja yang signifikan dibandingkan Nvidia dan Google melalui NOC dan sistem memori yang disederhanakan.

Pada intinya, OpenAI menggambarkan inti out-of-order (OoO) dengan cache L1. Ini sangat berbeda dari pola yang kami lihat di akselerator lain, yang semuanya menggunakan register yang dikelola perangkat lunak, biasanya dilengkapi dukungan DMA asinkron. Argumen di sini adalah bahwa hal ini memungkinkan Jalapeño menghindari overhead tetap seperti latensi barrier, yang pada akselerator lain (seperti GPU) harus disembunyikan atau dialokasikan dengan meningkatkan beban kerja per inti, sehingga lebih sulit mendekati bandwidth/kekuatan puncak asli.

Harganya adalah, Jalapeño menjadi bergantung pada prefetch yang baik untuk memastikan permintaan memori tiba tepat waktu, yang lebih sulit diprediksi dan diuraikan. Namun, dengan bantuan Codex untuk mendapatkan jejak rinci dalam kerangka kerja yang baik, menemukan kernel optimal dengan prefetch terbaik untuk bentuk tertentu hampir tidak memerlukan intervensi manusia. Kami percaya inilah alasan mengapa OpenAI dapat secepat itu menjalankan DeepSeek R1, Kimi K2.5, dan GPT-OSS.

Inti juga mendukung dimensi matriks "lebih kecil", yang (tergantung seberapa kecilnya) seharusnya membuatnya lebih serbaguna di berbagai model dan dimensi batch, serta lebih tidak sensitif terhadap misalignment dimensi matriks, overhead padding, dan efisiensi bloking yang rendah. Sebagai contoh, chip TPU, Trainium, dan Etched memiliki array pipa yang sangat besar, yang mungkin memerlukan batch besar atau dimensi model yang habis dibagi untuk menghindari efisiensi bloking yang rendah.

Dengan Jalapeño, OpenAI berfokus pada penghapusan latensi tetap dalam sistem agar mendekati kinerja roofline sebanyak mungkin di semua wilayah kurva Pareto. Secara teori, ini dapat memberikan keunggulan relatif terhadap GPU di beberapa titik kerja:

Kinerja maksimum untuk inferensi latensi rendah/batch kecil jauh lebih unggul daripada GPU. GPU dibatasi oleh overhead tetap seperti latensi inisialisasi, latensi barrier, dan latensi sistem memori.

Meskipun dalam jumlah besar atau konteks panjang, berpotensi lebih mendekati roofline perangkat keras.

Ini disertai peringatan: meskipun secara teoritis ada batas performa, kernel aktual mungkin lebih sulit mencapai performa tersebut. Oleh karena itu, pendekatannya tampaknya:

Dirancang untuk kinerja maksimum pada semua bentuk beban kerja

Biarkan Codex menangani pekerjaan berat, temukan kernel yang mencapai batas tersebut

Tim OpenAI meluncurkan beban kerja InferenceX di Jalapeño dengan waktu putar yang sangat cepat.

Karena itu, kami merasa optimis terhadap metode ini.

Jika Jalapeño berhasil, akan melepaskan sinyal yang kuat.

Obsesi industri terhadap model pemrograman dan compiler universal sempurna akan dipecahkan oleh model AI terkini.

OpenAI menulis kernel Jalapeño seperti menulis assembly.

Setiap kernel memiliki kode yang disesuaikan secara manual, sebagian sekitar 3000 baris.

Juga mendukung pemeriksaan keakuratan dan sanitizer khusus.

Pekerjaan inti awal melibatkan manusia dalam siklus, bukan sepenuhnya otomatis.

Kemudian beralih ke versi internal Codex yang lebih berskala besar.

OpenAI berencana menjual versi ini kepada pelanggan perusahaan.

Mesin layanan internal disebut "Teacup".

Menariknya, OpenAI sebelumnya tidak memiliki implementasi inti MLA internal.

Sampai mereka melakukan pengujian benchmark terhadap DeepSeek menggunakan InferenceX.

Codex dapat menulis kernel yang efisien dan dapat digunakan dengan sangat cepat, tanpa memerlukan intervensi tim rekayasa kernel.

Ini menunjukkan kemampuan pengembangan pipeline perangkat lunak.

OpenAI menggunakan Gluon untuk memprogram Jalapeño.

Gluon adalah bahasa pemrograman inti OpenAI.

Gluon dibangun di atas Triton, mempertahankan model pemrograman SPMD (Single Program Multiple Data) Triton.

Namun, ia mengekspos abstraksi pemrograman dasar.

Misalnya, untuk NVIDIA GPU, ia menyediakan API yang dipetakan ke instruksi PTX.

Termasuk instruksi MMA, instruksi TMA, mekanisme mbarrier, dll.

Abstraksi paling unik yang disediakan oleh Gluon adalah tata letak.

Secara umum, layout mendefinisikan pemetaan antara sumber daya perangkat keras dan elemen tensor.

Misalnya, register ke-5 dari Warp 9, yang sesuai dengan elemen tensor di baris ke-6, kolom ke-7.

Abstrak tata letak Gluon didasarkan pada Linear Layouts.

Ini adalah aljabar tata letak yang diciptakan oleh OpenAI.

Linear Layouts secara matematis memformalkan apa itu tata letak.

Sediakan alat untuk tata letak operasi.

Ini mendukung banyak fitur, seperti transformasi tata letak yang dapat dibuktikan kebenarannya.

Masih ada swizzling memori optimal.

Dalam model pemrograman Jalapeño, setiap program Gluon dipetakan ke thread yang persisten.

Kami berpendapat ini mengindikasikan Jalapeño cocok untuk pola pemrograman inti yang tahan lama.

Setiap program dijalankan di beberapa tile, dengan pekerjaan dialokasikan oleh programmer, bukan oleh scheduler perangkat keras.

OpenAI menyebutkan TensorInfo.

Ini adalah abstraksi dari tata letak yang dienkripsi secara eksplisit.

Ini mungkin merupakan serangkaian tata letak yang dirancang untuk Jalapeño.

It will be powered by Linear Layouts.

Terakhir, setiap inti menyediakan unit prefetch data dan unit out-of-order decoupling.

Misalnya, pengguna dapat memprogram untuk menunggu data yang diambil sebelumnya.

Data ini dikunci oleh semaphore.

Ironisnya, model OpenAI seperti GPT 5.6 Sol saat ini berjalan di NVIDIA GPU.

Mereka digunakan untuk merancang chip yang menjadi ancaman nyata terhadap moat CUDA.

GPU milik NVIDIA sedang secara real-time mendorong calon penerusnya.

Dibandingkan secara lintas waktu, kita juga bisa melihat kecepatan pengembangan Jalapeño.

Dalam waktu kurang dari dua minggu, throughput untuk beberapa skenario interaksi meningkat lebih dari 2 kali lipat.

Setiap tarball yang kami terima dari tim Jalapeño berisi dunia yang luar biasa.

Selain peningkatan kinerja inti, tim Jalapeño mengaktifkan TP32 dalam 8 hari.

Berdasarkan konfigurasi TP8 sebelumnya, perluas ke luar sistem tunggal untuk mencapai konfigurasi tingkat rak penuh dalam menjalankan model besar.

Kecepatan pengembangan ini memang mengesankan.

Untuk memverifikasi kinerja sebelum dijalankan pada perangkat keras asli, OpenAI juga memiliki simulator bernama "chilisim".

Akurasinya dalam 5% dari perangkat keras yang diuji, menggunakan bus trace lebar tetap.

Kemampuan pelacakan terbatas di A0, tetapi secara signifikan diperbaiki di B0.

Ini mungkin didukung oleh data operasional nyata dari chip A0.

Insinyur mendemonstrasikan Codex CLI menjalankan model internal.

Nama panggilannya adalah "Raiku" atau "5.3 Codex Spark", TPOT adalah 1,2 ms.

Tim juga menunjukkan demo yang ditulis oleh Codex yang berjalan langsung di chip.

Termasuk Doom dengan 36 FPS dan simulasi dinamika fluida FP32.

Masih ada visualisasi drag mouse "Liquid Light".

Dalam hal model, solusi megakernel internal OpenAI memiliki julukan "gigakernel".

Ia dibangun di sekitar satu megakernel yang berputar di perangkat untuk mengurangi beban CPU dan waktu startup.

Tim juga terus mengembangkan strategi perhitungan selama pengujian.

Perhatian khusus internal terhadap cara mengoordinasikan penggunaan 1 juta rollout.

Kami sebelumnya menyebutkan bahwa OpenAI tidak menggunakan pemisahan prefill-decode pada chip-chip ini.

Ini membuat kami terkejut, karena kinerja GPU NVIDIA dan AMD secara signifikan diuntungkan dari PDD.

Bahkan pada perangkat keras homogen.

Mari kita telusuri mengapa tim Jalapeño melakukan hal ini.

Saat beban kerja tetap, pemisahan prefill-decode terlihat sangat menarik.

Prefill dan decode memiliki tekanan yang berbeda pada perangkat keras.

Alokasikan setiap tahap ke kolam yang disesuaikan secara terpisah untuk meningkatkan efisiensi di bawah rasio input-output yang dipilih.

Namun, lalu lintas produksi tidak akan mempertahankan rasio tersebut.

Panjang urutan input-output, paralelisme, tingkat keberhasilan cache, tingkat penerimaan spekulatif, dan target latensi berubah sepanjang hari.

Setelah perangkat dibagi menjadi pool prefill dan decode, permintaan prefill yang berlebihan akan membuat chip decode menganggur dan permintaan akan antri.

Namun, permintaan decode yang terlalu banyak justru sebaliknya.

Operator harus terus memprediksi pemisahan yang benar dan menyediakan kapasitas cadangan untuk kedua sisi.

Dan menyeimbangkan kembali sistem dengan rasio ideal yang terus berubah.

Dalam sistem terpadu, beberapa sumber daya mungkin tidak dimanfaatkan secara optimal pada tahap tertentu.

Namun, setiap perangkat masih dapat digunakan untuk melayani permintaan berikutnya.

Dalam sistem terpisah, seluruh chip mungkin hanya terbengkalai karena termasuk dalam pool yang salah.

Penggunaan lokal tampak lebih baik, tetapi penggunaan global mungkin buruk.

Pemisahan juga akan merusak lokalitas.

prefill worker menghasilkan KV cache besar yang segera dibutuhkan oleh decode worker.

Sistem harus mentransmisikan status ini melalui jaringan agar proses generasi dapat berlanjut.

Ini meningkatkan konsumsi bandwidth, sinkronisasi, antrian, dan domain kegagalan lainnya.

Biaya juga meningkat seiring dengan panjang urutan masukan karena KV cache tumbuh.

Namun, menghindari pergerakan KV terutama bertujuan untuk mengoptimalkan konsumsi daya dan latensi.

Menggeser beberapa KV dapat meningkatkan pemanfaatan perangkat keras, dengan biaya konsumsi daya dan latensi permintaan tunggal.

Cluster yang saling dapat ditukar dapat mentransfer kapasitas antara permintaan yang sensitif terhadap latensi dan batch yang berorientasi pada throughput.

Pembagian tetap mengakibatkan perangkat keras menganggur saat komposisi lalu lintas berubah.

Selain itu, perubahan panjang konteks mengubah keseimbangan antara perhatian dan FFN.

Rasio perangkat keras tetap hanya efisien di sekitar titik desain.

Batasan yang sama juga berlaku untuk speculative decoding. Model draf harus menyediakan token kandidat ke validator dengan latensi sangat rendah. Memisahkan keduanya ke dalam pool khusus yang berbeda akan mengubah siklus decoding yang saling terkait erat menjadi protokol terdistribusi. Komunikasi dan koordinasi tambahan mungkin menghabiskan latensi yang dihemat oleh draf. Hanya dengan menempatkan kedua model pada perangkat yang sama dan struktur latensi rendah, lokalitas yang membuat speculative worthwhile dapat dipertahankan.

Namun, di tempat-tempat di mana permintaan cukup besar, stabil, dan dapat diprediksi, decoupling tetap unggul. Terutama ketika GPU tradisional memerlukan batch besar dan bertahap untuk mencapai throughput yang baik. Tetapi ini bukan makan siang gratis.

Sistem Jalapeño terdiri dari rack unit CPU host dan rack ASIC. Rack host menampung 16 tray CPU host bernama "Katsu". Setiap Katsu terhubung ke salah satu dari 16 tray ASIC di sisi kanan, yang disebut "Vindaloo". Setiap host dilengkapi dua CPU AMD EPYC kelas Turin, dengan 1,5 TB DRAM, 2x E1.S, dan 2x M.2 SSD per rack. Setiap tray juga dilengkapi jaringan depan 400G (2x200G). Setiap tray Katsu terhubung ke setiap tray Vindaloo melalui 8 kabel PCIe DAC eksternal. Kabel-kabel ini dirutekan secara horizontal di bagian depan rack. Desain sistem ini dikembangkan bersama Celestica.

Rak ASIC terdiri dari 16 baki Vindaloo dan 8 baki switch ekstensi (6 lokal + 2 global), dinamakan “Chana”. Setiap baki Vindaloo berisi 8 ASIC Jalapeño, dengan total 128 ASIC Jalapeño per rak. ASIC terhubung ke setiap baki switch Chana melalui papan belakang kabel tembaga, mirip dengan Nvidia Oberon. Topologi ekstensi dibagi menjadi domain lokal dan domain global. Domain lokal mencakup 128 ASIC dalam rak tersebut. Domain global menghubungkan hingga 16 rak atau 2.048 ASIC. Kami akan menjelaskan lebih rinci mengenai bandwidth dan topologi di bawah ini.

Daya yang dibutuhkan rak server samping sekitar 50 kW (31 kW dalam produksi), sedangkan rak ASIC mengonsumsi 130 kW. Seluruh sistem rak ganda sekitar 160 kW. Dari segi konsumsi daya, ini setara dengan rak GB300 lebar ganda.

OpenAI dapat menghubungkan hingga 2.048 Jalapeño XPU dalam satu jaringan ekstensi. Jaringan ekstensi terdiri dari dua domain. Domain lokal menghubungkan seluruh 128 XPU dalam rak melalui papan belakang. Domain global menggunakan kombinasi kabel tembaga dan interkoneksi optik untuk menghubungkan 2.048 XPU dari 16 rak. Setiap rak berisi 8 baki switch Chana. Enam switch Chana tengah digunakan untuk domain lokal. Masing-masing dilengkapi dengan ASIC switch Tomahawk 6 102,4T. Dua switch Chana di atas dan bawah digunakan untuk domain global. Kami menduga kemungkinan besar adalah 2 switch Tomahawk 6 102,4T, dengan total kapasitas hingga 204,8T per baki switch.

Di wilayah lokal, 128 chip Jalapeño memiliki bandwidth satu arah 4,8 Tb/s per XPU. Mereka terhubung secara penuh-ke-penuh ke 6 ASIC Tomahawk 6 sebesar 102,4 Tb/s. Ini setara dengan 48 pasang konektor diferensial (DP) jantan dan betina per XPU. Secara total, terdapat 6.144 pasang kabel tembaga pasif DP untuk ekspansi lokal per rak.

Di domain global, 16 rak dengan total 2.048 XPU terhubung melalui kombinasi backplane tembaga, switch listrik 204.8T TH6, modul optik 1.6T, dan optical circuit switch. Bandwidth unidirectional global link setiap XPU adalah 1,6 Tb/s. Setiap XPU memiliki 16 pasang konektor jantan-betina diferensial (DP) untuk koneksi backplane antara XPU dan switch global. Setiap baki switch global memiliki 2 ASIC, dengan bandwidth keluarannya dibagi antara backplane dan perangkat optik depan.

Antara domain lokal dan domain global, jumlah konektor papan belakang per rak adalah 64 pasang DP per XPU. Secara total, terdapat 8.192 pasang DP kabel tembaga pasif per rak.

Domain global menggunakan arsitektur rail murni, yang terdiri dari 8 rail dalam domain global. Kami percaya OpenAI merutekan tautan optik di domain global melalui optical circuit switches (OCS) yang dipasang di setiap rak. Bandwidth global 1,6 Tb/s dari setiap XPU akan mencapai baki switch global melalui backplane tembaga. Kemudian, sinyal meninggalkan switch melalui modul optik 1,6 T di panel depan. Sinyal ini terlebih dahulu memasuki optical switch pasif, lalu meninggalkan rak. Hal ini memungkinkan skala domain diperluas hingga 2.048 XPU, yang terdiri dari 16 rak, masing-masing berisi 128 XPU.

Karena jaringan ekstensi hanya menyumbang sekitar 10% dari total biaya sistem, fleksibilitas ini memberikan pilihan berharga untuk model dengan parameter 10 hingga 20 triliun atau jendela konteks 2 juta hingga 4 juta token di masa depan. Dalam hal penerapan, OpenAI bekerja sama dengan neocloud. Perusahaan juga telah mengumpulkan data keandalan bersama mitra pusat data sebulan yang lalu, sekaligus mengoptimalkan waktu penerapan dari dermaga ke rak.

Selanjutnya, kita akan membahas masa depan Jalapeño, di mana token produksi pertamanya akan segera diluncurkan. Tujuan berikutnya adalah 100 MW, dengan hambatan utama berada pada perangkat keras: seberapa banyak mereka dapat memproduksi, seberapa baik mereka dapat menerapkan dan mengoperasikan pusat data, serta bagaimana menangani pemantauan dan ketahanan. Perangkat lunak telah diverifikasi, dan dengan model internal, keunggulan pertama di bidang perangkat lunak mudah dikejar. Setelah pembatasan akses berbayar, kita akan membahas dampaknya terhadap perusahaan chip seperti NVIDIA, AMD, dan Cerebras, yang telah menandatangani kontrak dengan OpenAI dalam beberapa tahun mendatang.

Kami juga mencakup produksi, jumlah, dan jadwal chip generasi berikutnya dalam model Accelerator.

Bagian selanjutnya adalah konten berbayar, karena masalah izin tidak dilakukan kompilasi lebih lanjut, namun informasi sebelumnya telah memberikan banyak data tentang tantangan OpenAI terhadap chip NVIDIA. Bagi pemain yang memperhatikan sektor chip dan harga saham NVIDIA, informasi ini akan memberikan referensi baru dan solid.