OpenAI 的 Jalapeño 芯片在效率上超越 NVIDIA 的 Blackwell

作者：SemiAnalysis

編譯：深潮 TechFlow

深潮導讀：OpenAI 首款自研推理晶片 Jalapeño 實測數據曝光，能效直接壓過英偉達現役旗艦 Blackwell，直逼下一代 Rubin。對受困於資料中心電力瓶頸的 AI 公司來說，這枚晶片可能改寫算力市場格局。但第一代晶片能否真正動搖英偉達的 CUDA 生態，仍需打一個問號。

過去兩年，OpenAI 一直在默默研發「Jalapeño」這款推理晶片，該晶片剛剛在 Hot Chips 上公布。流片成功的傳聞已流傳一陣子，但現在我們獲得了詳細資訊。OpenAI 邀請我們查看晶片、進入實驗室驗證其真實性，並使用我們的 InferenceX 套件進行基準測試。

今年 6 月，OpenAI 公布了與博通合作的晶片項目，從零開始專為 LLM 推理打造。設計工作始於 2024 年年中，從最初團隊招聘到製造流片只用了約 16 個月，這是一個極快的 ASIC 開發週期。

通常第一代晶片缺乏競爭力，但 OpenAI 反其道而行，在多個頂級開源模型上，它擊敗了我們測試過的所有英偉達、AMD 和谷歌晶片，處於行業領先地位。OpenAI 的優勢在於極致的軟硬體協同設計。令人意外的是，OpenAI 並未過度專注於模型推理的某個特定環節，而是專注於打造一款在所有場景下都能提供高性能的通用晶片。

本文將深入探討 Jalapeño 在 InferenceX 上的架構細節、軟體細節和性能結果。

所有人都說 OpenAI 的晶片是為 OpenAI 模型量身定做的，但這是錯的，OpenAI 推出了一款面向 AI 推理的通用晶片。

時間線太瘋狂了。這表明「用 AI 加速晶片設計」的說法是真的。儘管時間線很快，OpenAI 花了大量資金、做了務實的設計決策，而且團隊非常強，所以這不令人意外。

單看規格，它立刻就是有力競爭者：

而且使用 HBM4 讓它足以與英偉達和 AMD 的旗艦 GPU 相提並論：

許多媒體對這款晶片的報導，都跟隨 OpenAI 幾句隨口說的話，聲稱它會以其他晶片無法做到的方式為其模型優化。這是錯誤的。Jalapeño 是一款通用推理晶片，能夠運行各種模型和各種工作負載，包括我們的 InferenceX 基準測試——我們當時與 OpenAI 工程師在實驗室裡一起運行了這個測試。作為玩笑，OpenAI 甚至向我們展示了它在運行《毀滅戰士》，這款遊戲僅透過 Codex 提示詞就被移植到他們的晶片上。

以下是我們最重要的效能/瓦特結果，衡量的是每兆瓦總功耗下的 token 吞吐量。Jalapeño 在所有晶片中表現完勝。這些結果均未使用多 token 預測（MTP），而圖表中的其他晶片則均為各自 SKU 的最佳配置，且全部啟用了 MTP。

Jalapeño 在幾乎所有場景下的性能/瓦特均超越 Blackwell，且未針對曲線上的任何特定點進行優化。它不僅在低延遲場景中表現出色，在高吞吐場景中同樣優異。更公平的比較方式是查看單 token 預測結果，Jalapeño 將每位競爭對手都甩開數條街。在低併發場景下，Jalapeño 展現出驚人的互動性，在 DeepSeek R1 模型上，當併發數為 1 時，每位用戶每秒可處理超過 700 個 token。

令人驚訝的是，這一切均透過單 token 預測（STP）實現，無需推測解碼，也無預填充-解碼分離。除了 DeepSeek R1，我們還觀察到其他一些模型，例如 Kimi-K2.5 和 GPT-OSS，它們的表現約達每用戶每秒 1,400 個 token。對於所有模型，我們確認 Jalapeño 在 GSM8k 評測中的表現與英偉達晶片持平。

這裡有幾點注意事項。第一，所有數據均由 OpenAI 提供。我們親自於實驗室驗證了 InferenceX 的運行，但未運行完整的 InferenceX 基準套件，也未看到 AgentX 的結果。AgentX 是我們比較晶片性能的首選套件，因為其數據集的超長上下文和多輪特性，能反映真實生產工作負載下的快取行為。在 8k1k 上表現良好的框架，在 AgentX 上可能表現更差，因為真實生產負載會壓力測試路由器、前綴快取機制、快取管理、卸載基礎設施等組件。單輪 8k1k 測試無法涵蓋這些。更多內容請閱讀我們的 AgentX 文章。

AgentX - InferenceXv3：The CUDA moat still holds up in agent inference?

第二，我們認為與 Blackwell 的對比有些不完整，也不太公平。Jalapeño 真正的對手是同樣使用 HBM4 的 Rubin 等晶片。Vera Rubin 系統目前已開始向客戶發貨，而 OpenAI 的 Jalapeño 還只有工程樣品，距離量產還需要一段時間。

因此，性能真正應該與 Rubin 對比，而不是 Blackwell。從某種意義上說，我們本就預期像 Jalapeño 這樣的定制晶片會超過 Blackwell。Vera Rubin NVL72 的每瓦性能是 GB200 NVL72 的 5.4 倍，這一點我們在上個月分析英偉達與 CoreWeave 發布時的性能聲明文章中寫過。稍後我們會把 Jalapeño 與 Vera Rubin 7 月的性能數據做對比。

Vera Rubin NVL72 對比 GB200 NVL72？推理 TCO 與架構分析

第三，測試的模型並未處於開源領域的最前沿。英偉達和 AMD 已經透過 AgentX 公布了更大模型的結果，例如 DeepSeek V4 Pro 和 Kimi K3。模型越大、發布越新，在新晶片上運行就越複雜。話雖如此，OpenAI 在 Jalapeño 上運行的模型也不算小。

OpenAI 的設計目標是效能/瓦特。原因很簡單：OpenAI 目前受限於資料中心的電力，而非預算或機房空間，因此每兆瓦的 token 數至關重要。在 Computex 2026 上，黃仁勳表示，效能/瓦特、可靠性和長壽命是未來 GPU 的核心特性。他原話說：「如果你有 1 吉瓦的電力，那麼每瓦的吞吐量就是收入。」他還提到，僅僅因為晶片更便宜就選擇錯誤的架構，沒有意義。

英偉達在 Hot Chips 2026 的 Vera 演講中也強調了這一點，並展示了相同的收入圖表：「如今的資料中心受電力限制。」電力至關重要，並驅動收入。

運營商無法輕鬆獲得更多兆瓦。增加 GPU 與增加電網容量的時間尺度差異巨大。數據中心的電力上限受到諸多限制，例如公用事業互聯、基礎設施、冷卻能力以及 UPS/備用發電設計。電網延遲屢屢超過硬體和建設進度，催生了對表後電力容量的需求，即在數據中心本地建造燃氣輪機和現場發電機。這些容量位於公用事業電錶之後，不依賴公共電網，讓運營商無需等待電網互聯和公用事業升級即可為設施供電。這正是 xAI 的 Colossus 2 嚴重依賴表後電力的原因，而其實際電網連接遠遠落後。更多資訊請參閱我們的能源模型。

正如我們在 X 帖子中所寫，tok/s/MW 可簡化為每焦耳 token 數。因為瓦特就是每秒焦耳。因此 tok/s/MW 代表系統效率，以及將能量轉化為 token 的能力。

在這方面，即使與 Rubin 相比，Jalapeño 也更勝一籌。OpenAI 的 Jalapeño 每兆瓦 STP 輸出的 token 吞吐量，超越了 Vera Rubin 的 MTP 結果。該結果由英偉達與 CoreWeave 於七月發布。它也遠超 GB200 在 2025 年的 MTP 結果。正如我們在 Vera Rubin 文章中所提，VR 與 2025 年 GB200 結果對比。這是因為兩者處於類似的早期啟動階段。同時，與 2025 年 GB200 對比可保持軟體成熟度不變。按照這一邏輯，我們對比三類結果：即 Vera Rubin 最新 2026 年 7 月結果、GB200 2025 年結果以及當前 Jalapeño 結果。這一對比非常合理，因為這些是最優的公開 Rubin 數據。而且 OpenAI 在 Rubin 之後才流片自己的晶片。OpenAI 和 Rubin 都仍不成熟，因此性能還將繼續提升。

在性能/總擁有成本方面，Vera Rubin 和 Jalapeño 勢均力敵，每美元產生的輸出 token 數幾乎相同。然而，如前所述，Jalapeño 的結果未使用推測解碼，而 Vera Rubin 的結果則使用了推測解碼。推測解碼可將每個 token 的成本降低約 3–5 倍。當 Jalapeño 實現推測解碼後，其提供 token 服務的成本效益將更高。當然，部分 TCO 優勢來自於避開英偉達的高利潤率，轉向博通較低（但仍很高）的利潤率。但這並非全部原因。例如，Meta 和微軟的 AI ASIC 專案投入更久卻未能成功落地。這表明成本只是方程式的一部分。有關 Jalapeño 的完整 TCO 拆解，請參閱 SemiAnalysis AI Cloud TCO 模型。

在架構上，OpenAI 選擇不將預填充（prefill）和解碼（decode）分離到不同的晶片池中。草稿模型與主模型共享相同的晶片與互連架構。這種設計理念犧牲了部分理論效率，以換取實際運維的便利性。其動機在於工作負載的組成會隨時間變化。例如，輸入、快取寫入、快取讀取與輸出 token 的比例已發生顯著變化。這一變化發生在我們經歷三個模型時代之後，這三個時代分別是知識、推理與代理，如我們最近的文章所討論。因此，若為異構的預填充晶片與解碼晶片預先設定固定數量，將會隨著時間推移導致效率低下。OpenAI 在此架構中選擇同構池，並致力於讓晶片在所有任務上均表現良好。

而它確實做到了。在 Kimi K2.5（Cursor Composer 2.5 基於此模型）上，Jalapeño 達到近 700 tok/s/user。這一速度是第二佳晶片 100 tok/s/user 的 9 倍以上。

在 GPT-OSS 上，又是另一場碾壓。Jalapeño 的每兆瓦等效交互吞吐量，幾乎是 GB200 最高吞吐點的兩倍，更是 GB200 并發 1 點的 50 倍以上。更高并發的 Jalapeño 點使用 EP8。

這些結果令人印象深刻！但我們必須挑剔一下：它們僅為 8k1k，調優難度低得多，而且尚未有 AgentX 運行數據。正如我們在 AgentX 文章中所提到的，多輪和長上下文工作負載會對推理棧的更多方面帶來壓力，例如路由器和前綴快取。要在智能體工作負載中表現出色，還需要更多優化。更多內容請閱讀 AgentX 文章。

AgentX - InferenceXv3：Can the CUDA moat still hold in agent inference?

所有這些結果均來自 Jalapeño 的 A0 步進，項目啟動僅 9 個月。但 B0 步進目前已在晶圓廠中！B0 的優化使每瓦性能較早期 A0 硅片提升約 25%。具體來說，B0 步進在單個光罩尺寸計算晶片上實現 13.4 PFLOPs 的 MXFP4。該晶片採用台積電 N3P 製造。相比之下，單塊 Rubin 計算晶片在相似尺寸和相同節點上實現 17.5 PFLOPs 的密集 Rubin NVFP4。

考慮到 Jalapeño 的 TDP 僅為 700W，而 Rubin 每塊計算晶片為 900–1150W，這一表現更顯可敬。由於 Jalapeño 專注於推理而非訓練，OpenAI 無需提高 TDP 以最大化 FLOPs。這可以理解。但無論如何，上述結果表明 Jalapeño 提供了可觀的峰值理論 FLOPs。

與其他加速器直接比較時，Jalapeño 擁有每瓦最高的 HBM 帶寬以及每瓦最高的 FLOPs，此水準可與 1800W 的 Rubin Max-Q 配置相媲美。

Jalapeño 將搭載 HBM4，成為繼 Nvidia 和 AMD 之後較早採用該技術的晶片之一，甚至領先於現有的 TPU 和 Trainium 專案。Jalapeño 的關鍵架構原則之一是充分發揮 HBM 帶寬，因此妥協使用非頂級 HBM 會違背這一目標。這使得每封裝記憶體帶寬達到 15.4 TB/s，超過所有其他使用 HBM3E 的在售加速器。15.4 TB/s 的帶寬表明其 HBM4 可達 10 Gbps 引腳速率，略高於 Nvidia 在 Rubin 中 HBM4 的 9.6 Gbps。HBM 很可能由三星提供。

OpenAI 於 2025 年 11 月完成 Jalapeño 的 CoWoS 設計流片，而非僅僅頂層裸片。在 2025 年 11 月流片後的 9 個月內，且僅在真實矽片上調試 3 個月後，OpenAI 已使用 Jalapeño 取得非常出色的成果。考慮到團隊從零開始構建軟體棧，這一點更顯令人印象深刻。

同時，Rubin 的 CoWoS 流片於 2025 年 10 月完成，早了一個月，但我們目前看到的唯一早期結果來自 CoreWeave 的工程樣片。Nvidia 沒有像 OpenAI 那樣允許我們測試並發布基準，表明其晶片軟體仍不成熟。鑒於 OpenAI 能在其自家晶片上如此迅速地運行新模型，CUDA 的護城河可能已經消失。

它們仍遠未優化，我們可以看出總體上 Jalapeño 提供了更好的數據。我們並不認為 Nvidia 硬件更差，而是 Jalapeño 的軟體調試進展比 Nvidia 更快。這體現了硬體/軟體協同設計的威力，也是頂級前沿實驗室 ASIC 團隊能超越更成熟商用晶片廠商的主要領域。反直覺的是，從零開始可能也讓 OpenAI 受益，因為它可以不受向後兼容或舊軟體版本的限制，做出全新架構決策。

雖然 OpenAI 已有 Jalapeño 工程樣片，但量產目前計劃於 2027 年逐步爬坡，大部分產出目前安排在明年年底。有關單元數量和平均售價的更多細節，請參閱 SemiAnalysis Accelerator Model。

可以說，OpenAI Jalapeno 是一款真正的大規模 ASIC。

與 Rubin 的時間線相比，Jalapeño 的速度驚人地快。如前所示，儘管 Rubin 起步更早，Jalapeño 的結果仍勝過 Rubin。

Jalapeño 架構

從架構深層來看，該晶片的矩陣引擎採用 MXFP 數值格式和權重駐留脈動陣列，與 TPU 相似。但與 TPU 直接相比，它支援更小的形狀／維度，這意味著它不會在更大脈動陣列上出現形狀不匹配的矩陣乘法所導致的異常性能驟降。

它還具有 64 位標量核心和 FP32/INT32 向量核心。OpenAI 還在托盤層面投入了冗餘設計，並在核心和通道層面內置了良率回收。他們聲稱，芯片設計中 AI 輔助使 SIMD 面積減少 8%，矩陣引擎面積減少 10%。雖然他們未說明具體工藝/電壓/溫度（PVT）條件，但也提到 AI 輔助模組相比初始模組改善了時序和功耗。

Jalapeño 架構設計專注於消除 KVCache 和權重的記憶體搬運，以及固定延遲和開銷，以便相比其他加速器，即使在小批次或小形狀下也能更接近原始峰值算力/頻寬。

核心與 HBM 被劃分為多個切片，每個核心切片對其自身的 HBM 切片具有低延遲本地視圖。切片之間的同步透過高頻寬專用集合網絡進行。這種極簡記憶體層次結構已讓 Jalapeño 相比 GPU 擁有巨大潛在優勢，因為 GPU 的記憶體存取必須穿越複雜的記憶體系統，產生必須在大形狀上分攤或隱藏的較大延遲。

這種選擇是可行的，因為透過精心配置權重和 KV，核心間的同步可限制在有限且已知的高頻寬通信上，例如可與計算重疊的張量並行通信。

此外還有一個額外的通用 NoC，用於一般通信和訪問擴展網絡。總體而言，OpenAI 透過簡化的 NOC 和記憶體子系統，相比 Nvidia 和 Google 節省了大量功耗並獲得顯著性能提升。

在核心層面，OpenAI 描述了一個帶 L1 緩存的亂序（OoO）核心。這與我們在其他加速器中看到的模式大相徑庭，其他加速器均使用軟體管理的暫存器，通常搭配異步 DMA 支援。這裡的論點是，這讓 Jalapeño 能避免固定開銷，如屏障延遲，而在其他加速器（如 GPU）上，這些開銷需要通過增加每核心工作量來隱藏或攤銷，從而更難接近原始峰值頻寬/算力。

代價是，Jalapeño 因此依賴良好的預取來確保記憶體請求及時到達，而這更難預測和推理。然而，借助 Codex 在良好框架中獲取詳細追蹤資訊，為給定形狀找到具有最佳預取的最優核心，可能幾乎不需要人工干預。我們認為這正是 OpenAI 能如此迅速跑通 DeepSeek R1、Kimi K2.5 和 GPT-OSS 的原因。

核心還支援「較小」矩陣維度，這（取決於有多小）應使其在不同模型和批次維度上更具通用性，對矩陣維度對齊、填充開銷和分塊低效更不敏感。例如，TPU、Trainium 和 Etched 芯片擁有非常大的脈動陣列，可能需要大批量或恰好整除的模型維度來避免分塊低效。

透過 Jalapeño，OpenAI 專注於消除系統中的固定延遲，以在帕累托曲線的所有區域盡可能接近 roofline 性能。理論上，這可能在多個工作點上帶來相對於 GPU 的優勢：

低延遲／小批量推理的上限性能遠優於 GPU。GPU 受限於啟動延遲、屏障延遲、記憶體系統延遲等固定開銷。

即使在大批量或長上下文的情況下，也有潛力更接近硬體 roofline。

這附帶一個警告：即使理論上存在上限性能，實際內核可能更難達到該性能。因此，其方法似乎是：

為所有工作負載形狀設計最高上限性能

讓 Codex 完成繁重工作，找到實現該上限的內核

OpenAI 團隊在 Jalapeño 上啟動 InferenceX 工作負載，週轉速度極快。

因此，我們對這一方法感到樂觀。

如果 Jalapeño 成功，將釋放強烈信號。

行業對編程模型和完美通用編譯器的執念，將被前沿 AI 模型打破。

OpenAI 寫 Jalapeño 核心就像寫彙編語言一樣。

每個核心都有手工調優的代碼，部分約 3000 行。

還支援正確性檢查和自訂 sanitizer。

早期的核心工作是人機協作，而非全自動化。

後來轉向更規模化的內部版 Codex。

OpenAI 計劃向企業客戶推銷這一版本。

內部服務引擎稱為 “Teacup”。

有趣的是，OpenAI 此前沒有內部 MLA 核心實現。

直到他們用 InferenceX 對 DeepSeek 做基準測試。

Codex 能如此快速地寫出可用且高效的內核，且無需內核工程團隊介入。

這展示了軟體流水線的開發能力。

OpenAI 使用 Gluon 為 Jalapeño 編程。

Gluon 是 OpenAI 的核心程式設計語言。

Gluon 建立在 Triton 之上，保留 Triton 的 SPMD（Single Program Multiple Data）程式設計模型。

但它暴露了底層程式設計抽象。

例如，針對 NVIDIA GPU，它提供映射到 PTX 指令的 API。

包括 MMA 指令、TMA 指令、mbarrier 機制等。

Gluon 提供的最獨特抽象是佈局。

In general, the layout defines the mapping between hardware resources and tensor elements.

For example, register 5 of warp 9 corresponds to the tensor element at row 6, column 7.

Gluon 的佈局抽象基於 Linear Layouts。

這是 OpenAI 發明的一種佈局代數。

Linear Layouts 從數學上形式化了佈局是什麼。

並提供操作佈局的工具。

這支援許多功能，例如可證明正確的佈局轉換。

還有最佳記憶體 swizzling。

在 Jalapeño 的程式設計模型中，每個 Gluon 程式對應到一個持久執行緒。

我們認為這暗示 Jalapeño 適合持久內核編程模式。

每個程序在多個 tile 上執行，由程式設計師分配工作，而非硬體排程器。

OpenAI 提到了 TensorInfo。

它是一種顯式編碼佈局的抽象。

這可能是為 Jalapeño 設計的一組佈局。

它將由 Linear Layouts 驅動。

最後，每個核心提供數據預取和解耦亂序單元。

例如，用戶可以編程等待預取數據。

該數據被信號量鎖定。

諷刺的是，像 GPT 5.6 Sol 這樣的 OpenAI 模型，目前運行在 NVIDIA GPU 上。

它們被用來設計晶片，對 CUDA 的護城河構成真實威脅。

NVIDIA 自己的 GPU 正在實時推動潛在的繼任者。

跨時間比較，我們還能看到 Jalapeño 的開發速度。

不到兩週，某些互動場景的吞吐量提升超過 2 倍。

我們從 Jalapeño 團隊拿到的每個 tarball 都內含奇妙世界。

不僅內核效能提升，Jalapeño 團隊在 8 天內啟用了 TP32。

基於此前 TP8 配置，擴展至單系統之外，實現完整機架級配置以運行大模型。

This development speed is indeed impressive.

為在真實硬體上運行前驗證性能，OpenAI 還有一個模擬器「chilisim」。

其精度在實測硬體的 5% 以內，使用固定寬度 trace 總線。

A0 上的追蹤能力有限，但 B0 上大幅改善。

這可能得益於 A0 硅片的實際運行數據。

工程師演示了 Codex CLI 運行內部模型。

它的暱稱為「Raiku」或「5.3 Codex Spark」，TPOT 為 1.2ms。

團隊還展示了由 Codex 撰寫的演示程式直接在晶片上運行。

包括 36 FPS 的 Doom、FP32 流體動力學模擬。

還有「Liquid Light」滑鼠拖曳可視化。

在模型方面，OpenAI 內部的 megakernel 方案暱稱為 “gigakernel”。

它圍繞單個 megakernel 建構，在設備上循環，以降低 CPU 開銷和啟動時間。

團隊還在進一步推進測試時計算策略。

內部特別關注如何協調使用 100 萬次 rollouts。

我們之前提到，OpenAI 沒有在這些晶片上使用 prefill-decode 分離。

這讓我們感到驚訝，因為 NVIDIA 和 AMD GPU 的性能從 PDD 中顯著受益。

即使是在同構硬體上。

讓我們深入探討 Jalapeño 團隊為何這樣做。

當工作負載固定時，prefill-decode 分離看起來很有吸引力。

Prefill 和 decode 對硬體的壓力不同。

將每個階段分配至單獨調優的池子，可在選定的輸入輸出比下提升效率。

但生產流量不會保持該比例。

輸入輸出序列長度、併發、快取命中率、推測接受率和延遲目標全天都在變化。

一旦設備被分為 prefill 和 decode 池，過多的 prefill 請求會導致 decode 芯片閒置，請求排隊。

但解碼需求過多則相反。

運營者必須持續準確預測拆分，並為兩側預留備用容量。

並重新平衡一個理想比例不斷變化的系統。

在統一系統中，某些資源在特定階段可能利用不足。

但每台設備仍可用於服務下一個請求。

在分離式系統中，整塊晶片可能僅因屬於錯誤的池子而閒置。

本地利用率看起來更好，但全局利用率可能很差。

Separation will also destroy locality.

prefill worker 產生 decode worker 立即需要的大型 KV cache。

系統必須跨網路傳輸該狀態，生成才能繼續。

這增加了頻寬消耗、同步、排隊和另一個故障域。

成本也會隨著輸入序列長度增加而上升，因為 KV cache 在增長。

然而，避免移動 KV 主要是為了功耗和延遲優化。

移動部分 KV 可提高硬體利用率，但會增加功耗和單請求延遲。

可互換叢集可在延遲敏感請求與吞吐導向批次之間轉移容量。

固定拆分會在流量組合變化時閒置硬體。

此外，上下文長度改變了 attention 與 FFN 工作之間的平衡。

任何固定硬體比例僅在設計點附近高效。

相同的限制也適用於投機解碼。草稿模型必須以極低延遲向驗證器提供候選 token。將兩者分到不同專用池，會將緊耦合的解碼迴圈變成分散式協議。額外的通信與協調可能消耗草稿所節省的延遲。唯有將兩個模型置於同一裝置與低延遲架構上，才能保留讓投機值得進行的局部性。

然而，在需求足夠大、穩定且可預測的地方，解耦仍能勝出。尤其是當傳統 GPU 需要大批量、分階段批次才能達到良好吞吐時。但這不是免費的午餐。

Jalapeño 系統在機架單元層由 CPU 主機機架和 ASIC 機架組成。主機機架容納 16 個名為“Katsu”的主機 CPU 托盤。每個 Katsu 對應右側 16 個名為“Vindaloo”的 ASIC 托盤之一。每台主機配備兩個 Turin 級 AMD EPYC CPU，每機架配備 1.5TB DRAM、2x E1.S 和 2x M.2 SSD。每個托盤還配備 400G（2x200G）前端網絡。每個 Katsu 托盤通過 8 條外部 PCIe DAC 線纜連接到每個 Vindaloo 托盤。這些線纜在機架前端水平佈線。系統級設計是與 Celestica 合作完成的。

ASIC 機架由 16 個 Vindaloo 托盤和 8 個擴展交換機托盤（6 個本地 + 2 個全局）組成，名為「Chana」。每個 Vindaloo 托盤包含 8 個 Jalapeño ASIC，每機架合計 128 個 Jalapeño ASIC。ASIC 透過銅纜背板連接到每個 Chana 交換機托盤，類似於 Nvidia 的 Oberon。擴展拓撲分為本地域和全局域。本地域涵蓋機架內的 128 個 ASIC。全局域連接最多 16 個機架或 2,048 個 ASIC。我們將在下方更詳細解釋頻寬與拓撲。

側掛主機機架的供電約 50kW（生產中 31kW），ASIC 機架消耗 130kW。整個雙機架系統約 160kW。從功耗看，這基本相當於一個雙寬 GB300 機架。

OpenAI 可在單個擴展網絡內連接最多 2,048 個 Jalapeño XPU。擴展網絡由兩個域組成。本地域通過背板連接機架內全部 128 個 XPU。全局域使用銅纜和光互連混合，連接 16 個機架的 2,048 個 XPU。每個機架包含 8 個 Chana 交換機托盤。中間 6 個 Chana 交換機用於本地域，每個配備一個 102.4T Tomahawk 6 交換 ASIC。頂部和底部的 2 個 Chana 交換機用於全局域，我們認為可能是 2x 102.4T Tomahawk 6 交換機，每個交換機托盤最高達 204.8T。

在本地域中，128 個 Jalapeño 芯片每個 XPU 的單向頻寬為 4.8Tb/s。它們以全對全方式連接到 6 個 102.4Tb/s Tomahawk 6 ASIC。這相當於每個 XPU 有 48 對差分對（DP）公母連接器。總計每機架使用 6,144 對 DP 的被動銅纜進行本地擴展。

在全域中，16 個機架共 2,048 個 XPU 透過銅背板、電氣 204.8T TH6 交換機、1.6T 光模組和光電路交換機組合連接。每個 XPU 的全域鏈路單向頻寬為 1.6Tb/s。即每個 XPU 具有 16 對差分對（DP）公母連接器，用於 XPU 與全域交換機之間的背板。每個全域交換機托盤配備 2 個 ASIC，其出口頻寬在背板與前面板光學元件之間分配。

在本地域和全局域之間，每個 XPU 有 64 對 DP 的背板連接器。每機架總計有 8,192 對 DP 的無源銅纜。

全域採用純 rail 架構，由全域內的 8 條 rail 組成。我們認為 OpenAI 透過每個機架安裝的光電路交換機（OCS）路由全域中的光鏈路。每個 XPU 的 1.6Tb/s 全域頻寬將透過銅背板到達全域交換機托盤，再透過前面板的 1.6T 光模組離開交換機。它先進入被動光交換機，再離開機架。這使得擴展域規模可達 2,048 個 XPU，由 16 個機架、每個 128 個 XPU 組成。

由於擴展網絡僅佔總系統成本約 10%，這種靈活性為未來 10 萬億到 20 萬億參數模型或 200 萬到 400 萬 token 上下文視窗買來了寶貴的可選性。在部署方面，OpenAI 與 neocloud 合作。它還在 1 個月前與數據中心合作夥伴收集可靠性數據，同時優化從碼頭到機架的部署時間。

接下來，我們討論 Jalapeño 的未來，其首個生產代幣即將到來。下一個目標是 100MW，主要障礙在於硬體：他們能生產多少、能多好地部署和運營數據中心、如何處理監控和韌性等。軟體已得到驗證，且擁有內部模型，任何軟體先發優勢都很容易被追上。付費牆後，我們將討論對 NVIDIA、AMD、Cerebras 等晶片公司的影響，這些公司未來幾年與 OpenAI 簽了約。

我們還在 Accelerator 模型中涵蓋下一代晶片的產量、數量和時程。

後續部分為付費內容，由於權限問題未作進一步編譯，而前文已提供大量資訊反映 OpenAI 對英偉達晶片的挑戰。對於關注晶片板塊及英偉達股價的玩家而言，這些資訊將提供新鮮且紮實的參考。