著者：SemiAnalysis
翻訳：深潮 TechFlow
深潮導読：OpenAIが自社開発した最初の推論チップ「Jalapeño」の実測データが公開され、効率性はNVIDIAの現行フラッグシップ「Blackwell」を上回り、次世代の「Rubin」に迫る水準に達している。データセンターの電力ボトルネックに直面するAI企業にとって、このチップは計算能力市場の構図を変える可能性がある。しかし、初代チップがNVIDIAのCUDAエコシステムに実際に影響を与えることができるかは、まだ疑問符がつく。
自社開発のASICを用いて、Rubin、Jalapeñoの総所有コスト、毎メガワットあたりのスループット、および辛さの詳細を比較
過去2年、OpenAIは静かに「Jalapeño」という推論チップを開発してきました。このチップは先日Hot Chipsで発表されました。シリコンの流産に成功したという噂は以前からありましたが、今回詳細が明らかになりました。OpenAIは私たちにチップの閲覧を許可し、ラボでその実態を検証し、InferenceXキットを使用してベンチマークテストを行うよう招待しました。
今年6月、OpenAIは、ボコムと協力してLLM推論のためにゼロから設計されたチッププロジェクトを発表しました。設計作業は2024年半ばに開始され、初期のチーム採用から製造までわずか約16ヶ月で完了し、これは極めて迅速なASIC開発サイクルです。
通常、第一世代のチップは競争力がないが、OpenAIは逆のアプローチを取って、複数のトップレベルのオープンソースモデルで、私たちがテストしたすべてのNVIDIA、AMD、Googleのチップを上回り、業界をリードしている。OpenAIの強みは、極めて高度なソフトウェアとハードウェアの協調設計にある。驚異的なことに、OpenAIはモデル推論の特定の工程に過度に特化するのではなく、あらゆるシナリオで高性能を発揮できる汎用チップの開発に集中している。
本文では、Jalapeño が InferenceX 上で実装されたアーキテクチャの詳細、ソフトウェアの詳細、およびパフォーマンス結果を深く掘り下げます。
汎用推論チップ
すべての人が、OpenAIのチップはOpenAIモデル専用であると言っているが、それは誤りで、OpenAIはAI推論向けの汎用チップを開発した。
タイムラインが異常に速い。これは「AIでチップ設計を加速する」という主張が真実であることを示している。タイムラインは非常に速いが、OpenAIは多額の資金を投入し、現実的な設計判断を下し、チームも非常に強力であるため、これは驚くべきことではない。
仕様だけを見れば、それは即座に有力な競争相手である：
さらに、HBM4を使用することで、NVIDIAおよびAMDのフラッグシップGPUと同等の性能を実現します：
多くのメディアが、OpenAIの軽い発言に追随し、このチップが他のチップでは実現できない方法で自社モデルを最適化すると報じているが、これは誤りである。Jalapeñoは汎用推論チップであり、さまざまなモデルやワークロードを実行可能で、私たちのInferenceXベンチマークも含む。このベンチマークは、当時OpenAIのエンジニアと共同で実験室で実行した。冗談として、OpenAIは自社チップ上でCodexのプロンプトだけで移植された『ドゥーム』を実行する様子を見せてくれた。
以下は、総消費電力あたりのメガワット単位でのトークンスループットに関する私たちの最も重要なパフォーマンス/ワットの結果です。Jalapeñoは他のすべてのチップを圧倒しています。これはすべてマルチトークン予測（MTP）を無効にした状態での結果であり、チャート内の他のチップはそれぞれのSKUでMTPを有効にした最適設定です。
Jalapeñoは、あらゆるシナリオでBlackwellを上回るパフォーマンス/ワットを実現しており、特定のポイントに最適化されていません。低遅延シナリオだけでなく、高スループットシナリオでも優れた性能を発揮します。より公平な比較は1トークンの予測結果を見ることであり、Jalapeñoはすべての競合製品を大きく上回っています。低並列度シナリオでは、Jalapeñoは驚異的なインタラクティビティを示し、DeepSeek R1モデルでは並列数が1のとき、ユーザーあたり毎秒700トークン以上を処理します。
驚異的なことに、これらはすべて単一トークン予測（STP）で実現されており、推測デコードやプリフェッチ・デコードの分離は一切使用されていません。DeepSeek R1に加え、Kimi-K2.5やGPT-OSSなどの他のモデルも、約1ユーザーあたり毎秒1,400トークンの速度を達成しています。すべてのモデルについて、JalapeñoのGSM8k評価結果がNVIDIAチップと同等であることを確認しました。
いくつかの注意点があります。第一に、すべてのデータはOpenAIが提供しています。私たちは自らラボでInferenceXの動作を検証しましたが、完全なInferenceXベンチマークスイートを実行せず、AgentXの結果も確認していません。AgentXは、そのデータセットの超長コンテキストとマルチラウンドの特性により、実際の本番ワークロードにおけるキャッシュ動作を反映できるため、チップ性能比較のための優先スイートです。8k1kで良好なパフォーマンスを示すフレームワークは、AgentXではむしろ劣化する可能性があります。これは、実際の本番ワークロードがルーター、プレフィックスキャッシュメカニズム、キャッシュ管理、オフロードインフラストラクチャなどのコンポーネントを過負荷させるためです。単一ラウンドの8k1kテストではこれらをカバーできません。詳細については、私たちのAgentX記事をご覧ください。
AgentX - InferenceXv3：エージェント推論におけるCUDAの護城河はまだ耐えられるか？
第二に、私たちはBlackwellとの比較は不完全であり、やや不公平であると考えています。Jalapeñoの真正な対抗馬は、同じくHBM4を採用するRubinなどのチップです。Vera Rubinシステムはすでに顧客への出荷を開始していますが、OpenAIのJalapeñoはまだ試作サンプル段階であり、量産までにはまだ時間がかかります。
したがって、性能はBlackwellではなくRubinと比較すべきです。JalapeñoのようなカスタムチップがBlackwellを上回ると予想されていたのは当然です。Vera Rubin NVL72の性能/ワットはGB200 NVL72の5.4倍であり、これは先月、NVIDIAとCoreWeaveの性能発表を分析した記事で述べました。後ほど、JalapeñoとVera Rubinの7月の性能データを比較します。
Vera Rubin NVL72 と GB200 NVL72 の比較？推論TCOとアーキテクチャ分析
第三に、テストされたモデルはオープンソースの最前線にはありません。NVIDIAとAMDはすでにAgentXを通じて、DeepSeek V4 ProやKimi K3などのより大規模なモデルの結果を公表しています。モデルがより大きく、リリースが新しいほど、新しいチップ上で動作させるのはより複雑になります。とはいえ、OpenAIがJalapeñoで動作させたモデルもそれほど小さいわけではありません。
パフォーマンス分析
OpenAIの設計目標はパフォーマンス/ワットである。理由は単純だ：OpenAIは現在、予算やデータセンターのスペースではなく、電力に制約されているため、毎メガワットあたりのトークン数が極めて重要である。Computex 2026で、ジェンスン・ホアンは、パフォーマンス/ワット、信頼性、長寿命が将来のGPUの核心的特性であると述べた。彼は次のように語った。「1ギガワットの電力を持っているなら、1ワットあたりのスループットが収益になる。」また、チップが安価だからといって誤ったアーキテクチャを選択することは意味がないとも述べた。
英偉達はHot Chips 2026のVeraスピーチでも同様の点を強調し、同じ収益チャートを提示しました：「現在のデータセンターは電力制約に直面しています。」電力は極めて重要であり、収益を駆動しています。
運営者は容易にさらにメガワットを確保できない。GPUの増設と電力網容量の拡張には、はるかに異なる時間スケールがかかる。データセンターの電力上限は、公共事業との接続、インフラ、冷却能力、およびUPS／バックアップ発電設計など、多くの制約に直面している。電力網の遅延は、ハードウェアや建設の進捗を度々上回り、メーター後電力容量への需要を生み出している。つまり、データセンター内にガスタービンや現場発電機を設置することである。これらの容量は公共事業のメーターの後側に位置し、公共電力網に依存しない。これにより、運営者は電力網接続や公共事業のアップグレードを待つことなく施設に電力を供給できる。これがxAIのColossus 2がメーター後電力に大きく依存する理由であり、実際の電力網接続は大きく遅れている。詳細は当社のエネルギーモデルをご覧ください。
Xの投稿で述べたように、tok/s/MWは、毎ジュールあたりのトークン数に簡略化できます。なぜなら、ワットは毎秒ジュールだからです。したがって、tok/s/MWはシステムの効率、およびエネルギーをトークンに変換する能力を示しています。
この点において、JalapeñoはRubinよりも優れています。OpenAIのJalapeñoは、1メガワットSTPあたりのトークンスループットが、Vera RubinのMTP結果を上回りました。この結果は、NVIDIAとCoreWeaveが7月に発表したものです。また、これは2025年のGB200のMTP結果をはるかに上回っています。Vera Rubinの記事で述べたように、VRは2025年のGB200結果と比較されています。これは両者が同様の初期段階にあるためです。同時に、2025年のGB200と比較することで、ソフトウェアの成熟度を一定に保つことができます。この論理に基づき、我々は3つの結果を比較します。すなわち、Vera Rubinの最新2026年7月の結果、GB200の2025年結果、および現在のJalapeñoの結果です。この比較は非常に妥当です。なぜなら、これらが最も信頼できる公開されたRubinデータだからです。また、OpenAIはRubinの後に自社チップを製造しています。OpenAIとRubinはいずれもまだ未熟であり、今後も性能はさらに向上するでしょう。
パフォーマンス/総所有コスト（TCO）の観点から、Vera Rubin と Jalapeño は互角です。1ドルあたりの出力トークン数はほぼ同じです。しかし前述の通り、Jalapeño の結果は推測デコードを用いていません。一方、Vera Rubin の結果は推測デコードを活用しています。推測デコードにより、トークンあたりのコストを約3～5倍削減できます。Jalapeño が推測デコードを実装すれば、トークンサービスのコスト効率はさらに向上します。もちろん、一部のTCO優位性は、NVIDIAの高利益率を避け、Broadcomの低め（ただし依然として高い）利益率に移行したことによるものです。しかし、これがすべての理由ではありません。たとえば、Meta や Microsoft の AI ASIC プロジェクトはより長期間にわたり投資しましたが、成功には至っていません。これは、コストがこの方程式の一部にすぎないことを示しています。Jalapeño の完全なTCO分解については、SemiAnalysis AI Cloud TCO モデルをご参照ください。
アーキテクチャ上、OpenAIはプリフィル（prefill）とデコード（decode）を異なるチッププールに分割しない選択をしました。ドラフトモデルとメインモデルは同じチップとインターコネクト構造を共有しています。この設計思想は、理論上の効率を一部犠牲にすることで、実際の運用の利便性を優先しています。その動機は、ワークロードの構成が時間とともに変化するためです。たとえば、入力、キャッシュ書き込み、キャッシュ読み込み、出力トークンの比率はすでに大幅に変化しています。この変化は、最近の記事で議論したように、知識、推論、エージェントという3つのモデル時代を経て起こりました。したがって、異種のプリフィル用シリコンとデコード用シリコンに事前に固定された数を割り当てると、時間の経過とともに効率が低下します。OpenAIはこのアーキテクチャで同種のプールを選択し、すべてのタスクでチップが良好に動作するよう努めています。
そして、それは実際に実現されました。Kimi K2.5（Cursor Composer 2.5 はこのモデルを基にしています）では、Jalapeño がユーザーあたり約 700 tok/s を達成しました。この速度は、第2位のチップのユーザーあたり 100 tok/s の 9 倍以上です。
GPT-OSSでは、またしても圧倒的な性能を発揮。Jalapeñoの1メガワットあたりの相互作用スループットは、GB200の最高スループットポイントの約2倍であり、GB200の並列1ポイントの50倍以上です。より高い並列処理を実現するJalapeñoポイントではEP8を使用しています。
これらの結果は印象的です！しかし、少し厳しく見ると、これらはあくまで8k1kで、チューニングの難易度ははるかに低く、AgentXの実行データもまだありません。AgentX記事で述べたように、マルチラウンドおよび長コンテキストのワークロードは、ルーターやプレフィックスキャッシュなど、推論スタックのより多くの部分に負荷をかけます。エージェントワークロードで優れたパフォーマンスを発揮するには、さらに最適化が必要です。詳細はAgentX記事をご覧ください。
AgentX - InferenceXv3：エージェント推論においてCUDAの護城河は守れるか？
仕様とアーキテクチャの詳細
これらのすべての結果は、JalapeñoのA0ステップから得られたものであり、プロジェクト開始からわずか9ヶ月です。しかし、B0ステップはすでにウェハーファクトリーで製造されています！B0の最適化により、A0シリコンと比較してワット当たりの性能が約25%向上しました。具体的には、B0ステップは単一マスクサイズのチップ上で13.4 PFLOPsのMXFP4を実現しています。このチップはTSMCのN3Pプロセスで製造されています。対照的に、同サイズかつ同ノードで単一のRubin計算チップは17.5 PFLOPsの密なRubin NVFP4を実現しています。
JalapeñoのTDPが700Wであるのに対し、Rubinの計算チップは1枚あたり900～1150Wであることを考慮すると、このパフォーマンスはさらに評価に値する。Jalapeñoはトレーニングではなく推論を目的としているため、OpenAIはFLOPsを最大化するためにTDPを引き上げる必要がない。これは理解できる。しかし、いずれにせよ、上記の結果はJalapeñoが顕著なピーク理論FLOPsを提供していることを示している。
他のアクセラレーターと直接比較した場合、JalapeñoはワットあたりのHBM帯域幅とワットあたりのFLOPsが最高です。このレベルは、1800WのRubin Max-Q構成と同等です。
Jalapeñoは、NvidiaやAMDに続き、HBM4を採用する早期のチップの一つとなり、既存のTPUやTrainiumプロジェクトを上回る。Jalapeñoの主要なアーキテクチャ原則の一つは、HBMの帯域幅を最大限に活用することであり、そのためトップレベルでないHBMを使用することはこの目標に反する。これにより、パッケージあたりのメモリ帯域幅は15.4TB/sに達し、現在販売されているすべてのHBM3E搭載アクセラレータを上回る。15.4TB/sの帯域幅は、HBM4のピンレートが10Gbpsに達することを示唆しており、これはNvidiaのRubinにおけるHBM4の9.6Gbpsをやや上回る。HBMはおそらく三星が供給している。
OpenAIは2025年11月にJalapeñoの流片を完了し、正確にはトップレベルのダイではなくCoWoS設計での流片であった。2025年11月の流片後9か月間、かつ実際のシリコン上でわずか3か月のデバッグ後に、OpenAIはJalapeñoで非常に優れた結果を達成している。チームがソフトウェアスタックをゼロから構築したことを考えると、これはさらに印象的である。
一方、RubinのCoWoSロットは2025年10月に完了し、1ヶ月早いですが、現在確認できる初期結果はCoreWeaveのプロトタイプからのみです。NvidiaはOpenAIのようにベンチマークをテストして公開することを許可しておらず、自社チップのソフトウェアが未熟であることを示しています。OpenAIが自社チップ上で新モデルをこれほど迅速に実行できていることを考慮すると、CUDAの護り壁はすでに消えている可能性があります。
それらはまだ十分に最適化されておらず、全体的にJalapeñoがより良いデータを示していることがわかります。Nvidiaのハードウェアが劣っているとは考えず、JalapeñoのソフトウェアのデバッグがNvidiaよりも速く進んでいるからです。これは、ハードウェアとソフトウェアの協調設計の力を示しており、これがトップレベルの先端研究所のASICチームがより成熟した商用チップメーカーを上回る主な領域です。逆説的ですが、ゼロから始めることがOpenAIにとっても利点となり得ます。なぜなら、後方互換性や古いソフトウェアバージョンの制約を受けずに、全新的なアーキテクチャの決定を下せるからです。
OpenAIはすでにJalapeñoの試作機を保有していますが、量産は2027年から段階的に増産する予定であり、現在の生産量の大部分は来年末に配置される予定です。ユニット数および平均販売価格に関する詳細については、SemiAnalysis Accelerator Modelをご参照ください。
OpenAI Jalapenoは、本物の大規模ASICであると言えます。
ルビンのタイムラインと比較すると、ハラペーニョのスピードは驚異的です。前述の通り、ルビンの方が先に開始しましたが、ハラペーニョの結果はルビンを上回りました。
ハラペーニョアーキテクチャ
アーキテクチャを深く見ると、このチップのマトリックスエンジンはMXFP数値フォーマットと重み保持サージェントアレイを採用しており、TPUと類似している。しかし、TPUと直接比較すると、より小さな形状/次元をサポートしており、これにより、より大きなサージェントアレイ上で形状が一致しない行列乗算のように、奇妙なパフォーマンスの急落が発生しない。
また、64ビットスカラーコアとFP32/INT32ベクトルコアを備えています。OpenAIは、トレイレベルで冗長設計を採用し、コアおよびチャネルレベルで良率回復機能を内蔵しています。彼らは、AI支援によるチップ設計により、SIMD領域が8％削減され、マトリクスエンジン領域が10％削減されたと主張しています。具体的なプロセス/電圧/温度（PVT）条件については明示していませんが、AI支援モジュールは初期モジュールと比較してタイミングと電力消費が改善されたと述べています。
Jalapeñoアーキテクチャは、KVキャッシュと重みのメモリ転送、および固定遅延とオーバーヘッドを排除することに焦点を当てており、他のアクセラレータと比較して、小バッチサイズや小形状でも元のピーク演算能力/帯域幅により近づきます。
コアとHBMは複数のスライスに分割され、各コアスライスは自身のHBMスライスに対して低遅延のローカルビューを持ちます。スライス間の同期は、高帯域幅の専用集合ネットワークを介して実行されます。この極めて簡素なメモリ階層構造により、JalapeñoはGPUと比較して大きな潜在的優位性を有しています。なぜなら、GPUではメモリアクセスが複雑なメモリシステムを通過しなければならず、大きな形状上で摊消または隠蔽しなければならない大きな遅延が発生するからです。
この選択肢が可能であるのは、重みとKVを慎重に配置することで、コア間の同期を限られたかつ既知の高帯域通信、例えば計算と重複させることが可能なテンソル並列通信に制限できるためです。
また、一般的な通信および拡張ネットワークへのアクセス用に追加の汎用NoCが存在します。全体として、OpenAIは簡素化されたNoCとメモリサブシステムにより、NvidiaおよびGoogleと比較して大幅な電力消費削減と顕著なパフォーマンス向上を実現しています。
核心レベルで、OpenAIはL1キャッシュを備えた順序外（OoO）コアを説明している。これは、他のアクセラレーターで見られるパターンとは大きく異なり、他のアクセラレーターは通常、ソフトウェア管理されるステージングメモリと非同期DMAサポートを採用している。ここで主張されているのは、これによりJalapeñoはバリア遅延などの固定オーバーヘッドを回避でき、GPUなどの他のアクセラレーターでは、これらのオーバーヘッドを隠蔽または分摊するためにコアあたりの処理量を増加させる必要があり、結果として原始的なピーク帯域幅/計算能力に近づきにくくなるという点である。
代償として、Jalapeñoはメモリ要求を適時に到達させるために良好なプリフェッチに依存しており、これは予測および推論がより困難である。しかし、Codexを用いて良好なフレームワーク内で詳細なトレース情報を取得すれば、与えられた形状に対して最適なプリフェッチを持つ最適なカーネルを見つけることがほぼ人間の介入を必要としない可能性がある。我々は、これがOpenAIがDeepSeek R1、Kimi K2.5、GPT-OSSを如此迅速に実行できた理由であると考えている。
コアはさらに「小さい」行列次元をサポートしており、その小ささに応じて、さまざまなモデルやバッチ次元に対して汎用性が高まり、行列次元のアライメント、パディングオーバーヘッド、ブロッキングの非効率性に対してより耐性が向上します。たとえば、TPU、Trainium、Etchedチップは非常に大きなパルスアレイを備えており、ブロッキングの非効率を避けるために大規模なバッチサイズまたは正確に割り切れるモデル次元を必要とする場合があります。
Jalapeñoにより、OpenAIはパレート曲線のすべての領域でroofline性能にできるだけ近づけるために、システム内の固定遅延を排除することに焦点を当てています。理論的には、これにより複数の動作点でGPUに対して相対的な利点がもたらされる可能性があります：
低遅延・小バッチ推論の上限性能はGPUをはるかに上回ります。GPUはスタート遅延、バリア遅延、メモリシステム遅延などの固定オーバーヘッドに制限されます。
大規模なバッチや長いコンテキストでも、ハードウェアのrooflineにより近づく可能性を有しています。
これには注意点が伴います：理論的には上限性能が存在しても、実際のカーネルはその性能に達するのがより難しくなる可能性があります。したがって、その方法は次のようになります：
すべてのワークロード形状に対して、最高上限パフォーマンスを設計
Codexに重い作業を任せ、その上限を実現するカーネルを見つけましょう
OpenAIチームはJalapeñoでInferenceXワークロードを開始し、ターンアラウンドが非常に高速です。
そのため、この方法に前向きです。
ジャラペーニョが成功した場合、強力なシグナルが発信されます。
業界がプログラミングモデルと完璧な汎用コンパイラへのこだわりは、最先端のAIモデルによって打破されるだろう。
OpenAIは、Jalapeñoカーネルをアセンブリのように書き上げる。
各カーネルには手動で最適化されたコードが含まれており、一部は約3000行です。
また、正確性チェックとカスタム sanitizer のサポートも備えています。
初期のコア作業は、完全自動ではなく、人間が関与するものです。
その後、より大規模な内部版Codexに移行しました。
OpenAIは、このバージョンを企業顧客に販売する予定です。
内部サービスエンジンは「Teacup」と呼ばれます。
興味深いことに、OpenAI は以前、内部の MLA カーネル実装を持っていませんでした。
彼らがInferenceXでDeepSeekをベンチマークするまで。
Codexは、カーネルエンジニアリングチームの関与なしに、これほど迅速に実用的で効率的なカーネルを書き上げることができます。
これはソフトウェアパイプラインの開発能力を示しています。
GluonでOpenAI用にJalapeñoをプログラミングする。
GluonはOpenAIのコアプログラミング言語です。
GluonはTritonの上に構築され、TritonのSPMD（Single Program Multiple Data）プログラミングモデルを維持します。
しかし、それは下層のプログラミング抽象を露呈させました。
たとえば、NVIDIA GPUでは、PTX命令にマッピングされるAPIを提供します。
MMA命令、TMA命令、mbarrierメカニズムを含む。
Gluonが提供する最もユニークな抽象はレイアウトです。
一般的に、レイアウトはハードウェアリソースとテンソル要素との間のマッピングを定義します。
例えば、Warp 9の5番目のレジスタは、テンソルの6行7列の要素に対応します。
Gluonのレイアウト抽象は、Linear Layoutsに基づいています。
これはOpenAIが開発したレイアウト代数です。
Linear Layoutsは、レイアウトが何であるかを数学的に形式化します。
操作レイアウトのツールも提供します。
これは、証明可能なレイアウト変換などの多くの機能をサポートしています。
さらに最適なメモリスウィズリング。
Jalapeñoのプログラミングモデルでは、各Gluonプログラムが永続スレッドにマッピングされます。
これはJalapeñoが持続的なカーネルプログラミングパターンに適していることを示唆しています。
各プログラムは、ハードウェアスケジューラではなく、プログラマーが作業を割り当てて複数のタイル上で実行されます。
OpenAIはTensorInfoに言及しました。
それは明示的にエンコードされたレイアウトの抽象です。
これはJalapeño用に設計された一連のレイアウトかもしれません。
それはLinear Layoutsによって駆動されます。
最後に、各コアはデータプリフェッチおよび非順序解離ユニットを備えています。
たとえば、ユーザーはプリフェッチデータを待つようにプログラムできます。
このデータはセマフォによってロックされています。
皮肉なことに、GPT 5.6 SolのようなOpenAIモデルは、現在NVIDIA GPU上で動作している。
それらはチップの設計に使用され、CUDAの競争優位性に真の脅威をもたらしています。
NVIDIAの自社GPUが、潜在的な後継者をリアルタイムで支援しています。
時間を跨いで比較すると、Jalapeñoの開発速度も確認できます。
2週間未満で、一部のインタラクションシナリオのスループットが2倍以上向上しました。
私たちはJalapeñoチームから受け取った各tarballに、不思議な世界が含まれています。
コアパフォーマンスの向上に加え、Jalapeñoチームは8日以内にTP32を有効化しました。
以前のTP8設定を基に、単一システムを超えて、大型モデルを実行するための完全なラックレベル設定を実現します。
この開発速度は確かに印象的です。
実際のハードウェアで実行する前にパフォーマンスを検証するため、OpenAIにはシミュレーター「chilisim」もあります。
実際のハードウェアでの精度は5％以内であり、固定幅のトレースバスを使用します。
A0では追跡機能が限定的ですが、B0では大幅に改善されました。
これはA0シリコンウェハーの実際の動作データによるものかもしれません。
エンジニアがCodex CLIで内部モデルをデモしました。
彼の愛称は「Raiku」または「5.3 Codex Spark」で、TPOTは1.2msです。
チームは、Codexが作成したデモをチップ上で直接実行する様子を示しました。
36 FPSのDoom、FP32流体ダイナミクスシミュレーションを含む。
また、「Liquid Light」のマウスドラッグ可視化もございます。
モデル面では、OpenAIの内部megakernelソリューションの愛称は「gigakernel」です。
それは単一のmegakernelを中心に構築され、デバイス上でループしてCPUオーバーヘッドと起動時間を削減します。
チームはテスト中の計算戦略のさらなる推進を進めています。
内部では、100万回のロールアウトをどのように調整して使用するかに特別な注目が払われています。
Disaggを採用するかどうか、それが問題だ
以前お伝えしたように、OpenAIはこれらのチップでprefill-decode分離を使用していません。
NVIDIAおよびAMDのGPUパフォーマンスがPDDから顕著に恩恵を受けていたため、これは私たちを驚かせました。
同じ構成のハードウェア上でも。
ジャラペーニョチームがなぜこのような行動を取ったのか、深く掘り下げましょう。
ワークロードが固定されている場合、prefill-decode 分離は魅力的に見えます。
Prefill と decode はハードウェアへの負荷が異なります。
各段階を個別に最適化されたプールに割り当てることで、選択した入力出力比の下で効率を向上させることができます。
しかし、生産フローはこの比率を維持しません。
入力出力シーケンス長、並列処理、キャッシュヒット率、推測受容率、および遅延目標は、一日中変化します。
デバイスがprefillプールとdecodeプールに分割された後、prefillの要求が過多になると、decodeチップが空き、リクエストがキューに積まれます。
しかし、デコードの要求が多すぎると逆効果です。
運営者は、両側にバックアップ容量を確保するために、正しい分割を継続的に予測する必要があります。
理想な比率が絶えず変化するシステムを再バランスします。
統一システムでは、特定の段階で一部のリソースが十分に活用されていない可能性があります。
しかし、各デバイスは次のリクエストに引き続き使用できます。
分離型システムでは、チップ全体が誤ったプールに属しているだけで使用されない可能性があります。
ローカル利用率はより良く見えるが、グローバル利用率は悪くなる可能性がある。
分離は局所性を破壊します。
prefill worker が、decode worker が即座に必要とする大規模な KV キャッシュを生成します。
状態をネットワークを介して転送しなければ、生成を継続できません。
これは帯域幅の消費、同期、キューイング、および別の障害領域を増加させます。
KVキャッシュが増加するため、コストも入力シーケンスの長さに伴って上昇します。
しかし、KVの移動を避ける主な目的は電力消費と遅延の最適化です。
一部のKVを移動させることでハードウェア利用率を向上させることができますが、その代償として電力消費と単一リクエストの遅延が増加します。
スワップ可能なクラスターは、遅延に敏感なリクエストとスループット指向のバッチ間で容量を移動できます。
固定分割は、トラフィックコンビネーションが変化した際にハードウェアを闲置します。
また、コンテキスト長の変更は、アテンションとFFNの動作間のバランスを変える。
固定ハードウェア比率は、設計点付近でのみ効率的です。
同様の制約が投机デコードにも適用されます。ドラフトモデルは、極めて低遅延でバリデータに候補トークンを提供しなければなりません。両者を別々の専用プールに分けると、密結合されたデコードループが分散プロトコルになります。追加の通信と調整が、ドラフトによって節約された遅延を消費する可能性があります。両モデルを同一デバイスおよび低遅延構造上に配置することで、投机を意味のあるものにする局所性を維持できます。
しかし、需要が十分に大きく、安定しており予測可能な場所では、デカップリングは依然として優れています。特に、従来のGPUが良好なスループットを達成するために大規模で段階的なバッチを必要とする場合です。しかし、これは無料のランチではありません。
日本からインドへ（微辛から超辛へ）：カツ、ビンダルー、チャナ——これらのカレー料理はどのようにラックシステムを構成するのか？
Jalapeñoシステムは、ラックユニットレベルでCPUホストラックとASICラックで構成されています。ホストラックには、「Katsu」と呼ばれる16個のホストCPUトレイが収容されています。各Katsuは、右側の「Vindaloo」と呼ばれる16個のASICトレイのいずれかに対応しています。各ホストには2つのTurin級AMD EPYC CPU、ラックあたり1.5TBのDRAM、2x E1.Sおよび2x M.2 SSDが搭載されています。各トレイには400G（2x200G）フロントネットワークも装備されています。各Katsuトレイは、8本の外部PCIe DACケーブルを介して各Vindalooトレイに接続されています。これらのケーブルはラックの前面で水平に配線されています。システムレベルの設計は、Celesticaと協力して実施されました。
ASICラックは、16個のVindalooトレイと8個の拡張スイッチトレイ（6個のローカル＋2個のグローバル）で構成され、「Chana」と呼ばれています。各Vindalooトレイには8個のJalapeño ASICが搭載されており、1ラック合計で128個のJalapeño ASICとなります。ASICは、NvidiaのOberonと同様に、銅ケーブルバックプレーンを介して各Chanaスイッチトレイに接続されています。拡張トポロジーは、ローカルドメインとグローバルドメインに分かれています。ローカルドメインは、1ラック内の128個のASICをカバーします。グローバルドメインは、最大16ラック、または2,048個のASICを接続します。以下で、帯域幅とトポロジーをより詳細に説明します。
サイドマウントラックの電力消費は約50kW（稼働中は31kW）、ASICラックは130kWを消費します。全体のダブルラックシステムは約160kWです。電力消費の観点から、これはダブル幅のGB300ラックとほぼ同等です。
OpenAIは、単一の拡張ネットワーク内で最大2,048個のJalapeño XPUを接続できます。拡張ネットワークは2つのドメインで構成されています。ローカルドメインは背板を通じて1つのラック内の128個すべてのXPUを接続します。グローバルドメインは、銅ケーブルと光インターコネクトを組み合わせて、16ラックの2,048個のXPUを接続します。各ラックには8個のChanaスイッチトレイが含まれています。中央の6個のChanaスイッチはローカルドメイン用で、それぞれ102.4TのTomahawk 6スイッチASICを搭載しています。上部と下部の2個のChanaスイッチはグローバルドメイン用です。各スイッチトレイで最大204.8Tとなるよう、2x102.4TのTomahawk 6スイッチであると考えられます。
ローカル領域では、128個のJalapeñoチップが各XPUに対して4.8Tb/sの片方向帯域幅を提供し、これらは6つの102.4Tb/s Tomahawk 6 ASICとフルメッシュ方式で接続されています。これは各XPUに48対の差動対（DP）オス・メスコネクタに相当します。合計で、ローカル拡張用にラックあたり6,144対のDP受動銅ケーブルが使用されます。
グローバル領域では、16のラックに合計2,048個のXPUが、銅バックプレーン、電気204.8T TH6スイッチ、1.6T光モジュール、および光回路スイッチの組み合わせによって接続されています。各XPUのグローバルリンクの片方向帯域幅は1.6Tb/sです。つまり、各XPUには、XPUとグローバルスイッチ間のバックプレーン用に16対の差動対（DP）メス・オスコネクタが搭載されています。各グローバルスイッチトレイには2つのASICが搭載されており、その出口帯域幅はバックプレーンとフロントパネル光学素子の間で割り当てられています。
ローカルドメインとグローバルドメインの間では、各XPUあたり64対のDPバックプレーンコネクタがあります。合計で、各ラックに8,192対のパッシブ銅ケーブルがあります。
グローバルドメインは純粋なレールアーキテクチャを採用し、グローバルドメイン内に8本のレールで構成されています。OpenAIは、各ラックに設置された光回路スイッチ（OCS）を介して、グローバルドメイン内の光リンクをルーティングしていると考えられます。各XPUの1.6Tb/sグローバル帯域幅は、銅バックプレーンを介してグローバルスイッチトレイに到達し、その後、前面板の1.6T光モジュールを通じてスイッチから出力されます。これはまず受動光スイッチに到達し、その後ラックから出力されます。これにより、16のラック（各ラック128個のXPU）で構成される2,048個のXPUまでのドメイン拡張が可能になります。
拡張ネットワークは総システムコストの約10％に過ぎないため、この柔軟性は、今後10兆～20兆パラメータのモデルや200万～400万トークンのコンテキストウィンドウを実現するための貴重な選択肢を提供します。デプロイ面では、OpenAIはneocloudと提携しています。また、1か月前からデータセンターパートナーと協力して信頼性データを収集し、デッキからラックへのデプロイ時間を最適化しています。
次へ
次に、Jalapeñoの将来と、その最初のプロダクショントークンの登場について議論します。次の目標は100MWですが、主な障壁はハードウェアです：どれだけの量を生産できるか、データセンターをどれほど効率的に展開・運用できるか、監視やレジリエンスをどう扱うかなどです。ソフトウェアはすでに検証されており、内部モデルも存在するため、ソフトウェアによる先発優位性は簡単に追い越されます。有料エリアでは、NVIDIA、AMD、Cerebrasなどのチップメーカーへの影響について議論します。これらの企業は今後数年間、OpenAIと契約を結んでいます。
私たちは Accelerator モデルで、次世代チップの生産量、数量、およびスケジュールもカバーしています。
以降は有料コンテンツであり、権限の問題によりさらに翻訳していませんが、前述の部分にはすでにOpenAIがNVIDIAチップに与える影響に関する多くの情報が含まれています。チップセクターやNVIDIA株価に注目している投資家にとって、これらの情報は新鮮で確実な参考となるでしょう。