AI 芯片的競爭格局正在發生深刻變化。OpenAI 發布 Jalapeño 芯片，專注於 LLM 推理；NVIDIA 將 GPU 與 Groq LPU 結合，實現異構計算；Google 則將訓練和推理分為 TPU 8t 和 TPU 8i 兩款芯片。這三條路線反映了訓練與推理對硬體資源的不同需求：訓練側重矩陣計算和大規模互聯，推理則需要更高的 HBM 帶寬、更大的 SRAM 和更短的網路路徑。隨著這兩類 workloads 的芯片配方差距拉大，FLOPS 不再是唯一衡量標準，Token 成本正成為 AI 硬體競爭的新坐標。

文章作者、來源：雷峰網

Token 成本成為大模型硬體競爭的新坐標

Embodied Intelligence Enters the Greasy Kitchen

百萬流量下的機器人打工記

前 Covariant AI 副總裁、舟譜數中直接把 LPU 的作用概括為填補 Vera Rubin 在低延遲 Decode 區域的短板。

Groq 的芯片設計也幾乎圍繞這件事展開。一套 LPX 機架有 256 顆 LPU，加起來只有 128 GB SRAM，容量和 GPU 機架裡的 HBM 沒法放在一個尺度上比較，但聚合 SRAM 帶寬可以達到 40 PB/s。

這個設計重視的就是「近」。HBM 能容納大量模型狀態，但離計算單元較遠；SRAM 價格昂貴、容量難以擴大，但數據位於晶片內部，能提供極高的頻寬和極低的訪問延遲。

Decode 每一步做的計算有限，又頻繁取數據，把數據放得更靠近 ALU，收益會非常直接地反映在下一個 Token 的等待時間上。

Groq 進一步減少了動態硬體控制。LPU 是確定性執行架構，指令調度主要由軟體提前完成。每顆晶片同時擔當處理器和路由器，編譯器會一併安排計算資源和網路資源，甚至省去了傳統硬體流控和虛擬通道這類機制。

代價也很明顯：這種架構沒有 GPU 那麼通用，片上 SRAM 又裝不下完整的大模型狀態。所以 NVIDIA 沒有讓 Groq 3 獨立運行整個模型，而是做了一套更複雜的異構系統。

Prefill 在 GPU 上進行，大部分 Decode 放到 LPU；Decode 裡的 Attention 又可以回到 GPU。GPU 和 LPU 分別維護自己的 KV Cache，兩邊主要交換 draft Tokens，同時通過 micro-batch 把計算和通信重疊起來。由於 LPU 是同步域，而 GPU 和外部 KV Cache 屬於異步系統，NVIDIA 甚至加入 FPGA 作為兩邊的異步橋接。

這種架構清楚說明了 AI 芯片分工已達到何種程度。它所細分的已不僅是「訓練晶片」和「推理晶片」，甚至連一次 Decode 中的不同部分，也能交由不同架構執行。

不過 NVIDIA 展示的數據也給出了這條路線的邊界：當業務只追求總體吞吐，並且能夠接受較高延遲時，Rubin GPU 依然很有效率；隨著對單用戶 Token 速度要求提高，LPX 才逐漸發揮優勢，而使用更多 LPU 之後，總體吞吐效率也會下降。

因此，Groq 3 的出現並不意味著 GPU 被推理淘汰了。它說明了另一件事：同一顆 GPU 很難同時佔住高吞吐和極低延遲兩端，讓兩種硬體分別跑自己更擅長的區間，系統反而更容易把效能曲線拉開。

Google 則把這道切口放在了更上層。

訓練和推理，使用兩套晶片配方

Google 在 TPU 8 這一代同時做了 TPU 8t 和 TPU 8i，t 面向訓練，i 面向推理。這種分法背後的邏輯，直接寫在晶片的記憶體配置上。

Hot Chips 現場展示中，TPU 8t 使用 6 組 HBM，TPU 8i 反而用了 8 組。Google 給出的解釋是，推理每單位計算需要更多 HBM，同時還需要更高比例的 SRAM，因此 8i 把更多資源給了 SRAM、記憶體容量和頻寬。

這個差異很值得琢磨。如果 AI 芯片只是在比矩陣算力，推理版沒有理由把這麼多芯片面積和封裝資源花在記憶體上。TPU 8i 這樣設計，說明 Google 看到的瓶頸已經移到了數據供應。

在訓練時，大 Batch 能夠將權重讀取成本分攤到許多 Token 上；在 Decode 中，每次生成的 Token 很少，但權重和 KV Cache 仍頻繁被訪問。因此，每單位 FLOPS 需要配備多少 HBM 帶寬，這兩類任務的答案並不相同。

Google 甚至把這種差異做到了網路拓撲。過去 TPU 常用的 3D Torus 更適合訓練，強調的是大規模叢集裡的整體吞吐。TPU 8i 支援 BoardFly，網路路徑更短：BoardFly 的路徑上限為 7 hops，3D Torus 則達到 16 hops。

對於訓練來說，在幾次額外的網絡跳轉之後通常還會有大塊的矩陣計算，通信時間可以被分攤。Decode 每一步的計算窗口較短，幾次網絡延遲更容易直接落入 Token 間隔中。

MoE 使這個問題更加明顯。MoE 可讓一個 Token 僅激活部分 Expert，從計算量來看很划算，但 Router 會將 Token 發送到不同 Expert。一旦這些 Expert 分佈在不同晶片上，計算量雖減少，All-to-All 通信卻會增加。

因此，TPU 8i 還加入了 Collective Acceleration Engine，將部分 collective 操作放在靠近網路介面的 I/O Die 上處理。資料無需先搬入 Compute Die，再經過 HBM 完成操作，可直接省去部分晶片內部的資料移動。

訓練版 TPU 8t 的資源分配則明顯朝另一邊傾斜。訓練需要大量 FLOPS，也需要巨大的 Scale-Up 域去同步參數和梯度。TPU 8t 的 Superpod 可以擴展到 9600 顆晶片，擁有約 2 PB 共享 HBM 和 121 EFLOPS FP4 聚合計算能力，Google 還為它引入 Virgo 網絡，把更大範圍的訓練連接做成專門體系。

Google 在現場還提到了一個很實際的晶片設計問題：dark silicon。

晶片面積和功耗預算有限。如果在同一顆晶片上同時塞入訓練所需的大量矩陣計算資源，以及推理所需的更多 SRAM、HBM 和低延遲網路，那麼在某一種 workloads 運行時，總會有一部分電路長期閒置。

Since the two tasks require different resource ratios, it would be cleaner to create two separate chips.

從 FLOPS 到 Token 經濟學

把三條路線放在一起，差異其實很清楚。

OpenAI 做 Jalapeño，將晶片專用化至 LLM 推理這一層，但保留 Prefill 和 Decode 在同構硬體上的靈活調度；NVIDIA 往下繼續拆，讓 GPU 和 Groq LPU 分擔一次推理裡的不同階段；Google 往上切，把訓練和推理直接做成兩顆 TPU。

這些路線背後並沒有神秘的新計算原理，改變的是資源比例。訓練希望將更多晶體管投入矩陣計算和大規模互聯，因為高 Batch 能把資料搬運成本攤開；低延遲推理需要更高的 HBM 帶寬、更大的 SRAM、更好的 KV Cache 局部性和更短的網路路徑，因為很多時間花在等待資料上。

當兩類負載所需的「晶片配方」越拉越開，用一顆通用晶片同時照顧它們，效率損失自然會越來越明顯。

這也是為什麼這輪硬體競爭中的核心數字正在變化。FLOPS 依然重要，但旁邊開始出現 Tokens/s/user、TBT、TTFT、Tokens/kW、HBM 帶寬以及網路延遲。

它們描述的其實是同一件事：算力已經放在那裡了，系統能不能持續把數據餵進去，並把生成的 Token 盡快送出來。

OpenAI、NVIDIA 和 Google 目前選擇的分界線還不一樣，後面真正會繼續變化的，很可能也是這條線應該畫在哪裡。

訓練和推理可以拆分，Prefill 和 Decode 可以拆分，Decode 內部的 Attention 與其他計算也可以繼續拆分。拆得越細，單項效率越容易提升，但資源調度、KV Cache 搬運和跨硬體通信也會變得更複雜。

因此下一階段 AI 芯片競爭的難題，或許已經不只是造出一颗更強的芯片。

更難的是決定：哪些任務值得專門製作一顆晶片，哪些任務繼續放在同一套硬體裡，整套系統的 Token 成本才更低。