OpenAI 推出 GPT-5.6 Sol，基於 Cerebras 硬體實現每秒 750 個 Token 的速度

【導讀】GPT-5.6 的推理速度竟高達 750 tokens/秒！專業大神曝出內幕：它將跨越 100 張晶圓運行。AI 從思考變閃現，實時智能時代真的來了？

根據各方爆料，GPT-5.6 馬上就要向全民開放了。

最近，關於這個模型的各種猜測，已在 X 上火起來。

6月26日，OpenAI 曾正式宣布全新一代 GPT-5.6 家族。

而且在官博中提到：OpenAI 計劃於本月在晶片巨頭 Cerebras 的定制硬體上推出全新前沿模型——GPT-5.6 Sol，推理速度達到令人膽寒的每秒 750 個 Token！

In other words, complex Agent operations that previously required waiting several minutes can now be completed in the blink of an eye.

顯然，OpenAI 已在硬體與模型協同設計上率先邁出顛覆性的一步。

再加上不久前史上首款自研AI推理芯片Jalapeño正式曝光，我們可以感覺到，OpenAI已經有了成為全棧AI帝國的野心。

天下武功唯快不破：750 Tokens/s 的降維打擊

「每秒 750 個 Token」是什麼概念？

對於人類來說，這相當於一秒鐘閱讀並輸出大約 500 到 600 個漢字。

The text you're seeing, GPT-5.6 Sol, can generate it in less than a fraction of a second.

On X, renowned developer Caleb Shepherd excitedly said: 「This is the most exciting thing for me, GPT-5.6 Sol running on Cerebras. It's not just because coding speed has increased, but because the speed of computer usage has undergone a qualitative leap. We no longer have to wait two minutes for the AI to click a button.」

長期以來，儘管大模型變得越來越聰明，但「推理延遲」一直是實時交互多步 Agent 任務中落地的最大瓶頸。

當模型大到擁有數萬億參數時，傳統的 GPU 集群在節點間通信（NVLink 互聯）上往往會遇到物理瓶頸。

而 OpenAI 給出的答案是：不要讓模型去適應硬體，要讓硬體和模型融為一體。

根據官方披露的初步資訊，GPT-5.6 Sol 將於 7 月份以極其有限的規模向特定客戶開放，並隨著產能的爬坡逐漸鋪開。

正如網上所猜測的那樣，這絕對是一項極其昂貴的服務，專為願意為速度付費的頂級企業量身打造的特權。

如何將三萬億參數的巨獸塞入晶片？

當每秒 750 Tokens 的訊息傳出時，LLM Arena 的負責人 Peter Gostev 提出了一個讓所有人都感到疑惑的問題：

GPT-5.6 Sol 在 Cerebras 上到底是怎麼回事？據我所知，這似乎是完整的同一個模型（包含視覺等多模態能力），而不是像以前 GPT-5.3-Codex-Spark 那樣削減了視覺和上下文的殘血版。
但我理解的是，Cerebras 的單晶片最多只能容納 7000 至 9000 億參數的模型。那麼，是模型變小了？還是有我不了解的新型晶片？或者是某種多晶片協同的新技術？

這個疑問立刻引發了眾多網友的探討。

有人戲稱，大家這是在「午夜進行法醫級別的晶片審計」，並表示「如果這真的是同一個完整模型，那就像是有人把一艘超級遊輪硬塞進了一個玻璃瓶裡，而且還不告訴你怎麼做到的。」

很快，資深技術專家 Bleys Goodson 提供了一份極具說服力的硬核推演——

GPT-5.6 Sol 並非只塞進了一張晶片，而是橫跨了 70 到 100 張 Cerebras 晶圓級晶片！

極致的部署美學：「一晶圓，一層網路」

業內專家估算，GPT-5.6 Sol 的規格極其龐大：

總參數量：約 3 萬億
啟用參數：約 1500 億
網絡層數：約 70 到 90 層

為了獲得健康的推理服務特性，OpenAI 和 Cerebras 採用了一種極其奢華且震撼的部署方式——將每一層神經網絡單獨部署在一整張 Cerebras 晶圓上。

正如一位網友所指出的，通過增加流水線階段，只要你有足夠多的晶圓將它們鏈接起來，理論上你可以擴展到任意大小的模型，這不會影響 Token 的生成速度，只可能對首 Token 時間 TTFT 有輕微影響。

壯士斷腕的架構重構——被逼出來的輕量化 KV Cache

然而，光有海量晶圓還不夠。Cerebras 芯片架構的一大特點是擁有海量的片上 SRAM（靜態隨機存取存儲器），速度極快，但容量極其珍貴。

如果 OpenAI 像過去一樣，在 GPT-5.6 Sol 中使用傳統的重型 KV 緩存，這些昂貴的 SRAM 帶寬將被瞬間吃乾抹淨。

這就引出了本次合作最核心的戰略轉向：圍繞特定硬體進行模型重構。

Bleys Goodson 指出，既然 OpenAI 深入參與了硬體協同設計，他們極大概率放棄了傳統的注意力機制快取方案，轉而採用了更前沿的輕量化設計。

最有可能的方案包括：

類似 DeepSeekV4 的架構：極度優化快取佔用。

混合 SSM 設計：將 Mamba 等線性時間複雜度的模型與 Transformer 結合，徹底擺脫 KV Cache 的歷史負擔。

此外，知名開發者 John Lam 還提出了一個驚艷的猜測——注意力與 FFN 解耦。

他推測，OpenAI 可能正在使用傳統 GPU 處理注意力計算，而用海量的 Cerebras 晶圓暴力強推前饋神經網絡部分的計算。

這絕非空穴來風。網友們很快扒出了 Cerebras 此前在部落格中關於 Kimi K2.6 的部署細節：

Cerebras 在 CS-3 系統上以 4-bit 存儲 Kimi K2.6 的原始權重，同時以 16-bit 浮點進行運算以確保精度。權重分佈於多個晶圓上，激活值在晶圓間進行流式傳輸。層與層之間的全互連通信完全依賴晶圓上的網絡架構，其頻寬是 Nvidia NVL72 上 NVLink 的 200 倍以上！結合自定義算子與投機解碼，他們能以接近 1000 tokens/s 的速度運行萬億參數的 MoE 模型。

官方規格顯示，革命性的 CS-3 系統不僅速度無敵，而且能在單個邏輯設備上輕鬆擴展至 24 兆參數的模型！

正如有人驚嘆的那樣：「如果這真的是完整版的 Sol 跑在 Cerebras 上，那麼所有人預設的模型大小天花板，就在今夜被直接捅破了。」

真正的底牌——OpenAI 首發自研晶片「Jalapeño」

而且就在此前，OpenAI 正式發布了歷史上第一顆自研晶片——Jalapeño。

這顆晶片的問世，直接解釋了 OpenAI 與 Cerebras 合作的深層邏輯：透過在第三方頂尖推理硬體上的探索，OpenAI 彻底摸清了專用推理架構的命門和價值，並將其轉化為自身可控的底層平台。

Jalapeño 是墨西哥辣椒中辣度最溫和的品種之一。OpenAI 以它命名，明顯是表明：這只是開胃小菜。

這顆晶片是專為大模型推理設計的定制 ASIC。從畫下第一根線開始，它的每個電晶體都只為一件事優化：運行大模型。

令人意外的是，Jalapeño 不僅運行 OpenAI 自家的模型，其架構還兼容全行業的 LLM，展現出極大的平台野心。

而且，這顆晶片的設計和流片僅用了短短9個月。

這背後，是極其強大的產業聯盟：

Architecture led by: OpenAI personally designed the underlying architecture.
晶片實現與互聯：晶片巨頭博通提供強大的實現能力及網絡互聯技術支援。
System Integration: Celestica is responsible for final board manufacturing and rack-level physical integration.