中國的人工智慧實驗室正迫使市場在有用智慧的成本上競爭。 出口管制限制了中國實驗室獲取先進的 NVIDIA 芯片。要保持競爭力,意味著必須從現有的硬體中榨取更多性能。 在訓練過程中,Deepseek 在數據於 GPU 之間傳輸時仍保持 GPU 運行,並轉向更低精度的格式,從而將記憶體和運算量減半。 更大的節省來自推理階段:稀疏模型在每個 token 上僅激活其參數的一小部分,而重新設計的注意力機制降低了長上下文的記憶體成本。結果是,這些模型的建構成本更低,運行成本更是大幅降低。 從 2024 年底到 2026 年,中國開源權重模型在 OpenRouter 上的週 token 消耗量占比從不到 1.2% 上升至多數。 OpenRouter 的全球 token 總量占比很小,且其用戶對價格敏感,因此不應將此視為全球市場份額。但它確實表明,當切換容易且性能足夠好時,用戶會選擇更便宜的模型。 更便宜的推理對中國也具有戰略價值。這些模型目前已可在國內加速器上運行,減少中國在推理環節對外國硬體的依賴。然而,中國在前沿訓練方面仍主要依賴外國晶片。 只有當中國實驗室能在國內基礎設施上大規模訓練前沿模型時,中國才會實現完整的運算自主。

