CUDA 又又被打破了…
這次動手的，還是英偉達親手餵大的 AI。
一家成立僅一年的小公司，利用 AI 編程 Agent，僅花 10 小時，就建出了一套「類 CUDA 軟體」。
停停停。
你是說這套英偉達花了近20年搭建起來的軟體帝國，就這麼被複刻了？？
不止如此。 DeepSeek 也在嘗試少寫一點底層 CUDA。
他們已開源了一套名為 TileKernels 的 GPU 算子庫，使用 TileLang 編寫，大幅減少了手寫底層 CUDA 代碼的工作。
不過類似的「CUDA 危機」，咱也不是第一次聽了。
每隔一段時間，CUDA 都要被拿出來鞭打一番，動輒被替代、被擊穿、護城河又被顛覆…
真的是這樣嗎？
10 小時「復刻」CUDA
提到英偉達，很多人的第一反應是 GPU。
H100、Blackwell、Rubin，憑藉一代代性能更強的晶片，英偉達攫取了這輪 AI 浪潮的最大紅利。
但 NVIDIA 真正難以撼動的優勢，其實不是硬體，而是軟體。
晶片可以買，參數可以追，製程也會迭代。真正讓客戶在使用英偉達之後很難再換走的，是圍繞 GPU 建立起來的整套軟體生態。
而 CUDA，就是這套軟體帝國的核心。
CUDA 的全稱是 Compute Unified Device Architecture，由英偉達高層 Ian Buck 帶領，耗時近 20 年打造。
它常被稱為編程語言，但更準確地說，CUDA 是一套圍繞英偉達 GPU 建立的軟體平台。
如果簡單拆成三層，最底下是核心層，直接讓晶片幹活的 Kernel、編譯器和執行時。
中間是庫層——cuBLAS、cuDNN 等經過高度優化的計算庫，以及調試、驗證和性能分析工具。
最上面則是 PyTorch、TensorFlow 等開發框架，企業積累的海量代碼和工作流，以及圍繞 CUDA 成長起來的開發者生態。
△
這樣說可能有點抽象，但你可以把 NVIDIA GPU 想像成一家工廠。
CUDA 最底層負責告訴機器每一步怎麼幹，中間層提供現成的生產工具，最上層則是一整套已經運轉多年的生產體系。
因此，對客戶來說，買到的不只是 NVIDIA 的一張卡，而是一座開箱即用的工廠。
現在，一位名叫 Jeremy Nixon 的老哥，帶著 AI Agent 來了。
Nixon 是 AI 軟體初創公司 Infinity 的創始人，此前也曾於 Google Brain 擔任研究員。
他的團隊開發了一套名為 Ignition 的 AI 研究 Agent，專門為不同 AI 芯片編寫底層軟體。
它可以生成 GPU Kernel、運行測試、尋找錯誤、測量性能，再根據結果自動改寫代碼。
人類工程師負責提供高層方向，其餘那些瑣碎又耗腦的工作，就交由 Agent 反覆循環處理。
就這樣，Infinity 使用 Ignition 為 AI 芯片初創公司 d-Matrix 搭建了一套類 CUDA 軟體。
只花了 10 小時。
啊？？
那些過去需要晶片軟體工程師反覆調試的底層代碼，現在真能交給 AI 了？
還真不能說完全是炒作。
AI Agent 確實很適合這種具有明確反饋的編程任務。
Whether the code can be compiled, whether the results are correct, and whether performance has improved can all be answered through actual execution.
因此，代理能夠形成一個完整閉環：
寫代碼 → 編譯 → 運行 → 測試正確性和性能 → 根據反饋繼續修改
不過，Infinity 主要攻入的是 CUDA 的第一層：為不同晶片生成和優化推理 Kernel，並圍繞這些 Kernel 搭建底層軟體能力。
它正在開發一套面向多種晶片的通用推理庫，但這並不等於它在 10 小時內複製了 CUDA 近 20 年累積的完整生態。
但是…
但是！
你實際上並不需要複製一個 CUDA，就可以獲得 1500 萬美元的融資。
The company's current valuation has also reached $100 million.
是否對英偉達構成威脅我不確定，但資本確實很買賬。（doge）
推理側，第二戰場啟動！
如果說 AI Agent 是攻城的武器，那推理市場就是城牆上的缺口。
大模型的計算主要分成兩段：
訓練是建模，需要上萬張卡協同運行數個月；推理是使用已訓練好的模型回答問題，小型叢集甚至單張卡即可運行。
在訓練側，CUDA 目前依然近乎無解。
大規模訓練對性能、穩定性和叢集協同極為敏感。晶片之間的通信、顯存的調度、程式出錯後如何恢復，任何一點效率損失，放大到數千乃至數萬塊晶片上，都會變成真實的時間和成本。
因此，企業在選擇訓練平台時往往極其保守。
即使其他晶片的紙面參數不錯，只要軟體不夠成熟、叢集不夠穩定，節省下來的硬體成本，很可能從開發和試錯成本中加倍償還。
但在推理側，遊戲規則變了。
韓國AI晶片公司Rebellions首席商務官Marshall Choy就認為：
在推理端，CUDA 不再是決定性因素。這將是一場開源軟體的競爭。
為什麼競爭對手都盯上了推理？
Training focuses on "extreme performance," while inference focuses on "cost per response."
訓練需要上萬塊卡協同，推理可拆分至小集群甚至單卡；訓練不敢更換晶片，但推理可以。
只要能跑、便宜，客戶就願意嘗試。
更重要的是，推理軟體可以跨晶片運行。如果推理框架能支援多種晶片，用戶就能在不同硬體之間切換，無需重寫代碼——
The largest lock-in effect of CUDA has now been nullified.
這就為專用推理晶片留下了機會。
推理任務並不需要 CUDA 從訓練到集群協同的全部能力。針對特定模型、特定場景重新設計的晶片，只要能跑得更快、更便宜或更省電，就有機會從英偉達手中切下一塊市場。
例如 d-Matrix，本身是一家主打推理的芯片公司。
This company was founded in 2019 and specializes in generative AI inference chips.
聯合創始人兼首席執行官 Sid Sheth 曾回憶，他們很早就判斷，AI 推理帶來的機會最終會超過訓練。
Infinity 使用 AI Agent 花費 10 小時搭建的類 CUDA 軟體，服務的正是 d-Matrix 的推理晶片。
因此，「10 小時事件」的完整故事就連貫起來了：
新晶片想進入推理市場，但缺乏成熟的軟體；AI Agent 快速生成和優化底層 Kernel，將原本可能耗費數月乃至數年的適配工作壓縮至小時或天。
Sid 還明著放話：
Although NVIDIA maintains dominance in training, its moat has weakened in inference.
盯上這個缺口的，也不止 d-Matrix 一家。
專注於推理的 Rebellions、d-Matrix，押注晶圓級晶片的 Cerebras，亞馬遜的 Inferentia、谷歌的 TPU、AMD 的 MI300X……
各大晶片廠和雲計算巨頭，早已在推理市場排兵布陣，準備從英偉達手中搶下一塊肉。
對這些公司來說，他們不需要立即替代英偉達。
他們只需證明，在某些推理任務中，不依賴英偉達的全套硬體和 CUDA 生態，也能跑得更快或更便宜。
這就足夠了。
英偉達的護城河，到底有沒有被顛覆
答案可能還差得遠。
前面也說了，10小時重寫的是「一塊晶片的適配代碼」，而 CUDA 生態還有 20 年積累的庫、調試工具、社區、幾百萬開發者。
這並不是輕輕鬆鬆就能被顛覆的。
更重要的是，代碼能生成，並不等於能使用。
INT21 創始人徐冰，上一家 AI 芯片軟體公司 HippoML 被英偉達收購，他本人今年 4 月才離開英偉達。
他的判斷是：Agent 能在短時間內生成大量代碼，但驗證才是最大瓶頸。
AI 生成一萬行代碼很快，但「證明這一萬行在各種邊界情況下都能正確運算、穩定運行」極慢。
CUDA 最深的資產恰恰是它的驗證工具鏈——所以他認為，Agent 時代，驗證生態會成為 CUDA 的下一道護城河。
Modular 的聯合創始人兼執行長 Chris Lattner 也潑了盆冷水。
他認為編碼 Agent 帶來的改進是漸進式的，「炒作被嚴重誇大」。
理由有三：第一，寫代碼只是軟體工程的一小部分，生產級優化才決定晶片性能，直接決定運行 AI 的成本；
第二，晶片軟體是小眾精英領域，公開程式碼遠少於應用開發，AI 在這塊能學習的訓練資料本身就很少；
第三，數百萬行程式碼的遷移成本依然存在，這不是技術問題，而是組織決策問題。
還有一點容易被忽略的是：英偉達本身也在使用 AI。
英偉達開發者生態副總裁 Ankit Patel 表示：
我們也正在使用 AI Agent 來更快地開發 CUDA，並在更大規模上進行驗證。
以己之矛，攻彼之盾，進攻方的相對優勢也會打折。
Bing Xu 總結道：這場戰役的勝負，取決於競爭對手追趕英偉達的速度，能否快過英偉達自我迭代的速度。
But it's clear that the world's largest chip manufacturer "has not been sleeping or standing still."
總體而言，短期內英偉達的護城河安然無恙，但變化會先在推理側悄悄發生。
長期的真正懸念是：護城河正從「代碼的存量」遷移到「驗證和優化的生態」。
Whoever secures the new position first will be the next winner.
參考連結：[1] https://www.businessinsider.com/nvidia-cuda-new-threats-ai-coding-agents-2026-8
本文來自微信公眾號「量子位」，作者：聽雨