撰文：深潮 TechFlow
不需要訓練，不需要數據，不需要梯度下降。
麻省理工學院的研究人員將一個開源小型模型的權重交給了 GPT-6 Astra，並用自然語言下達了一條指令：「把它的數學能力提升上去。」
Astra 花了 20 個小時，翻閱了 8 億個參數，找到了兩層網絡中的 131,072 個權重，動了手術。
手術前，這個模型在 MATH-500 基準測試上的得分是 7.9%；手術後，48.1%。
這就是今日最震撼的 AI 新聞。
一場沒有梯度的手術
11月2日，麻省理工學院計算機科學與人工智慧實驗室（CSAIL）的研究團隊發佈了一篇部落格，公佈了一項他們稱為「權重空間編程」（Weight-Space Programming）的實驗結果。第一作者Takehi Rikiya是MIT CSAIL的一年級博士生，合作者包括Jayden Teoh、Alex Zhang，以及Takehi的導師Omar Khattab。
實驗的核心思路可以用一句話概括：讓一個足夠強的 AI，直接閱讀另一個 AI 的「大腦」，找到問題所在，然後用手術刀精準修改。
被選中的「患者」是阿里巴巴的開源模型 Qwen3.5-0.8B，一個 8 億參數的小型語言模型。「外科醫生」則是 OpenAI 最新的 GPT-6 Astra。
研究團隊為 Astra 提供了三樣東西：一批數學練習題、一個可以讀取和寫入模型權重的 Python 環境，以及有限次數的模型推理調用權限。沒有 GPU，沒有訓練迴圈，也沒有優化器。Astra 需要像一位人類研究員一樣，透過觀察模型的行為並檢查權重數值，診斷出問題，然後直接修改參數。
整個過程持續了 20.3 個小時，其中 4.7 個小時花在等待服務中斷恢復上。Astra 進行了 158 輪對話、80 次 Python 執行和 50 次模型評估。
最終，它在第 15 層和第 19 層的 MLP 輸出矩陣中，找到了一個導致模型陷入重複輸出的「數值方向」，然後從 64 個輸出列中減去了這個方向。被修改的權重總共 131,072 個，佔模型全部參數的 0.016%。
Math score increased sixfold
微小的調整，卻帶來驚人效果。
在三個基準測試上，修改前後的對比如下：
MATH-500：7.9% → 48.1%
GSM8K：13.8% → 67.1%
IFEval（指令遵循）：21.0% → 62.3%
另一個更直觀的數字：修改前，Qwen3.5-0.8B 在 MATH-500 上有 93% 的回答因陷入重複循環而觸及 32,768 個 token 的上限；修改後，這一比例降至 33.1%。
VentureBeat 的報導將這比作「神經網絡的基因編輯」。這個比喻精準地抓住了要害：傳統的模型訓練像是讓一個人通過大量練習來提高數學能力，而權重空間編程更像是直接打開大腦，找到那根接錯的神經，重新接上。
但研究團隊自己給出了一個重要的限定：Astra 並沒有給 Qwen 注入新的數學能力，它只是移除了一個阻礙模型發揮已有能力的障礙。
這個區別至關重要。為驗證這一點，團隊在 Google 的 Gemma 3 270M 模型上重複了相同的實驗。Gemma 3 很少出現重複輸出問題（僅有 8.5% 的回答觸及 token 上限），結果 Astra 對其 MATH-500 分數幾乎沒有任何改善，波動不超過 1 個百分點。
結論很清晰：權重空間編程目前能做的是「拆除路障」，不是「修建新路」。
不只是數學
數學只是研究團隊展示的一個場景，Astra 在權重空間中的能力遠不止於此。
識別「靈魂」：研究團隊訓練了四個架構完全相同的 Atari 遊戲策略網路（Breakout、Pong、Pac-Man、Freeway），然後僅將權重提供給 Astra，不提供任何標籤。Astra 僅憑權重數值便準確識別出每個網路對應的遊戲。其推理方式為：Breakout 網路的第一層權重集中在畫面底部（球拍位置），輸出層的動作分佈偏向左右移動。
從零建構網絡：在 MinAtar（Atari 的迷你版本）實驗中，Astra 從零開始，直接在權重空間中「寫出」了遊戲策略網絡。在 Breakout 上，Astra 寫出的網絡得分 517.4，而使用 PPO 算法訓練 5 億步的網絡僅得 25.3 分。
修復卡死的自動駕駛：一個使用 PPO 訓練的小車控制器在坡道上卡住，陷入局部最優。Astra 僅用一輪對話，修改了 3.5% 的權重，修復後的控制器在 1,024 次測試中全部成功。
這些實驗的共同點是：Astra 不僅能「讀懂」權重，理解每個數字代表什麼行為，還能「改寫」權重，讓模型做到訓練算法做不到的事。
What does “gene editing with neural networks” mean?
在權重空間編程之前，學術界已嘗試直接編輯模型權重。2022 年 NeurIPS 上的 ROME 和 2023 年 ICLR 上的 MEMIT，均展示了如何在語言模型的權重中精確插入或修改一項事實性知識，例如將「艾菲爾鐵塔在巴黎」改為「艾菲爾鐵塔在羅馬」。
但 ROME 和 MEMIT 做的是「事實層面的查找替換」，操作對象是單條知識。MIT 團隊這次展示的不同：Astra 修改的是模型的通用能力，數學推理和指令遵循，這跨越了從「編輯一個知識點」到「改變一種行為模式」的門檻。
Takehi 在部落格中的判斷更加激進：「神經網路的權重，將很快由能夠推理權重的 LLM 原生優化。」
如果這個方向被驗證，潛在的應用場景包括：
模型修復：模型部署後若出現問題，無需拉回重新訓練，只需讓另一個 AI「診斷」並進行修改。對於訓練成本動輒數千萬美元的前沿模型而言，這可能帶來巨大的成本節省。
模型審計：如果 AI 能讀取權重，那麼安全研究人員也可以用它來檢查一個模型是否被植入了後門或惡意行為。
開源模型定製：一個足夠強大的 AI 可以根據自然語言指令，為開源模型「定製」能力，無需任何訓練基礎設施。
硬幣的另一面
GPT-6 Astra 本身便是一個爭議纏身的模型。OpenAI 曾因安全顧慮推遲了其升級版 GPT-6.1 Astra 的發布。
OpenAI 首席科學家 Jakub Pachocki 在 Astra 發布三天後撰文警告：OpenAI 的內部測試結果顯示，AI 的進步可能走向「遞歸自我改進」，即 AI 系統越來越多地參與構建自己的繼任者。他說，任何實驗室的內部審查體系都不足以應對這一前景。
權重空間編程恰好觸及了這個警告的核心。如果一個 AI 能修改另一個 AI 的權重來提升能力，那麼理論上，一個 AI 能不能修改自己的權重？
研究團隊在部落格中明確指出，他們並未展示遞歸自我改進，也未展示效果可以持續疊加。但這並未阻止安全社區的警覺。PauseAI 的 Maxime Fournes 說這是「一個極其魯莽的研究方向」。
目前的限制是真實的：實驗僅在一個8億參數的小模型上成功，在Gemma 3上失敗了。整個過程需要20個小時和大量嘗試，尚未有獨立團隊成功複現，且與傳統微調相比的成本優勢也未經驗證。
但方向已經被指明了。ICML 2026 上已有論文提出，權重空間應成為生成式 AI 的「一等公民模態」，與文本、圖像、音頻並列，模型應原生地理解和操作權重。
如果說2024年是AI學會「看圖說話」的一年，2025年是AI學會「動手寫代碼」的一年，那麼2026年可能正成為AI學會「改造AI」的一年。
Where this road leads is currently unknown.