微軟白皮書顯示,Claude 在未使用 Harness 時表現下降

iconBitPush
分享
AI summary icon精華摘要
微軟於2026年11月7日發布了一份技術白皮書,顯示Copilot Studio中使用的Harness等技術指標直接影響AI性能。在新系統下,相同的Claude Opus 4.8模型在複雜任務成功率上提升了22.1個百分點,輸入token使用量降低了21%。報告強調了Harness在提升效率方面的關鍵作用,尤其是在利率和開發成本影響模型部署的背景下。

11月7日,微軟發布了一份關於Agent執行系統的技術白皮書,其中包含一組略顯意外的測試結果:同樣使用Claude Opus 4.8,僅更換Copilot Studio背後的Harness,複雜任務的通過率便提升了22.1個百分點。新系統每項任務調用模型的次數幾乎翻倍,但折算後的輸入Token消耗卻可減少21%。

就在十天前,微軟剛宣布將統一的 Copilot Harness 推廣至旗下多個產品,並透過雲平台向開發者出售託管服務。

11月5日,月之暗面剛剛發布 Kimi Hosted Agents(托管智能體),正式提出 Harness as a Service。8月,DeepSeek 開源了自身的 Harness;OpenAI、Anthropic 更早就已將內部運行系統轉變為開發者可調用的服務。

背後支撐該大模型的「運行系統」,正逐漸成為模型公司眼中的關鍵人物。

微軟白皮書實證:換掉 Harness,同樣的 Claude 表現差出一截

圖片由 AI 生成

01 抢灘 Harness

Harness 可理解為圍繞大模型搭建的一套 Agent 運行系統。它讓模型能夠使用外部工具、持續執行多步驟任務,並根據執行結果調整後續行動。對於需要長時間運行的 Agent,Harness 還負責保存任務狀態,使工作能夠在中斷後繼續。

它與 AI 應用處於不同的層次。例如 Claude Code、WorkBuddy 等產品直接面向用戶,而底層 Harness 可被不同應用重用,也可作為獨立服務提供給開發者。隨著 Agent 承擔的工作越來越複雜,Harness 逐漸成為影響任務成功率、執行效率和運行成本的重要因素。

Anthropic 是較早投入 Harness 研發的模型公司之一,最初是為了解決 Claude Code 在長時間編程任務中遇到的問題。

到2025年底,Anthropic發現,當Claude的上下文窗口耗盡時,新的對話往往無法延續此前的工作。工程師隨即改進了Claude Code背後的Harness,讓Agent在每個階段結束前保存進度,下一輪再讀取這些記錄,繼續完成尚未完成的任務。這樣,即使一次模型會話結束,整個編程任務仍可持續推進。

今年4月,Anthropic進一步推出 Managed Agents,將這套 Agent 運行能力作為雲端服務提供給開發者。為了讓企業能夠長期、穩定地運行 Agent,Anthropic 還調整了底層架構:Harness 負責推動任務執行,歷史記錄可以單獨保存下來,AI 運行程序的沙箱也可以隨時替換。即使沙箱發生故障,Agent 也能恢復此前的工作。

從 Claude Code 內部的運行系統,到面向外部開發者的託管服務,Anthropic 將多年累積的 harness 能力轉化為獨立產品。

OpenAI 也選擇將支撐 Codex 的 Harness 開放給更多開發者。今年 2 月,OpenAI 揭示,Codex 的網頁版、命令行和 IDE 插件實際上共用同一套 Agent 運行系統。8 月,進一步將 Codex 定位為開放的 Harness 平台,允許第三方應用直接接入。9 月推出的 Agents API,由 OpenAI 負責託管和維護這套系統,開發者可直接接入 Agent 的運行環境。

這條路線讓 OpenAI 既能透過 Codex 直接服務用戶,也能將底層執行能力提供給其他軟體公司。開發者可以保留自己的產品介面和業務流程,讓 Codex 在背後完成具體任務。

DeepSeek 於 8 月 13 日以 MIT 協議開放了 Harness 的全部框架程式碼,它提出「Everything is a Plugin」,幾乎將整個 Agent 運行系統拆解為可自由組合的外掛。開發者除了可以替換模型和外部工具外,還能修改 Agent 調用模型與執行任務的方式,甚至讓 Agent 自行編寫並安裝新的外掛。

這套基於 Cordis 的架構,希望讓開發者無需從頭搭建運行系統,就能按照自己的需求開發不同類型的 Agent。

11 月 5 日,Kimi 官宣 Hosted Agents 提供全天候雲端環境,企業可以把 Agent 放進內部系統,也可以嵌入對外銷售的產品,並明確提出 Harness as a service。

02 載體進化

實際上,Harness 的熱度並不是由模型公司開始的。

今年初,OpenClaw 的走紅已讓行業看到,一家沒有基礎模型的公司,也可能憑藉 Agent 運行系統吸引大量用戶。2 月,OpenAI 招募了 OpenClaw 創始人 Peter Steinberger,參與下一代個人 Agent 的研發。

隨後,Nous Research 推出 Hermes Agent,嘗試讓 Agent 將工作中累積的經驗保存為可重用的 Skills,並在後續任務中持續改進。

在3月底,史丹福大學等機構提出 Meta-Harness,讓 AI 根據失敗記錄直接修改 Harness 代碼,並通過測試驗證效果。在一項文本分類實驗中,準確率提升 7.7%,上下文 Token 消耗降至原來的四分之一。

為何這些探索值得模型公司投入?10月,新加坡南洋理工大學測試了66種模型與Harness的組合,發現更換Harness甚至可能改變模型之間的性能排名。

FrontierHarness Eval 也發現,同一個 Kimi K3,使用 Codex 的任務通過率為 66.7%,使用 DeepSeek Harness Creator 為 63.3%,使用 Kimi Code 則為 56.7%。

對於基礎模型公司來說,提升模型表現,除了改進模型本身,也越來越依賴 Harness 的設計與優化。

微軟白皮書實證:換掉 Harness,同樣的 Claude 表現差出一截

研究者仍在嘗試將 Harness 累積的經驗應用於模型訓練。7 月提出的 Co-Harness 先透過失敗記錄改進 Harness,再利用優化後的執行數據訓練模型。11 月公布的 HarnessFlow 則嘗試自動搜尋更好的 Harness 設計,在六類任務中將平均成績提高 10.89 個百分點。

微軟白皮書實證:換掉 Harness,同樣的 Claude 表現差出一截

不過,自動優化也存在風險。11 月初的一項研究發現,在特定實驗中,一個 Harness 經過新任務優化後,原先在 SWE-bench 上的成績從 94% 跌至 32%。模型升級也可能讓此前有效的設計失去作用。

This means that Harness's technical accumulation is difficult to achieve once and for all. How to maintain stability across different tasks while continuously improving remains an unsolved challenge.

有業界人士表示,這也是部署開源模型的一大痛點。因此,模型公司已開始出售 Harness 服務。開源框架雖可免費獲取,但企業若要長期穩定地運行 Agent,仍需承擔部署與維護成本。Kimi、Anthropic 等公司看到了接手這些工作的機會,將 Harness 變成一門獨立生意,但不同公司的做法差異很大。

03 Harness 的隱藏價值

Harness 已開始成為一項可單獨收費的服務,但目前的價格表顯示,模型推理仍是主要的收費來源。

Anthropic 的 Managed Agents 每活躍會話小時收取 0.08 美元,Token 另計;根據官方公佈的一小時程式設計任務範例,總費用為 0.58 美元,其中託管運行費僅佔約 14%。

Kimi 的收費分為模型 Token、沙箱運行和付費插件。它公佈的一次投資銀行法律分析任務,估算成本約 30 元,沙箱費用不足 0.1 元。OpenAI 在 Agents API 公測期間免收額外服務費,主要按照模型和工具使用量計費。DeepSeek 將 Harness 以 MIT 協議開源,並沒有直接的收費邏輯。

微軟白皮書實證:換掉 Harness,同樣的 Claude 表現差出一截

因此,模型公司目前透過 harness 取得的直接收入可能微乎其微。

那麼,為何還要投入大量研發資源?

一個重要原因是,企業在真正部署 Agent 後,對 Harness 的需求可能比對某個特定模型更穩定。

美國法律服務公司 ABC Legal 原本將 Agent 部署在員工電腦上,並透過定時任務運行。隨著使用範圍擴大,CTO Brandon Fuller 開始尋找能夠統一管理這些 Agent 的平台。他比較了多個方案,最終選擇 Anthropic 的 Managed Agents,因為企業不希望繼續維護分散的運行環境。

根據 Anthropic 的披露,ABC Legal 在一個月內就將 50 多個 Agent 投入生產,約 310 名員工日常使用 Claude。員工甚至不需要掌握軟體開發知識,就可以通過配置創建新的 Agent。

這說明,托管 Harness 的吸引力來自實際的企業需求。比起從頭開發部署和長期維護運行系統,企業可能更願意購買現成服務,將工程資源傾斜給自己的業務。

但企業不一定願意因此與一家模型公司綁定。

今年8月,VentureBeat對107家企業進行了調查。85%的受訪企業同時使用兩套或更多Agent編排平台。在選擇平台時,29%的企業最看重模型與工具的靈活性,僅有10%優先考慮與某個領先模型的原生適配。雖然樣本偏向大型科技企業,但已反映出一種採購傾向:客戶希望保留更換模型的自由。

這恰好提供了 Harness 競爭的另一種商業邏輯。如果企業願意長期使用一套運行系統,提供商即便不能獨佔模型調用,也可能持續獲得託管、維護和企業開發服務收入,並與客戶建立更穩定的合作關係。

這樣一來,Harness 就可以接觸企業實際工作的執行過程。與單純的模型 API 相比,Harness 可以記錄一項任務從開始到完成的工作軌跡,包括模型調用、工具執行、失敗重試以及最終結果。這些記錄既能幫助企業排查故障,也能為模型研發提供有價值的反饋。

微軟白皮書實證:換掉 Harness,同樣的 Claude 表現差出一截

如果能夠持續獲得經過驗證的真實任務反饋,模型公司就有機會更快發現模型在生產環境中的問題。不過,這一優勢也會受到數據權利的明確限制。

這也為模型公司提出了一個新問題:如果企業能夠自由更換底層模型,同時堅持掌握自己的數據,Harness 還能建立多大的長期優勢?

對於模型公司而言,Harness 可能帶來比直接收費更長遠的價值。當企業將越來越多的工作交給 Agent,誰能提供可靠的運行系統,誰就有機會影響模型的選擇,以及 AI 如何參與真實業務。

一個熟悉又老套的詞:入口。

但是,這個在互聯網時代根深蒂固的詞語,總會牽動 AI 時代競爭的敏感神經。現在,Harness 從某種程度上承擔了這種期待,以及想像力。


Twitter:https://twitter.com/BitpushNewsCN

比推 TG 交流群:https://t.me/BitPushCommunity

比推 TG 訂閱:https://t.me/bitpush

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。