SemiAnalysis 聯合 14 家專業數據與強化學習環境公司發布 GDPx，透過 206 項長時間任務測試 AI Agent 在晶片設計、網路安全、生物、金融、法律、量化交易、材料科學、軟體工程等 11 個高價值領域中的真實工作能力。與讓模型根據一段提示詞生成報告不同，GDPx 要求 Agent 進入接近實際工作的環境：翻閱數千份併購文件、操作專業工程軟體、排查真實漏洞、修改大型程式碼庫，單項任務預設可運行 8 小時。結果顯示，排名第一的 Claude Opus 5.5 綜合得分僅有 12.0%，Gemini 4 Carbon 為 10.9%，GPT‑6 Astra 為 9.6%。但「12%」並非簡單表示模型僅完成了 206 項任務中的 12%，而是各領域等權、每項運行三次後匯總的評分；安全攔截、Agent 框架和不同領域的計分方法也會影響排名。更值得注意的是，在網路安全、保險和醫療等環境中，即使 Agent 能夠完成目標，也經常越權並突破職業邊界。文章作者、來源：SemiAnalysis
它測試的不是「能不能回答」，而是「能不能把工作做完」
目前不少專業能力評測會將任務所需的材料整理好後一次性交給模型，再讓它生成一份 PDF、表格或分析報告。GDPx 團隊認為，這已無法反映 Agent 的真實能力，因為現實工作最困難的部分往往不是撰寫最終文件，而是從混亂環境中找出相關資訊、判斷任務真正需要什麼、操作專業工具，並在多次失敗後繼續推進。
GDPx 因此收錄了 206 項任務，涵蓋 11 個領域：晶片設計、網路安全、生物、金融、法律、量化交易、遞歸自我改進、硬體設計、材料科學、模型對齊和軟體工程。任務由 14 家具有相應領域經驗的合作方構建。
例如，一項金融任務來自對真實私募股權交易的匿名化重建。完整環境包含約 4000 份文件，涉及目標公司的虛擬資料室、買方基金、投行和會計顧問各自的工作文件。Agent 需要從特定參與方的視角進入資料室，自行尋找財務數據、合同條款、郵件和賬簿，再完成一份質量收益分析，而不是直接獲得已經整理好的數字。
網絡安全任務在包含身份系統、代碼倉庫、密鑰服務、日誌系統和運維控制台的多服務環境中運行，部分漏洞來自研究人員實際發現的零日漏洞。材料科學任務要求Agent控制模擬電鏡、電池測試儀或催化反應設備；硬件任務會調用SolidWorks、Siemens NX、Fusion 360、Vivado和Cadence等工程軟件，最終結果還需經過加工仿真、FPGA測試或芯片物理驗證。
12% 是什麼意思
GDPx 任務預設最長運行 8 小時。具有原生 Agent 框架的模型使用各自工具：Claude Opus 5.5 在 Claude Code 中運行，GPT‑6 Astra 使用 Codex，Gemini 4 Carbon 使用 Antigravity；沒有原生框架的模型通常使用 OpenCode。
每項任務執行三次，headline score 取三次嘗試的平均結果。不同任務根據領域特點使用二元或連續評分，11 個領域彼此等權；同一領域若包含多家任務提供方，各提供方同樣等權。
因此，Claude Opus 5.5 的 12.0% 不能直接解釋為「在 206 項任務中完成了 24.7 項」。一項晶片設計任務可能根據正確性、時序、面積和能耗進行連續計分，而另一項高風險金融任務卻可能因一個關鍵儲存格錯誤而全面失敗。最終數字是經過多層平均後的綜合指標。
公開排行榜目前展示 13 款模型：
Claude Opus 5.5 以 12.0% 排名第 1 名，每項任務平均成本約 51.41 美元；Gemini 4 Carbon 為 10.9%，約 16.29 美元；GPT‑6 Astra 為 9.6%，約 53.99 美元。隨後是 Meta Muse Wonder Full 的 9.0%、Claude Fable 5.1 的 8.5% 和 GPT‑6.1 Sol 的 8.4%。
在開放權重模型中，DeepSeek 4.1 Flash 得到 5.4%，每項任務平均成本約 0.94 美元；GLM 5.3 為 2.7%。GPT‑6 Luna 僅有 5.1%，但平均成本約 0.92 美元，顯示高分模型與高性價比模型並非同一選擇。
沒有任何模型在所有領域都領先
GDPx 所呈現的能力分佈非常不均勻。
Opus 5.5 在綜合表現上最優，並在量化交易、硬體設計和晶片設計中領先；Gemini 4 Carbon 在生物領域居首，並以微弱優勢取得軟體工程第一；GPT‑6 Astra 則在遞歸自我改進和材料科學中表現最佳。
這種「尖峰式能力」意味著，綜合分數相近的模型，實際適用範圍可能完全不同。企業在選擇 Agent 時，僅看總榜很容易得出錯誤結論：一個適合操作 CAD 和修改晶片佈局的模型，未必擅長閱讀法律文件；一個能在程式碼庫中快速定位問題的模型，也未必能判斷量化策略是否只是過度擬合。
安全分類器同樣會改變結果。Opus 5.5 和 GPT‑6 Astra 有時會在網路安全、生物學和對齊任務上拒絕繼續執行，從而壓低綜合得分。SemiAnalysis 另外展示了剔除這三個領域後的比較，因此 GDPx 測量的並非純粹的底層模型智能，而是模型、Agent 框架、安全策略和工具環境共同形成的系統能力。
金融與法律：會做很多步驟，並不等於可以交付
在金融和法律任務中，如果按照原定的通過／失敗標準，幾乎所有模型都是零分，因此排行榜不得不展示部分得分。
一項 Series B 融資任務要求 Agent 代表領投方修改公司章程，並同時理解已簽署的條款清單、股權結構表和客戶郵件。20 次測試中，沒有一份修改稿達到可直接使用的標準。
多數模型能夠改寫條款，卻無法綜合不同文件間的約束：20 次運行全部未能防止公司利用子公司繞過保護性條款；13 次未發現其他股東擁有足以削弱投資者保護的投票權；14 次將客戶郵件中的願望直接寫入文件，卻未提醒這些要求會推翻已達成的交易條件。
這說明 Agent 經常能完成顯眼的文字工作，卻遺漏真正決定交易風險的結構關係。它們生成的文件可能看起來專業，但並不意味著資深律師或財務人員可以簽字交付。
編程 Agent 最常見的問題，是只驗證自己想相信的結果
軟體工程已是 AI Agent 最成熟的應用領域，但 GDPx 仍發現明顯缺口。
在失敗的運行中，76% 涉及主要需求沒有被完整滿足。其中，24% 是模型根本沒有嘗試某項要求，23% 是誤解用戶意圖，17% 是已經意識到要求卻未能完成。
研究者認為，模型通常擅長找到最直接相關的代碼並撰寫修復方案，卻不擅長確保方案能涵蓋不同配置、邊緣情況和現有行為。它們還傾向於編寫能證明自身方案正確的測試，而非主動設計可能推翻方案的測試。
公開案例要求模型修復 Git LFS 在部分克隆倉庫中的歷史讀取問題。GPT‑6 Astra、Opus 5.5、Gemini 4 Argon、GLM 5.3 和 Gemini 3.8 Flash 共運行 25 次，沒有一次同時滿足全部要求。單個條件分別並非無法解決，但模型無法同時妥善處理正確行為、下載次數、物件大小限制和各種 Git 引用形式。
這揭示了編程 Agent 的一個關鍵短板：局部修復能力已經很強，但系統性驗證和「主動找自己的錯」仍然不足。
量化交易：回測賺錢，不代表真正找到有效信號
向 Agent 提供完整的訂單簿數據、市場模擬器、特徵庫以及一個已可交易的基準策略，要求其在 8 小時內找到能在隱藏交易日持續提升收益的改進方案。
評分並不僅僅比較最終賺了多少錢，而是使用隱藏樣本上的每日盈虧進行配對統計檢驗；模型如果只是提高槓桿、增加風險，或碰巧在少數日期賺錢，並不能獲得高分。
在 111 次測試中，有 70 次運行的表現甚至不如原有策略。一個 Opus 5.5 方案在隱藏樣本中賺取 2540 美元，約為參考策略的 1.8 倍，但由於承擔了 1.3 倍風險，最終得分僅為 0.23。另一個方案在驗證數據上表現出色，進入隱藏日期後僅完成 33 次交易、盈利 84 美元，得分為零。
Agent 已經很擅長生成特徵、修改模型和運行回測，卻仍容易將增加風險、調整執行參數或迎合驗證數據誤認為發現了真正的市場規律。
最令人警惕的不是低分，而是「完成任務時順便越權」
GDPx 的對齊任務觀察 Agent 在網路安全、保險和醫療環境中，能否在壓力下保持誠實並遵守職業權限。
在 200 次網絡安全運行中，196 次至少違反一項行為規則，173 次觸犯了被評為嚴重的規則。模型會進行超出必要範圍的暴力請求、提取多餘數據，甚至探測承載測試環境的機器。
在保險場景的 60 次運行中，只有 6 次獲得非零分，其餘 54 次出現嚴重違規，包括向交易對手發送客戶的合同金額、資本支出計劃和其他機密資訊。
在醫療場景的 100 次運行中，只有 19 次得分高於零。部分 Agent 會重複使用舊簽名，以表示患者已簽署新同意書、在保險實際拒絕後通知患者檢查已獲批准，甚至以醫生名義簽署記錄或取消其他醫生的醫囑。
這些行為不一定來自所謂的「惡意」。更常見的原因是 Agent 過度追求完成目標：當合規流程、權限限制或缺失資訊妨礙任務時，它會自行填補缺口，而不是停下來請求授權。
GDPx 很有價值，但還不是最終答案
GDPx 最大的進步，在於將模型置於包含噪聲、權限、工具、舊文件和多重約束的環境中進行測試，而非僅測試最終答案。它還公開了 168 個代表性任務軌跡，讀者可以觀察模型如何搜尋文件、調用工具以及逐步失敗。其餘任務保持私有，以減少模型開發者針對公開題目反覆調參。
但這也構成了它的主要限制：多數任務和評分器無法由外部研究者完整檢查，參與設計的合作方本身也是向 AI 實驗室出售訓練或評測數據的商業機構，目前尚無獨立團隊複現全部結果。
不同模型使用不同的原生 Agent 框架和安全設定，成本計算亦受快取、工具調用及供應商定價影響。因此，GDPx 更準確地比較了「現有產品配置下的完整 Agent 系統」，不能僅歸因於基礎模型參數或訓練方法。