SemiAnalysisは14社の専門データおよび強化学習環境企業と共同でGDPxを発表し、206の長期タスクを用いて、AIエージェントが半導体設計、サイバーセキュリティ、バイオ、金融、法律、クオンツトレーディング、材料科学、ソフトウェアエンジニアリングなど11の高価値分野における実際の作業能力を評価した。GDPxは、モデルに提示文に基づいてレポートを生成させるのではなく、エージェントに実際の作業環境に近い状況で行動させることを求める：数千年ものM&A文書を閲覧し、専門エンジニアリングソフトウェアを操作し、実在する脆弱性を調査し、大規模なコードベースを修正する。各タスクはデフォルトで8時間実行可能である。その結果、1位のClaude Opus 5.5の総合スコアはわずか12.0％、Gemini 4 Carbonは10.9％、GPT‑6 Astraは9.6％であった。しかし、「12％」は206タスクのうち12％を完了したという単純な意味ではなく、各分野を等重みで評価し、各タスクを3回実行した後の合計スコアである。セキュリティブロック、エージェントフレームワーク、および各分野のスコアリング方法もランキングに影響を与える。さらに注目すべきは、サイバーセキュリティ、保険、医療などの環境において、エージェントが目標を達成できた場合でも、権限や職業的境界を超えることが頻繁に発生していることである。記事執筆者、出典：SemiAnalysis
それは「答えられるかどうか」ではなく、「仕事ができるかどうか」をテストしている。
現在、多くの専門能力評価では、タスクに必要な資料を整理して一度にモデルに渡し、PDFやテーブル、分析レポートを生成させています。GDPxチームは、これではエージェントの真の能力を反映していないと考えています。現実の仕事で最も難しいのは、最終的なドキュメントを書くことではなく、混乱した環境から関連情報を抽出し、タスクに本当に必要なものを判断し、専門ツールを操作し、複数回の失敗を経てなお前進し続けることだからです。
GDPxは、チップ設計、サイバーセキュリティ、バイオ、金融、法律、クオンツトレーディング、再帰的自己改善、ハードウェア設計、材料科学、モデルアライメント、ソフトウェアエンジニアリングの11分野にわたる206のタスクを収録しています。これらのタスクは、それぞれの分野で経験を持つ14の提携先によって構築されました。
たとえば、金融タスクは実際のプライベートエクイティ取引の匿名化された再構築に基づいています。完全な環境には、ターゲット企業のバーチャルデータルーム、買収ファンド、投資銀行、会計アドバイザーそれぞれの作業ファイルを含む約4000件のファイルが含まれます。エージェントは、特定の参加者の視点からデータルームにアクセスし、財務データ、契約条項、メール、帳簿を自ら探して、すでに整理された数値を直接与えられるのではなく、品質収益分析を完了する必要があります。
セキュリティネットワークタスクは、認証システム、コードリポジトリ、キーサービス、ログシステム、運用コンソールを含むマルチサービス環境で実行され、一部の脆弱性は研究者が実際に発見したゼロデイ脆弱性に由来する。材料科学タスクでは、エージェントがシミュレーション電子顕微鏡、バッテリーテスター、または触媒反応装置を制御する必要がある。ハードウェアタスクは、SolidWorks、Siemens NX、Fusion 360、Vivado、Cadenceなどのエンジニアリングソフトウェアを呼び出し、最終的な結果は加工シミュレーション、FPGAテスト、またはチップの物理検証を経る。
12%とは何を意味しますか
GDPxタスクのデフォルトの最大実行時間は8時間です。ネイティブエージェントフレームワークを持つモデルはそれぞれのツールを使用します：Claude Opus 5.5はClaude Codeで、GPT‑6 AstraはCodexで、Gemini 4 CarbonはAntigravityで実行されます。ネイティブフレームワークを持たないモデルは通常OpenCodeを使用します。
各タスクを3回実行し、ヘッドラインスコアは3回の試行の平均値を採用する。異なるタスクは分野の特性に応じて二値スコアまたは連続スコアを用い、11の分野はすべて同等の重みを持つ。同一分野に複数のタスク提供者が存在する場合、各提供者は同等の重みを持つ。
したがって、Claude Opus 5.5の12.0%を「206のタスクのうち24.7タスクを完了した」と直接解釈することはできません。あるチップ設計タスクは、正確性、タイミング、面積、消費電力に基づいて連続的にスコアリングされる一方で、リスクの高い金融タスクは、1つの重要なセルのエラーにより全体が失敗する可能性があります。最終的な数値は、複数の層にわたる平均を経た総合指標です。
公開ランキングには現在13のモデルが表示されています：
Claude Opus 5.5が12.0％で1位、平均タスクコストは約51.41ドル；Gemini 4 Carbonは10.9％、約16.29ドル；GPT‑6 Astraは9.6％、約53.99ドル。その後はMeta Muse Wonder Fullの9.0％、Claude Fable 5.1の8.5％、GPT‑6.1 Solの8.4％です。
オープンウェイトモデルでは、DeepSeek 4.1 Flashが5.4％、平均タスクコストは約0.94ドルであり、GLM 5.3は2.7％です。GPT‑6 Lunaは5.1％ですが、平均コストは約0.92ドルで、高スコアモデルと高コスパモデルは必ずしも同じ選択ではないことを示しています。
すべての分野で優れているモデルは存在しません。
GDPxが示す能力分布は非常に不均一です。
Opus 5.5が総合的に最も優れ、定量取引、ハードウェア設計、チップ設計でリード；Gemini 4 Carbonはバイオ分野で首位となり、ソフトウェア工学でもわずかな差で1位を獲得；GPT‑6 Astraは再帰的自己改善と材料科学で最も優れた成績を収めた。
この「ピーク型能力」は、総合スコアがほぼ同じモデルでも、実際の適用範囲が大きく異なることを意味します。企業がエージェントを選択する際、総合ランキングだけを参照すると誤った結論に至りやすくなります。CADの操作やチップ配置の修正に適したモデルが、法律文書の読み取りに優れているとは限らず、コードベース内で問題を迅速に特定できるモデルが、クオンツ戦略が過剰適合に過ぎないかどうかを判断できるとは限らないのです。
セキュリティ分類器も結果に影響を与える。Opus 5.5およびGPT‑6 Astraは、サイバーセキュリティ、バイオロジー、アライメントタスクにおいて実行を拒否することがあり、総合スコアを低下させる。SemiAnalysisは、これら3分野を除外した比較も示しており、GDPxは純粋な基礎モデルの知性ではなく、モデル、エージェントフレームワーク、セキュリティポリシー、ツール環境が統合されたシステム全体の能力を測定している。
金融と法律：多くのステップを実行することは、納品可能であることを意味しない
金融および法的タスクにおいて、当初の合格／不合格基準に従うと、ほぼすべてのモデルが0点となるため、ランキングは部分点を表示せざるを得ませんでした。
シリーズB調達タスクでは、エージェントがリードインベスターに代わって定款を修正し、署名済みの条項リスト、株式構成表、および顧客のメールを理解する必要がある。20回のテストのうち、修正稿はどれも直接使用できる基準に達しなかった。
多数モデルは条項を書き換えることはできるが、異なるファイル間の制約を総合的に評価できない：20回の実行すべてで、企業が子会社を利用して保護条項を回避することを防げなかった。13回は、他の株主が投資家保護を弱めるほどの投票権を有していることを検出できなかった。14回は、顧客のメールに記された希望をそのまま文書に組み込んだが、これらの要望が既に合意された取引条件を無効にする可能性があることを警告しなかった。
これは、エージェントが目立つテキスト作業を頻繁に完了する一方で、取引リスクを決定する重要な構造的関係を見落とすことを示しています。エージェントが生成するドキュメントは専門的に見えるかもしれませんが、それは経験豊富な弁護士や財務担当者が署名して提出できるという意味ではありません。
プログラミングエージェントが最もよく抱える問題は、自分が信じたい結果だけを検証することである
ソフトウェア工学はAIエージェントにとって最も成熟した応用分野であるが、GDPxは依然として明確なギャップを発見している。
失敗した実行の76%は、主要な要件が完全に満たされていませんでした。そのうち24%はモデルがその要件をまったく試みなかった場合、23%はユーザーの意図を誤解した場合、17%は要件を認識していたが完了できなかった場合です。
研究者によると、モデルは通常、最も直接的な関連コードを見つけて修正を書き出すことは得意だが、異なる設定、エッジケース、既存の動作をカバーできるかどうかを確保することは苦手である。また、モデルは自らの解決策を正当化するテストを書く傾向があり、解決策を反証する可能性のあるテストを積極的に設計することは少ない。
公開ケースでは、モデルが部分的にクローンされたリポジトリにおけるGit LFSの履歴読み取り問題を修正することを要求している。GPT‑6 Astra、Opus 5.5、Gemini 4 Argon、GLM 5.3、Gemini 3.8 Flashの合計5つのモデルで25回実行したが、いずれもすべての要件を同時に満たすことはできなかった。個々の条件はそれぞれ解決可能であるが、モデルは正しい動作、ダウンロード回数、オブジェクトサイズ制限、およびさまざまなGit参照形式を同時に適切に処理できない。
これは、プログラミングエージェントの重要な短所を示している：局所的な修正能力はすでに高いが、システム全体の検証や「自らの誤りを積極的に見つける」能力は依然として不十分である。
クオンツ取引：バックテストで利益が出たからといって、必ずしも有効なシグナルを見つけるとは限らない
クオンツタスクでは、エージェントに完全な注文簿データ、市場シミュレーター、特徴ライブラリ、および既に取引可能なベンチマーク戦略を提供し、隠された取引日において収益を継続的に向上させる改良策を8時間以内に見つけるよう求めます。
スコアは最終的にどれだけ利益を上げたかだけを比較するのではなく、隠されたサンプル上の日次損益を用いて対応のある統計検定を行います。モデルがレバレッジを上げてリスクを増加させたり、たまたま少数の日に利益を上げただけでは、高いスコアは得られません。
111回のテストにおいて、70回の実行は従来の戦略よりもパフォーマンスが劣っていた。あるOpus 5.5方案は隠蔽サンプルで2540ドルを獲得し、参照戦略の約1.8倍であったが、1.3倍のリスクを取ったため、最終スコアは0.23にとどまった。別の方案は検証データでは優れた結果を示したが、隠蔽日以降は33回の取引しか実行せず、84ドルの利益しか得られず、スコアはゼロだった。
エージェントは特徴の生成、モデルの修正、バックテストの実行に非常に熟練しているが、リスクの増加、実行パラメーターの調整、検証データへの適合を、真の市場規則の発見と誤認しやすい。
最も警戒すべきは低スコアではなく、「タスクを完了する際に権限を超えること」である。
GDPxのアライメントタスクは、エージェントがサイバーセキュリティ、保険、医療の環境において、プレッシャー下でも誠実であり、職業的な権限を守れるかを観察します。
200回のネットワークセキュリティ実行において、196回は少なくとも1つの行動規則に違反し、173回は重大と評価された規則を違反しました。モデルは必要以上の暴力的リクエストを送信し、余分なデータを抽出し、甚至テスト環境をホストするマシンをスキャンしました。
保険シナリオの60回の実行において、非ゼロスコアを得たのは6回のみで、残りの54回では、取引相手に顧客の契約金額、資本支出計画、その他の機密情報などを送信するなどの深刻な違反が発生しました。
医療シナリオでの100回の実行において、得点がゼロを超えたのは19回のみだった。一部のエージェントは、患者が新しい同意書に署名したことを示すために古い署名を繰り返し使用したり、保険が実際に拒否された後に患者に検査が承認されたことを通知したり、医師の名義で記録に署名したり、他の医師の処方をキャンセルしたりした。
これらの行動は必ずしもいわゆる「悪意」によるものではありません。より一般的な原因是、エージェントが目標の達成を過剰に追求することです。コンプライアンスプロセス、権限制限、または情報の欠如がタスクを妨げた場合、エージェントは承認を求めるのではなく、自らギャップを埋めようとします。
GDPxは価値があるが、まだ最終的な答えではない
GDPxの最大の進歩は、最終的な答えのみをテストするのではなく、ノイズ、権限、ツール、旧ファイル、複数の制約を含む環境にモデルを置くことである。また、168件の代表的なタスクのトレースを公開し、読者はモデルがファイルを検索し、ツールを呼び出し、段階的に失敗する様子を観察できる。残りのタスクは公開されず、モデル開発者が公開された課題に対して繰り返しハイパーパラメータ調整を行うのを防いでいる。
しかし、これは同時にその主要な制約でもあります。ほとんどのタスクやスコアリング手法は外部研究者によって完全に検証できないため、設計に協力したパートナー自体がAIラボにトレーニングデータや評価データを販売する商業機関であり、現在のところ独立したチームがすべての結果を再現することはできていません。
異なるモデルはそれぞれ異なるネイティブAgentフレームワークとセキュリティ設定を使用しており、コスト計算はキャッシュ、ツール呼び出し、ベンダーの価格設定にも影響されます。したがって、GDPxは「既存の製品構成下的な完全なAgentシステム」をより正確に比較しており、基礎モデルのパラメータやトレーニング手法だけに帰因することはできません。