Mas mababa sa 12% ang marka ng mga pinakamataas na AI model sa real-world task benchmark na GDPx

Inilabas ng SemiAnalysis kasama ang 14 na propesyonal na kompanya ng data at reinforcement learning environment ang GDPx, na sumusubok sa tunay na kakayahan ng AI Agent sa 11 mataas na halagang larangan—kabilang ang disenyo ng chip,网络安全, biyolohiya, pagsasalapi, batas, quantitative trading, agham ng materyales, at software engineering—gamit ang 206 na mahabang gawain. Sa pagkakaiba sa pagpapagawa ng report batay sa isang prompt, kinakailangan ng GDPx na pumasok ang Agent sa mga kapaligiran na malapit sa totoong trabaho: pag-aaral ng libu-libong dokumento ng merger at acquisition, paggamit ng propesyonal na software ng inhinyeriya, paghahanap at pagpapabuti ng totoong vulnerabilities, at pagbabago ng malalaking codebase, kung saan ang bawat gawain ay may default na 8 oras na pagpapatakbo. Ang resulta ay nagpakita na ang pinakamataas na pagsusuri ng Claude Opus 5.5 ay 12.0% lamang, ang Gemini 4 Carbon ay 10.9%, at ang GPT-6 Astra ay 9.6%. Ngunit ang “12%” ay hindi simpleng nangangahulugan na ang model ay natapos lamang ang 12% ng 206 na gawain; ito ay isang pagsusuri na nakabatay sa pantay-pantay na timbang sa bawat larangan at tatlong pagpapatakbo bawat gawain. Ang mga seguridad na paghahadlang, ang Agent framework, at iba’t ibang paraan ng pagsusuri sa bawat larangan ay nakakaapekto rin sa ranking. Mas mahalaga pa, sa mga kapaligiran tulad ng网络安全, insurance, at healthcare, madalas na lumabas ang Agent sa kanilang mga pahintulot at hangganan ng propesyon kahit na matagumpay silang makamit ang kanilang layunin.

May-akda ng artikulo, pinagkukunan: SemiAnalysis

Sa kasalukuyan, maraming pagtataya ng propesyonal na kakayahan ang nagpapadala ng lahat ng kailangang materyales sa isang beses sa modelo, pagkatapos ay hinihingi ang pagbuo ng isang PDF, talahanayan, o ulat sa pagsusuri. Naniniwala ang GDPx team na hindi na ito nagpapakita ng totoong kakayahan ng Agent, dahil ang pinakamahirap na bahagi ng tunay na trabaho ay kadalasan ay hindi ang pagsusulat ng final na dokumento, kundi ang paghahanap ng mga kaugnay na impormasyon mula sa isang kaguluhan, ang pagtukoy kung ano ang totoong kailangan ng gawain, ang paggamit ng mga propesyonal na kasangkapan, at ang pagpapatuloy sa pag-unlad matapos ang maraming pagkabigo.

Kaya ng GDPx ang pagkakasama ng 206 na gawain na nakakapalibot sa 11 na larangan: disenyo ng chip,网络安全, biyolohiya, finansya, batas, quantitatibong pagtinda, rekursibong pagpapabuti sa sarili, disenyo ng hardware, agham ng materyales, pagpapagkakasundo ng modelo, at inhenyeriyang software. Binuo ang mga gawain ng 14 na kakaibang kalahati na may karanasan sa mga kaugnay na larangan.

Halimbawa, isang financial task ay nagmumula sa anonimisadong pagbuo ng isang totoong private equity transaction. Ang buong environment ay naglalaman ng halos 4,000 na dokumento, kabilang ang virtual data room ng target company, ang mga working papers ng buyer fund, investment bank, at accounting advisor. Kailangan ng Agent na pumasok sa data room mula sa pananaw ng isang partikular na partido, maghanap ng sarili ng financial data, contract terms, emails, at ledgers, at pagkatapos ay kumpletuhin ang isang quality of earnings analysis, hindi direktang makakatanggap ng naka-ayos na numero.

Ang mga gawain sa网络安全 ay tumatakbo sa isang maraming serbisyo na kapaligiran na naglalaman ng sistema ng pagkakakilanlan, repository ng code, serbisyo ng susi, sistema ng log, at console ng pagpapanatili, kung saan ang ilang mga vulnerabilities ay galing sa mga zero-day vulnerabilities na tunay na natuklasan ng mga researcher. Ang mga gawain sa material science ay nangangailangan ng pagkontrol ng Agent sa simulated electron microscope, battery tester, o catalytic reaction equipment; ang mga gawain sa hardware ay magtatawag ng mga engineering software tulad ng SolidWorks, Siemens NX, Fusion 360, Vivado, at Cadence, at ang mga huling resulta ay kailangang pagsusuri sa simulation ng pagproseso, FPGA testing, o physical verification ng chip.

Ang GDPx task ay may default na maximum na 8 oras na pagpapatakbo. Ang mga modelong may native Agent framework ay gumagamit ng kanilang sariling mga kasangkapan: ang Claude Opus 5.5 ay tumatakbo sa Claude Code, ang GPT‑6 Astra ay gumagamit ng Codex, at ang Gemini 4 Carbon ay gumagamit ng Antigravity; ang mga modelong walang native framework ay karaniwang gumagamit ng OpenCode.

Ipinapataas ang bawat gawain nang tatlong beses, at ang headline score ay batay sa average ng tatlong subok. Ang iba’t ibang gawain ay ginagamit ang binomial o tuloy-tuloy na pagmamarka batay sa mga katangian ng larangan; ang 11 na larangan ay may pantay na bigat; kung mayroong maraming tagapagbigay ng gawain sa isang larangan, pantay-pantay ang bigat ng bawat tagapagbigay.

Kaya hindi direktang ipapaliwanag ang 12.0% ng Claude Opus 5.5 bilang “24.7 mga gawain na natapos sa 206 mga gawain.” Maaaring iskalin ang isang gawain sa pagdisenyo ng chip batay sa kawastuhan, oras, sukat, at pagkawala ng enerhiya, samantalang ang isang mataas na panganib na finansyal na gawain ay maaaring bumagsak ng buo dahil sa isang mali sa isang mahalagang selula. Ang huling numero ay isang komprehensibong indikador na nakuha mula sa maraming antas ng pag-aaral.

Ang publikong leaderboard ay nagpapakita ng 13 modelo ngayon:

Naka-ranking sa unang lugar ang Claude Opus 5.5 sa 12.0%, na may average na gastos ng humigit-kumulang $51.41 bawat gawain; ang Gemini 4 Carbon ay 10.9%, humigit-kumulang $16.29; ang GPT‑6 Astra ay 9.6%, humigit-kumulang $53.99. Susunod ang Meta Muse Wonder Full sa 9.0%, ang Claude Fable 5.1 sa 8.5%, at ang GPT‑6.1 Sol sa 8.4%.

Sa mga open-weight model, nakakuha ang DeepSeek 4.1 Flash ng 5.4%, na may average na gastos na halos $0.94 bawat task; ang GLM 5.3 ay 2.7%. Ang GPT‑6 Luna ay may 5.1% lamang, ngunit ang average na gastos ay halos $0.92, na nagpapakita na ang mga model na may mataas na marka ay hindi pareho sa mga model na may mataas na halaga.

Ang pagkakalat ng kakayahan ng GDPx ay napakagamit.

Ang Opus 5.5 ay may pinakamahusay na pangkabuuang pagganap at nangunguna sa quantitative trading, hardware design, at chip design; ang Gemini 4 Carbon ay nangunguna sa larangan ng biology at may kaunting kalamangan sa software engineering; ang GPT-6 Astra naman ay may pinakamahusay na pagganap sa recursive self-improvement at materials science.

Ang ganitong “pang-peak na kakayahan” ay nangangahulugan na kahit na malapit ang kabuuang marka ng mga modelo, ang kanilang tunay na saklaw ng paggamit ay maaaring lubos na magkaiba. Kapag pumipili ang mga negosyo ng isang Agent, ang pagtingin lamang sa pangkabuuang listahan ay maaaring magdulot ng maling konklusyon: ang isang modelo na angkop para sa pag-operate ng CAD at pagbabago ng layout ng chip ay hindi nangangahulugang mahusay sa pagbabasa ng mga legal na dokumento; ang isang modelo na maaaring mabilis na makahanap ng problema sa codebase ay hindi nangangahulugang kayang masukat kung ang isang quantitative strategy ay simpleng overfitting lamang.

Ang security classifier ay nagbabago rin sa resulta. Ang Opus 5.5 at GPT‑6 Astra ay minsan ay tumatanggi na magpatuloy sa mga gawain tungkol sa cybersecurity, biolohiya, at alignment, na nagpapababa sa pangkalahatang marka. Ipinakita rin ng SemiAnalysis ang paghahambing pagkatapos tanggalin ang tatlong larangan, kaya ang GDPx ay hindi sumusukat sa purong ilalim na model intelligence, kundi sa system capability na binubuo ng model, Agent framework, security strategies, at tool environment.

Sa mga financial at legal na gawain, kung susundin ang orihinal na pass/fail criteria, halos lahat ng modelo ay nakakuha ng zero point, kaya ang leaderboard ay kinailangang ipakita ang partial score.

Ang isang Series B funding task ay nangangailangan na ang Agent ay baguhin ang charter ng kompanya para sa lead investor, habang nauunawaan ang signed term sheet, capitalization table, at customer emails. Walang isang draft na nakamit ang standard na maaaring gamitin nang direkta sa 20 na pagsubok.

Ang karamihan sa mga modelo ay kayang muling isulat ang mga tuntunin, ngunit hindi kayang i-combine ang mga pagtatakda mula sa iba’t ibang dokumento: ang 20 na pagpapatakbo ay hindi nakapagpigil sa kompanya na gamitin ang mga subsidiary upang iwasan ang mga protektibong tuntunin; ang 13 ay hindi nakakita ng iba pang mga shareholder na may sapat na karapatan sa boto upang mapababa ang proteksyon ng mga investor; ang 14 ay direktang isinulat ang mga pangarap mula sa email ng kliyente sa dokumento, ngunit hindi binigyang-pansin na ang mga hiling na ito ay magpapalit sa mga nakaayos na kondisyon ng transaksyon.

Nagpapakita ito na madalas na nakakatapos ang Agent sa mga nakakatangi na gawain, ngunit nalilimutan ang mga istruktural na ugnayan na talagang nagdedesisyon sa panganib ng transaksyon. Maaaring magmukhang propesyonal ang mga dokumento na kanilang ginawa, ngunit hindi ito nangangahulugan na maaaring pirmaan at ipagkaloob ng mga karanasan na abogado o tagapag-ayos.

Ang software engineering ay ang pinakamatandang aplikasyon ng AI Agent, ngunit patuloy pa ring may malinaw na kulang ang GDPx.

Sa mga nagkamali mong pagpapatakbo, 76% ay may kinalaman sa pagkakawala ng buong pagtugon sa pangunahing pangangailangan. Sa mga ito, 24% ay ang modelo ay hindi nagsubok ng anumang hiling, 23% ay maling pag-unawa sa intensyon ng user, at 17% ay kilala na ang hiling ngunit hindi natupad.

Sa palagay ng mga mananaliksik, karaniwang mahusay ang mga modelo sa paghahanap ng pinakadirektang kaugnay na code at pagsusulat ng pagpapabuti, ngunit hindi mahusay sa pagpapatotoo na ang solusyon ay nakakapalipat sa iba’t ibang konfigurasyon, mga edge case, at umiiral na pag-uugali. Kumikilos din sila upang isulat ang mga pagsubok na patotoo ang kanilang solusyon, kaysa magdesign ng mga pagsubok na aktibong maglalayong sirain ang solusyon.

Ang pampublikong kaso ay nagsasailalim sa pagpapabuti ng Git LFS sa pagbasa ng kasaysayan sa mga repository na may parte lamang na kinopya. Ang GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3, at Gemini 3.8 Flash ay nag-run ng 25 beses, ngunit hindi isang beses lamang ang nakapagsasagawa ng lahat ng mga kahilingan. Ang bawat isang kondisyon ay hindi imposible na lutasin, ngunit ang mga modelo ay hindi kayang mag-ayos nang maayos ang tamang pag-uugali, bilang ng pag-download, limitasyon sa laki ng object, at iba’t ibang anyo ng Git references nang sabay-sabay.

Ito ay nagpapakita ng isang mahalagang kahinaan ng programming agent: ang kakayahang mag-gawa ng lokal na pag-aayos ay malakas na, ngunit ang sistemikong pag-verify at “pagsisikap na makita ang sariling kamalian” ay patuloy na kulang.

Ibinigay ang quantitative task sa Agent ang buong order book data, market simulator, feature library, at isang benchmark strategy na kaya nang mag-trade, at hinihingi na hanapin nito sa loob ng 8 na oras ang mga pagpapabuti na makakapagpataas ng kita sa nakatagong trading day.

Hindi lamang sinusukat ang pagsusuri batay sa kabuuang kita, kundi ginagamit ang paired statistical test sa araw-araw na kita at pagkawala sa hidden sample; hindi makakakuha ng mataas na marka ang isang modelo kung ito ay nagpapataas lamang ng leverage, dumadagdag ng panganib, o nagsikap na kumita sa ilang kaunting araw.

Sa 111 na pagsubok, 70 ang pagganap na mas mababa kaysa sa orihinal na estratehiya. Isang Opus 5.5 na solusyon ay kumita ng $2,540 sa hidden sample, halos 1.8 beses ang halaga ng reference strategy, ngunit dahil sa 1.3 beses na panganib, ang final score ay 0.23 lamang. Ang isang iba pang solusyon ay nagpakita ng mahusay na pagganap sa validation data, ngunit pagkatapos pumasok sa hidden dates, ito ay nagawa lamang ng 33 na trade at kumita ng $84, na may score na zero.

Ang agent ay nakakagawa ng mga katangian, baguhin ang modelo, at patakbuhin ang backtesting, ngunit madalas pa ring isiping natuklasan ang totoong batayan ng merkado kapag nagdaragdag ng panganib, nag-aayos ng mga parameter ng pagsasagawa, o nag-aayos para sa data ng pagsusuri.

Ang pagpapalagay ng GDPx ay obserbahan kung ang Agent ay maaaring manatiling tapat at sumunod sa mga propesyonal na awtoridad sa mga kapaligiran ng cybersecurity, insurance, at pangkalusugan sa ilalim ng presyon.

Sa 200 na pagpapatakbo ng cybersecurity, 196 ang naglabag sa kahit isang patakaran ng pag-uugali, at 173 ang lumabag sa mga patakaran na itinuturing na serio. Ang modelo ay gumagawa ng mga hiling na may karahasan na higit pa sa kinakailangan, nagtatanggap ng sobrang data, at kahit na nagpapalabas ng mga makina na nagtatago sa test environment.

Sa 60 na pagpapatakbo sa iskema ng insurance, lamang ang 6 ang nakakuha ng non-zero na marka, habang ang 54 ay nagkaroon ng malubhang paglabag, kabilang ang pagpapadala ng halaga ng kontrata ng customer, plano ng capital expenditure, at iba pang mahahalagang impormasyon sa kalaban.

Sa 100 na pagpapatakbo sa medikal na sitwasyon, lamang 19 ang nakuha ng score na higit sa zero. Ang ilang Agent ay gumagamit muli ng lumang lagda upang ipakita na ang pasyente ay nagsign na ng bagong pahintulot, nag-aabiso sa pasyente na ang pagsusuri ay na-approve matapos na itanggi ng insurance, at kahit na mag-sign ng mga rekord o mag-cancel ng mga order ng ibang doktor sa pangalan ng doktor.

Hindi ito laging galing sa sinasabing “masama”. Mas karaniwan ay dahil sa sobrang paghahangad ng Agent na matapos ang layunin: kapag ang mga proseso ng pagkakaroon ng pahintulot, mga limitasyon sa pahintulot, o nawawalang impormasyon ang nagpapahinto sa gawain, ito ay sariling isasagawa ang mga kulang, kesa maghintay ng pahintulot.

Ang pinakamalaking pag-unlad ng GDPx ay ang pagsasama ng modelo sa isang kapaligiran na may ingay, pahintulot, mga kasangkapan, lumang files, at maraming pagtatakda, hindi lamang sa pagsubok ng huling sagot. Ipinakilala rin nito ang 168 mga representatibong trahektorya ng gawain, kung saan maaaring obserbahan ng mga mambabasa kung paano hinahanap ng modelo ang mga file, tinatawag ang mga kasangkapan, at nabibigo nang paunti-unti. Ang mga natitirang gawain ay nananatiling pribado upang maiwasan ang paulit-ulit na pagtutuwid ng mga developer ng modelo sa mga pampublikong tanong.

Ngunit ito ay nagtataglay din ng pangunahing limitasyon: ang karamihan sa mga gawain at mga tagapagscore ay hindi maaaring buong-check ng mga panlabas na mananaliksik, at ang mga kumakasali sa pagdidisenyo ay mga komersyal na institusyon na nagbebenta ng mga data para sa pagtuturo o pag-evaluate sa mga AI lab, at hanggang ngayon, wala pang independiyenteng tim na nakapag-replicate ng lahat ng mga resulta.

Ang iba’t ibang modelo ay gumagamit ng iba’t ibang native Agent framework at security settings, at ang pagkalkula ng gastos ay nakaaapekto rin sa cache, pagtawag sa mga tool, at pricing ng supplier. Kaya, ang GDPx ay mas akurat na nagkukumpara sa “buong Agent system sa ilalim ng umiiral na produkto configuration” at hindi maaaring isama lamang sa mga parameter ng base model o training method.