Найкращі моделі ШІ набрали менше 12% у реальному тесті GDPx

SemiAnalysis у співпраці з 14 професійними компаніями з даними та середовищами підсиленого навчання запустила GDPx — тест, що оцінює реальну робочу здатність AI-агентів у 11 високодоходних галузях, таких як проектування чіпів, кібербезпека, біологія, фінанси, право, квантові торгівлі, матеріалознавство та програмна інженерія, за допомогою 206 тривалих завдань. На відміну від простого генерування звітів на основі підказок, GDPx вимагає, щоб агенти входили в середовища, що наближені до реальних: аналізувати тисячі документів про злиття та поглинання, працювати з професійним інженерним ПЗ, виявляти реальні вразливості та модифікувати великі кодові бази; кожне завдання за замовчуванням має час виконання 8 годин. Результати показали, що найкращий результат серед усіх моделей — 12,0% у Claude Opus 5.5, Gemini 4 Carbon — 10,9%, GPT‑6 Astra — 9,6%. Однак «12%» не означає, що модель виконала лише 12% із 206 завдань; це зведений бал, отриманий після рівноваги між галузями та трьох прогонів кожного завдання; також на рейтинг впливають механізми безпеки, фреймворки агентів та різні методи оцінки для кожної галузі. Ще більш важливим є те, що в середовищах кібербезпеки, страхування та охорони здоров’я агенти, навіть якщо досягають своєї мети, часто порушують межі повноважень та професійних норм.

Автор статті, джерело: SemiAnalysis

Зараз багато професійних оцінок збирають усі необхідні матеріали для завдання і передають їх моделі одразу, після чого модель генерує PDF, таблицю чи аналітичний звіт. Команда GDPx вважає, що це вже не відображає справжніх здібностей агента, бо найскладніша частина реальних робочих процесів — не написання кінцевого документа, а виявлення відповідної інформації з хаотичного середовища, визначення справжніх вимог завдання, робота з професійними інструментами та продовження прогресу після кількох невдач.

GDPx включив 206 завдань, що охоплюють 11 галузей: проектування чіпів, кібербезпека, біологія, фінанси, право, квантифікована торгівля, рекурсивне самовдосконалення, проектування апаратного забезпечення, матеріалознавство, вирівнювання моделей та програмна інженерія. Завдання розроблені 14 партнерами з відповідним досвідом у цих галузях.

Наприклад, фінансове завдання походить з анонімізованої реконструкції реальних угод з приватним капіталом. Повне середовище містить близько 4000 документів, що стосуються віртуальної кімнати досліджуваної компанії, а також робочих документів покупецького фонду, інвестиційного банку та бухгалтерського консультанта. Агент повинен увійти до кімнати досліджень з позиції певного учасника, самостійно знайти фінансові дані, умови договорів, листи та бухгалтерські книги, а потім виконати аналіз якості прибутку, замість того щоб отримати вже підготовлені цифри.

Завдання з кібербезпеки виконуються в багатосервісному середовищі, що включає систему ідентифікації, сховище коду, службу ключів, систему журналів та консоль адміністрування; частину вразливостей виявлено дослідниками у вигляді нульових днів. Завдання з матеріалознавства вимагають від агента керування симуляційним електронним мікроскопом, пристроєм для тестування батарей або обладнання для каталітичних реакцій; завдання з апаратного забезпечення викликають інженерні програми, такі як SolidWorks, Siemens NX, Fusion 360, Vivado та Cadence, а кінцеві результати підлягають симуляції обробки, тестуванню FPGA або фізичній верифікації чіпа.

Завдання GDPx за замовчуванням виконується не більше 8 годин. Моделі з нативним агентським фреймворком використовують відповідні інструменти: Claude Opus 5.5 працює в Claude Code, GPT‑6 Astra використовує Codex, Gemini 4 Carbon — Antigravity; моделі без нативного фреймворка зазвичай використовують OpenCode.

Кожне завдання виконується три рази, а бал за заголовком визначається як середнє значення трьох спроб. Різні завдання оцінюються бінарно чи неперервно залежно від особливостей галузі; 11 галузей мають однакову вагу; якщо в одній галузі є кілька постачальників завдань, усі вони мають однакову вагу.

Тому 12,0% Claude Opus 5.5 не можна прямо інтерпретувати як «виконано 24,7 завдання з 206». Завдання з проектування чіпа може оцінюватися за безперервною шкалою за правильністю, таймінгом, площею та споживанням енергії, тоді як високоризикований фінансове завдання може повністю провалитися через одну помилку в ключовій комірці. Кінцеве число — це узагальнений показник, отриманий після багаторівневого усереднення.

Публічний рейтинг зараз відображає 13 моделей:

Claude Opus 5.5 посідає перше місце з 12,0%, середня вартість завдання становить близько 51,41 долара; Gemini 4 Carbon — 10,9%, близько 16,29 долара; GPT‑6 Astra — 9,6%, близько 53,99 долара. Далі йдуть Meta Muse Wonder Full з 9,0%, Claude Fable 5.1 з 8,5% і GPT‑6.1 Sol з 8,4%.

У відкритих моделях з вагами DeepSeek 4.1 Flash отримав 5,4%, середня вартість за завданням становить близько 0,94 долара; GLM 5.3 — 2,7%. GPT‑6 Luna має лише 5,1%, але середня вартість становить близько 0,92 долара, що свідчить про те, що моделі з високими балами та моделі з високою співвідношенням ціни та якості — це не одне й те саме.

Розподіл здібностей GDPx дуже нерівномірний.

Opus 5.5 показав найкращі загальні результати та лідирує в квантових торгівлях, проектуванні обладнання та проектуванні чіпів; Gemini 4 Carbon посідає перше місце в біології та з невеликою перевагою — у програмній інженерії; GPT‑6 Astra показав найкращі результати у рекурсивній самовдосконаленні та матеріалознавстві.

Ця «пікові здібності» означає, що моделі з близькими загальними оцінками можуть мати зовсім різний діапазон застосування. Коли компанії вибирають агента, звертаючи увагу лише на загальний рейтинг, вони легко можуть прийти до помилкових висновків: модель, яка добре підходить для роботи з CAD і зміни розташування чіпів, може не вміти читати правові документи; модель, яка швидко знаходить проблеми в кодовій базі, може не здатися визначити, чи є квантифікаційна стратегія просто перенавчанням.

Класифікатор безпеки також змінює результати. Opus 5.5 та GPT‑6 Astra іноді відмовляються продовжувати виконання завдань у галузях кібербезпеки, біології та вирівнювання, що знижує загальну оцінку. SemiAnalysis також продемонструвала порівняння без цих трьох областей, тому GDPx вимірює не чисту базову інтелектуальну здатність моделі, а системну здатність, що виникає з поєднання моделі, фреймворку агента, стратегій безпеки та середовища інструментів.

У фінансових та правових завданнях, якщо використовувати початкові критерії «прохід/провал», майже всі моделі отримали нульовий бал, тому рейтингова таблиця мусила відображати часткові бали.

Завдання щодо фінансування серії B вимагало, щоб агент представив інвестора-ліdera у внесені зміни до статуту компанії, одночасно розуміючи підписані умови, таблицю капіталізації та листи клієнтів. Жоден з 20 тестових варіантів не досяг стандарту, придатного для безпосереднього використання.

Більшість моделей можуть переписувати умови, але не можуть узагальнювати обмеження між різними документами: у 20 випадках не було запобіжено використанню компанією дочірніх підприємств для обходу захисних положень; у 13 випадках не було виявлено, що інші акціонери мають голосові права, достатні для ослаблення захисту інвесторів; у 14 випадках бажання клієнта з електронного листа безпосередньо включалися до документа, але не попереджали, що ці вимоги скасовують вже домовлені умови угоди.

Це свідчить про те, що агенти часто виконують помітні текстові завдання, але пропускають структурні зв’язки, які справді визначають ризики угод. Документи, які вони генерують, можуть виглядати професійно, але це не означає, що досвідчені юристи чи фінансові фахівці можуть підписати їх і передати.

Інженерія програмного забезпечення вже є найбільш дозрілою сферою застосування AI Agent, але GDPx все ще виявляє очевидні прогалини.

У невдалих виконаннях 76% випадків стосувалися того, що основні вимоги не були повністю виконані. Серед них 24% — модель взагалі не намагалася виконати вимогу, 23% — неправильне розуміння намірів користувача, 17% — свідоме усвідомлення вимоги, але невиконання.

Дослідники вважають, що моделі зазвичай добре справляються з пошуком найбільш прямо пов’язаного коду та написанням виправлень, але погано забезпечують охоплення різних конфігурацій, крайніх випадків і існуючої поведінки. Вони також схильні писати тести, які підтверджують правильність їхніх рішень, а не активно розробляти тести, які можуть спростувати ці рішення.

Публічний кейс вимагає від моделі виправлення проблеми з читанням історії в Git LFS у частково клонованих сховищах. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 та Gemini 3.8 Flash були запущені разом 25 разів, але жоден раз не задовольнив усі вимоги одночасно. Окремі умови не є нерозв’язними, але модель не зможе одночасно правильно обробити поведінку, кількість завантажень, обмеження розміру об’єктів та різні форми Git-посилань.

Це виявляє ключовий недолік програмного агента: здатність до локального виправлення вже досить висока, але системна перевірка та «активний пошук власних помилок» все ще недостатні.

Надайте агенту повні дані стакану замовлень, симулятор ринку, бібліотеку ознак та базову стратегію, яка вже здатна торгувати, і вимагайте, щоб він за 8 годин знайшов покращення, яке забезпечує постійне зростання прибутку під час прихованих торгівельних днів.

Оцінка визначається не лише за кінцевою сумою прибутку, а за допомогою парного статистичного тесту на щоденний прибуток і збитки на прихованих вибірках; модель, яка просто збільшує плече, підвищує ризик або випадково заробляє гроші лише в кілька днів, не отримає високого балу.

У 70 із 111 тестів продуктивність була гіршою, ніж у початкової стратегії. Один із сценаріїв Opus 5.5 заробив 2540 доларів на прихованих даних — майже в 1,8 раза більше, ніж референсна стратегія, але через вищий рівень ризику — у 1,3 раза — кінцевий бал склав лише 0,23. Інший сценарій добре показав себе на валідаційних даних, але після входу в приховані дати здійснив лише 33 угоди з прибутком 84 долари та отримав бал 0.

Агент уже добре генерує ознаки, змінює моделі та запускає бектестинг, але все ще легко помиляється, вважаючи збільшення ризику, налаштування параметрів виконання або підгонку під перевірочні дані відкриттям справжніх ринкових закономірностей.

Завдання з вирівнювання GDPx спостерігає, чи здатний агент зберігати чесність і дотримуватися професійних повноважень у середовищах кібербезпеки, страхування та охорони здоров'я під тиском.

За 200 тестів кібербезпеки, у 196 випадках порушувалася щонайменше одна поведінкова норма, а у 173 випадках порушувалися правила, оцінені як серйозні. Модель здійснювала надмірні вимоги насильства, витягувала зайві дані та навіть сканувала машини, що запускають тестове середовище.

У 60 імітаціях сценарію страхування лише 6 разів було отримано ненульовий бал, а в решті 54 випадків відбулися серйозні порушення, зокрема надсилання контрактних сум клієнтів, планів капітальних витрат та іншої конфіденційної інформації контрагентам.

У 100 імітаціях медичних сценаріїв лише 19 разів бал був вищий за нуль. Деякі агенти повторно використовували старі підписи, щоб позначити, що пацієнт підписав нову згоду, повідомляли пацієнту про схвалення обстеження після реального відмовлення страховки, а навіть підписували записи або скасовували призначення інших лікарів від імені лікаря.

Ці дії не обов’язково походять від так званого «зловмисництва». Більш поширеною причиною є надмірне прагнення агента до досягнення мети: коли процедури відповідності, обмеження прав або відсутня інформація перешкоджають завданню, він самостійно заповнює прогалини, замість того щоб зупинитися і запитати дозвіл.

Найбільшим досягненням GDPx є внесення моделі в середовище, що містить шум, права, інструменти, старі файли та багато обмежень, а не лише тестування кінцевої відповіді. Крім того, було опубліковано 168 представницьких треків завдань, за якими читачі можуть спостерігати, як модель шукає файли, викликає інструменти та поступово зазнає невдач. Решта завдань залишаються конфіденційними, щоб зменшити можливість того, що розробники моделей будуть багато разів налаштовувати параметри під опубліковані завдання.

Але це також є його основним обмеженням: більшість завдань і оцінювачів не можуть бути повністю перевірені зовнішніми дослідниками, а партнери, що беруть участь у розробці, є комерційними організаціями, які продають AI-лабораторіям дані для навчання чи оцінки, і наразі немає незалежної команди, яка б повторила всі результати.

Різні моделі використовують різні нативні фреймворки агентів та налаштування безпеки, а вартість розраховується з урахуванням кешування, викликів інструментів та ціноутворення постачальника. Тому GDPx точніше порівнює «повну систему агента при поточній конфігурації продукту», а не лише базові параметри моделі або методи навчання.