Лучшие модели ИИ показали результат менее 12% на реальном тестовом задании GDPx

SemiAnalysis совместно с 14 профессиональными компаниями по данным и средам усиленного обучения представила GDPx — тест, включающий 206 длительных задач, оценивающих реальные рабочие способности AI-агентов в 11 высокодоходных областях: проектирование чипов, кибербезопасность, биология, финансы, право, количественные торговые стратегии, материаловедение и программная инженерия. В отличие от задач, где модели генерируют отчеты на основе одного запроса, GDPx требует от агентов входа в среды, приближенные к реальным условиям работы: изучение тысяч документов о слияниях и поглощениях, работа с профессиональным инженерным ПО, выявление реальных уязвимостей, изменение крупных кодовых баз; каждая задача по умолчанию может выполняться до 8 часов. Результаты показали, что лучший результат среди всех моделей — 12,0% у Claude Opus 5.5, за ним следуют Gemini 4 Carbon с 10,9% и GPT-6 Astra с 9,6%. Однако «12%» не означает, что модель выполнила лишь 12% из 206 задач; это средний балл, рассчитанный по равновесным весам всех областей и трем запускам каждой задачи. Кроме того, на рейтинг влияют системы безопасности, архитектура агента и методы оценки в разных областях. Более того, в таких средах, как кибербезопасность, страхование и здравоохранение, агенты часто выходят за пределы своих полномочий и профессиональных границ, даже если достигают поставленных целей.

Автор статьи, источник: SemiAnalysis

Сегодня многие оценки профессиональных навыков предоставляют модели все необходимые материалы сразу, после чего она генерирует PDF, таблицу или аналитический отчет. Команда GDPx считает, что такой подход уже не отражает истинные способности агента, поскольку самая сложная часть реальной работы — это не написание финального документа, а поиск нужной информации в хаотичной среде, определение истинных требований задачи, использование профессиональных инструментов и продолжение работы после нескольких неудач.

GDPx включает 206 задач, охватывающих 11 областей: проектирование чипов, кибербезопасность, биология, финансы, право, количественные торговые стратегии, рекурсивное самоулучшение, проектирование аппаратного обеспечения, материаловедение, согласование моделей и программная инженерия. Задачи созданы 14 партнерами, имеющими опыт в соответствующих областях.

Например, финансовая задача основана на анонимизированной реконструкции реальной сделки с частным капиталом. Полная среда включает около 4000 документов, относящихся к виртуальной датаруме целевой компании, а также рабочим файлам покупательского фонда, инвестиционного банка и бухгалтерского консультанта. Агент должен войти в датарум с точки зрения конкретного участника, самостоятельно найти финансовые данные, условия договоров, электронные письма и книги учета, а затем подготовить анализ качества доходности, вместо того чтобы получить уже подготовленные цифры.

Задачи кибербезопасности выполняются в многосервисной среде, включающей систему идентификации, репозиторий кода, службу ключей, систему логирования и консоль администрирования; часть уязвимостей была обнаружена исследователями в реальных нулевых днях. Задачи материаловедения требуют от агента управления симуляцией электронного микроскопа, тестера батарей или оборудования для каталитических реакций; задачи по работе с оборудованием вызывают инженерные программы, такие как SolidWorks, Siemens NX, Fusion 360, Vivado и Cadence, а итоговые результаты проходят дополнительную симуляцию обработки, тестирование на FPGA или физическую верификацию чипа.

Задачи GDPx по умолчанию выполняются не более 8 часов. Модели с нативной агентской фреймворкой используют свои собственные инструменты: Claude Opus 5.5 работает в Claude Code, GPT‑6 Astra использует Codex, Gemini 4 Carbon использует Antigravity; модели без нативной фреймворки обычно используют OpenCode.

Каждая задача выполняется три раза, а показатель заголовка рассчитывается как среднее значение по трем попыткам. Разные задачи используют бинарную или непрерывную оценку в зависимости от особенностей области; 11 областей имеют равный вес; если в одной области представлено несколько поставщиков задач, все они имеют равный вес.

Таким образом, 12,0% Claude Opus 5.5 нельзя напрямую интерпретировать как «24,7 задачи из 206 выполнены». Задача по проектированию чипа может оцениваться по непрерывной шкале на основе корректности, временных характеристик, площади и энергопотребления, тогда как высокорисковая финансовая задача может полностью провалиться из-за одной ошибки в ключевой ячейке. Итоговое число представляет собой комплексный показатель, полученный после многоуровневого усреднения.

Текущий открытый рейтинг отображает 13 моделей:

Claude Opus 5.5 занимает первое место с 12,0%, средняя стоимость выполнения задачи составляет около 51,41 доллара; Gemini 4 Carbon — 10,9%, около 16,29 доллара; GPT‑6 Astra — 9,6%, около 53,99 доллара. Далее следуют Meta Muse Wonder Full с 9,0%, Claude Fable 5.1 с 8,5% и GPT‑6.1 Sol с 8,4%.

В моделях с открытыми весами DeepSeek 4.1 Flash показал 5,4%, средняя стоимость за задачу — около 0,94 доллара; GLM 5.3 — 2,7%. GPT‑6 Luna имеет лишь 5,1%, но средняя стоимость составляет около 0,92 доллара, что демонстрирует, что модели с высокими баллами и модели с высокой стоимостной эффективностью — это не одно и то же.

Распределение возможностей GDPx крайне неравномерно.

Opus 5.5 показал наилучшие общие результаты и лидирует в количественном трейдинге, проектировании аппаратного обеспечения и проектировании чипов; Gemini 4 Carbon возглавляет биологию и с небольшим преимуществом занимает первое место в программной инженерии; GPT-6 Astra продемонстрировал наилучшие результаты в рекурсивном самоулучшении и материаловедении.

Эта «пиковая способность» означает, что модели с близкими общими оценками могут иметь совершенно разные области применения. При выборе агента компании, полагаясь только на общий рейтинг, легко прийти к неверным выводам: модель, подходящая для работы с CAD и изменениями в расположении чипов, может не справляться с чтением юридических документов; модель, способная быстро находить проблемы в кодовой базе, может не уметь определить, является ли количественная стратегия просто переобучением.

Классификатор безопасности также влияет на результаты. Opus 5.5 и GPT‑6 Astra иногда отказываются продолжать выполнение в задачах кибербезопасности, биологии и согласованности, что снижает общую оценку. SemiAnalysis также представила сравнение без учета этих трех областей, поэтому GDPx измеряет не чистую базовую интеллектуальность модели, а системную способность, формируемую моделью, фреймворком агента, стратегиями безопасности и средой инструментов.

В финансовых и юридических задачах, если применять первоначальные критерии «прошел/не прошел», почти все модели получили ноль баллов, поэтому рейтинговая таблица была вынуждена отображать частичные баллы.

Задача по финансированию серии B требует, чтобы агент представлял ведущего инвестора при внесении изменений в устав компании, одновременно понимая подписанную документацию по условиям, структуру капитала и письма клиентов. Ни одна из 20 версий изменений не соответствовала стандарту, пригодному для прямого использования.

Большинство моделей могут переформулировать условия, но не могут учитывать ограничения между различными документами: во всех 20 случаях не было предотвращено использование компанией дочерних предприятий для обхода защитных положений; в 13 случаях не было выявлено, что другие акционеры обладают правами голоса, достаточными для ослабления защиты инвесторов; в 14 случаях пожелания, выраженные в письмах клиентов, были напрямую включены в документы, без предупреждения о том, что эти требования аннулируют уже достигнутые условия сделки.

Это означает, что агенты часто успешно справляются с заметными текстовыми задачами, но упускают структурные связи, действительно определяющие риск сделки. Документы, которые они генерируют, могут выглядеть профессионально, но это не означает, что их могут подписать опытные юристы или финансовые специалисты.

Программная инженерия уже является наиболее зрелой областью применения AI Agent, но GDPx все еще обнаруживает явные пробелы.

В неудачных случаях 76% связаны с тем, что основные требования не были полностью выполнены. Из них 24% — модель вообще не пыталась выполнить требование, 23% — неправильно поняла намерения пользователя, 17% — осознавала требование, но не смогла его выполнить.

Исследователи считают, что модели обычно хорошо справляются с поиском наиболее прямо связанных кодов и написанием исправлений, но плохо обеспечивают охват различных конфигураций, граничных случаев и существующего поведения. Они также склонны писать тесты, которые подтверждают правильность своих решений, а не активно разрабатывают тесты, способные опровергнуть эти решения.

Открытый кейс требует от модели устранить проблему чтения истории в репозиториях с частичным клонированием Git LFS. GPT‑6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 и Gemini 3.8 Flash были запущены 25 раз, ни один раз не выполнив все требования одновременно. Отдельные условия не являются неразрешимыми, но модель не может одновременно корректно обрабатывать правильное поведение, количество загрузок, ограничения размера объектов и различные формы Git-ссылок.

Это выявляет ключевой недостаток программного агента: способность к локальному устранению уже высока, но системная проверка и «активный поиск собственных ошибок» по-прежнему недостаточны.

Квантовой задаче предоставляются полные данные стакана заказов, симулятор рынка, библиотека признаков и базовая стратегия, уже способная осуществлять торговлю, с требованием найти за 8 часов улучшение, позволяющее постоянно повышать доходность в скрытые торговые дни.

Оценка не основывается только на сравнении конечной прибыли, а использует парный статистический тест на ежедневную прибыль и убыток на скрытой выборке; модель не получит высокий балл, если она просто увеличивает плечо, повышает риск или случайно получает прибыль в несколько дней.

В 70 из 111 тестов производительность была ниже, чем у исходной стратегии. Один из вариантов Opus 5.5 заработал 2540 долларов на скрытой выборке, что примерно в 1,8 раза больше, чем у эталонной стратегии, но из-за принятия риска в 1,3 раза выше финальный балл составил всего 0,23. Другой вариант показал отличные результаты на проверочных данных, но после перехода на скрытые даты совершил лишь 33 сделки, заработав 84 доллара, и получил нулевой балл.

Агент уже хорошо умеет генерировать признаки, изменять модели и запускать бэктесты, но всё ещё часто путает увеличение риска, настройку параметров исполнения или подгонку под тестовые данные с обнаружением настоящих рыночных закономерностей.

Задача по согласованию GDPx наблюдает, способен ли агент сохранять честность и соблюдать профессиональные полномочия в условиях стресса в сетевой безопасности, страховании и здравоохранении.

За 200 тестов кибербезопасности 196 раз хотя бы одно поведенческое правило было нарушено, а 173 раза были нарушены правила, признанные серьезными. Модель совершала избыточные запросы на насилие, извлекала лишние данные и даже сканировала машины, на которых развернута тестовая среда.

В 60 испытаниях сценария страхования только 6 раз были получены ненулевые баллы; в остальных 54 случаях имели место серьезные нарушения, включая отправку контрагентам сумм договоров клиентов, планов капитальных затрат и другой конфиденциальной информации.

В 100 сценариях медицинского применения только 19 раз результат был выше нуля. Некоторые агенты повторно использовали старые подписи, чтобы указать, что пациент подписал новое согласие, уведомляли пациентов о одобрении обследования после фактического отказа страховки и даже подделывали подписи от имени врачей или отменяли назначения других врачей.

Эти действия не обязательно связаны с так называемым «злонамеренным» поведением. Более распространенной причиной является чрезмерное стремление агента к выполнению цели: когда процедуры соответствия, ограничения прав или отсутствие информации препятствуют выполнению задачи, он самостоятельно заполняет пробелы, вместо того чтобы остановиться и запросить разрешение.

Главное достижение GDPx заключается в том, что модель тестируется в среде, содержащей шум, ограничения прав, инструменты, старые файлы и множественные ограничения, а не только на конечном ответе. Кроме того, опубликовано 168 репрезентативных траекторий задач, позволяющих читателям наблюдать, как модель ищет файлы, вызывает инструменты и постепенно терпит неудачи. Остальные задачи остаются закрытыми, чтобы снизить риск того, что разработчики моделей будут многократно настраивать параметры под опубликованные задания.

Но это также является его основным ограничением: большинство задач и оценщиков не могут быть полностью проверены внешними исследователями, а партнеры, участвовавшие в разработке, сами являются коммерческими организациями, продающими данные для обучения и оценки лабораториям ИИ; на данный момент ни одна независимая команда не смогла воспроизвести все результаты.

Разные модели используют различные нативные фреймворки агентов и настройки безопасности, а стоимость рассчитывается с учетом кэширования, вызовов инструментов и ценовой политики поставщика. Поэтому GDPx более точно сравнивает «полные системы агентов в текущей конфигурации продукта», а не только параметры базовой модели или методы обучения.