OpenAI запускает новые стандарты для программирования ИИ на языках с ограниченными ресурсами

OpenAI выпустила два новых теста для «языков программирования с низким ресурсом»: MultiLangBench требует от модели с нуля реализовать совместимый с SQLite движок базы данных на 20 языках; другой тест требует от модели миграции программ на COBOL в C++, Java, Kotlin, Python или Rust с сохранением исходного поведения. Официальные результаты показывают, что GPT‑6 Astra достигла среднего показателя прохождения тестов в MultiLangBench на уровне 87,4%, а GPT‑6.1 Sol продемонстрировала точность 97,9% при миграции COBOL при высокой вычислительной нагрузке. Это указывает на то, что способности ИИ в программировании расширяются от таких популярных языков, как Python и JavaScript, к устаревшим технологическим стекам, которые до сих пор используются в банках, правительстве и научных учреждениях. Однако эти результаты получены с помощью тестов, разработанных и запущенных самой OpenAI; 87,4% означает долю прошедших тестов, но не то, что модель уже реализовала рабочую версию SQLite, а 97,9% нельзя интерпретировать как возможность для банков напрямую мигрировать ключевые системы без ручного контроля.

Автор статьи, источник: OpenAI

В области AI-программирования языки с низкими ресурсами — это языки, для которых доступно относительно мало публичного кода, документации и вопросов с ответами для обучения моделей, что не означает отсутствие реальной ценности этих языков.

Python и JavaScript обладают обширной открытой экосистемой, и модели при обучении могут видеть большое количество кода, отчетов об ошибках и записей об исправлениях. Публичных материалов для COBOL, Fortran, Visual Basic и OCaml значительно меньше, и многие коды остаются закрытыми в корпоративных системах.

В то же время эти языки по-прежнему выполняют ключевые задачи. OpenAI ссылается на данные IBM, согласно которым COBOL поддерживает более 40% онлайн-банковских систем, 80% оффлайн-кредитных транзакций и 95% транзакций в банкоматах; Fortran продолжает использоваться для прогнозирования погоды и анализа безопасности ядерных реакторов.

Поддержка этих систем сложна не только из-за устаревшего синтаксиса. Оригинальные разработчики могли уже уйти, документация неполна, а истинные бизнес-правила существуют только в коде. Причина, по которой программа обрезает десятичные знаки или как она обрабатывает отсутствующие записи счетов, может быть совершенно не описана, но напрямую влиять на финансовые расчеты.

Таким образом, настоящим доказательством, которое необходимо AI, является не возможность перевести COBOL в более современный Python, а то, сохраняются ли после миграции абсолютно те же бизнес-правила.

OpenAI выпустила MultiLangBench. Она требует от модели в ходе длительного программирования создать совместимый с SQLite движок базы данных на указанном языке.

Кандидатские программы получают начальный файл базы данных и SQL-запрос, выполнение которого приводит к изменённой базе данных. Система оценки затем вызывает официальную реализацию SQLite, чтобы проверить, совпадает ли содержимое базы данных с эталонным результатом. Благодаря общему интерфейсу в виде файла базы данных, одни и те же функции могут быть сравнены между языками.

Тестирование охватывает 20 языков, включая C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic и Zig, оценивая способность модели организовывать кодовую базу, управлять состоянием, обрабатывать ошибки, добавлять новые функции и избегать нарушения существующих функций. Тестовые случаи адаптированы из существующего набора тестов SQLite.

При максимальной интенсивности рассуждений средний показатель прохождения тестов GPT-6 Astra составляет 87,4%, а у GPT-5.6 Sol — 26,8%. OpenAI заявляет, что Astra показала улучшение по всем 20 языкам:

COBOL вырос с 10,9% до 72,1%, OCaml — с 25,6% до 85,8%, Fortran — с 21,4% до 83,5%, Visual Basic — с 27,5% до 89,4%. Из 20 языков 19 превысили 83%, COBOL остается самым сложным.

(Здесь находится интерактивный модуль с 20 возможными языками, где можно просмотреть результаты и стоимость каждой модели на каждом языке.)

Эти цифры необходимо правильно понимать. 87,4% — это средний процент прохождения тестовых случаев, что не означает, что модель имеет 87,4% вероятность генерации базы данных, которая полностью, стабильно и полностью соответствует всем спецификациям SQLite. Оставшиеся примерно 12,6% неудач в тестировании могут всё ещё соответствовать проблемам, таким как транзакции, обработка ошибок или согласованность данных, которые могут препятствовать развертыванию в производственной среде.

Это доказывает, что модель может непрерывно создавать более сложное программное обеспечение на незнакомом языке, а не то, что SQLite уже можно полностью переписать с помощью ИИ за один раз.

OpenAI также протестировала более дешевую версию GPT‑6 Luna. Ее средний показатель прохождения на 20 языках составил 40,3%, что выше, чем 26,8% у GPT‑5.6 Sol.

Средняя стоимость API для Luna составляет около 0,77 доллара за образец, а для GPT‑5.6 Sol — около 3,48 доллара, что составляет снижение примерно на 78%. Однако её способности не достигли уровня Astra: Luna показывает только 17,1% по COBOL, 31,4% по Fortran и 41,6% по Visual Basic.

Эти результаты демонстрируют два разных подхода: Astra использует больше вычислительных ресурсов, чтобы максимально повысить точность выполнения сложных задач; Luna обрабатывает большее количество образцов при более низкой стоимости, что делает её идеальной для массовых экспериментов, предварительного анализа и вспомогательных задач с низким уровнем риска.

Так называемая стоимость — это лишь оценка расходов на API, указанных в отчете, и не включает затраты на труд инженеров для проверки, тестовой среды, бизнес-приемки и устранения ошибок. Для устаревших систем расходы на вызовы модели часто не являются наибольшими затратами в проекте миграции.

Второе требование оценки заключается в том, чтобы модель перенесла программу на COBOL в C++, Java, Kotlin, Python или Rust.

Основной акцент тестирования не на чистоте кода перевода, а на том, чтобы наблюдаемые результаты старой и новой программ были идентичны байт в байт. Каждый результат миграции должен пройти все скрытые тесты, чтобы считаться успешным.

OpenAI особо привела пример с фиксированной запятой: COBOL по умолчанию может просто отбрасывать лишние десятичные разряды, если программа явно не требует округления. Если модель изменит это на округление в соответствии с современными программными привычками, программа будет работать нормально, но финансовые результаты уже изменятся.

При низкой интенсивности вывода точность переноса GPT‑6.1 Sol составляет 86,6%, тогда как у GPT‑5.6 Sol — всего 5,4%; при этом оценочная стоимость API у первого на 39% ниже. При повышении интенсивности вывода GPT‑6.1 Sol достигает 97,9%, что приближает эту систему оценки к насыщению.

Здесь 97,9% — это «доля программ, полностью прошедших скрытые тестовые случаи в наборе тестов OpenAI», а не «любая система на COBOL имеет 97,9% кода, который можно безопасно мигрировать автоматически».

Фактические банковские системы могут быть подключены к мейнфреймам, проприетарным базам данных, пакетным планировщикам и внутренним протоколам связи, а также содержать исключительные сценарии, не охваченные тестовыми случаями. OpenAI также прямо заявляет, что переход в продакшн требует экспертного обзора и повторного тестирования в соответствии с реальными бизнес-правилами и зависимостями.

OpenAI загрузила среду оценки MultiLangBench, набор тестов и результаты по языкам на GitHub; разработчики могут проверить содержание тестов и повторно запустить их с другими моделями или фреймворками агентов.

Это ценнее, чем просто показывать таблицу с результатами: внешние наблюдатели могут увидеть, на каких функциях SQL модель ошибается, а также сравнить, влияют ли подсказки, права доступа к инструментам, бюджет рассуждений и время выполнения на результаты.

Однако в официальной статье было объявлено только о публикации MultiLangBench, без упоминания того, что полные образцы программ для оценки миграции COBOL и скрытые тесты также стали доступны. Результат в 97,9% для последних не может быть полностью проверен и воспроизведен внешними участниками, как это возможно с MultiLangBench.

Оба теста также были разработаны OpenAI и в основном используются для сравнения собственных моделей OpenAI. Они пока не охватывают большое количество реальных корпоративных кодовых баз, долгосрочные затраты на поддержку, уязвимости в безопасности, деградацию производительности и время, необходимое для ручной проверки. Следовательно, результаты в первую очередь демонстрируют прогресс моделей в контролируемых задачах, а не окончательное подтверждение решения проблемы модернизации корпоративного программного обеспечения.

За последние два года демонстрации продуктов ИИ для программирования в основном сосредотачивались на создании веб-сайтов, мобильных приложений и инструментов Python. Эти сценарии интуитивно понятны, но не являются самыми дорогостоящими программными проблемами крупных предприятий.

То, с чем действительно трудно справиться банкам, страховым компаниям, правительственным учреждениям и научным институтам, — это код, работающий уже десятилетиями и который никто не осмеливается менять. Он может быть не слишком современным, но содержит правила, на которых основаны обработка счетов, расчет налогов, цепочки поставок и функционирование инфраструктуры.

Значение MultiLangBench именно в этом: могут ли возможности модели выйти за рамки наиболее распространенных языков обучения и перенести методы программной инженерии на технические стеки с ограниченными данными, устаревшими инструментами и более высокой стоимостью ошибок.

Если эта способность продолжит развиваться, первые изменения, принесенные ИИ, могут быть не «удалением всех COBOL одной кнопкой», а помощью инженерам в чтении незнакомого кода, дополнении тестов, восстановлении отсутствующей документации и определении бизнес-правил, после чего поэтапно осуществляется проверенная миграция каждого модуля. Человеческие эксперты по-прежнему отвечают за решение, какие функции необходимо сохранить, и когда можно действительно заменить старые системы.