OpenAI запускає нові стандарти для програмування ШІ у мовах з обмеженими ресурсами

OpenAI запровадила дві нові оцінки для «малоресурсних мов програмування»: MultiLangBench вимагає від моделей з нуля реалізувати базу даних, сумісну з SQLite, на 20 мовах; інша оцінка вимагає перенесення програм на COBOL у C++, Java, Kotlin, Python або Rust зі збереженням початкової поведінки. Офіційні результати показують, що GPT‑6 Astra досягла середнього показника проходження тестів у MultiLangBench на рівні 87,4%, а GPT‑6.1 Sol досягла точності 97,9% при перенесенні COBOL-програм у умовах високої інтелектуальної завантаженості. Це свідчить про те, що здатності ШІ у програмуванні розширюються від популярних мов, таких як Python та JavaScript, до застарілих технологій, які все ще використовуються в банках, урядових установах та наукових установах. Однак ці результати отримані за допомогою оцінок, розроблених та запущених самим OpenAI; 87,4% означає відсоток пройдених тестових випадків, а не те, що модель повністю реалізувала SQLite, придатну для виробничого використання; 97,9% не означає, що банки можуть безпосередньо переносити свої ключові системи без ручного контролю.

Автор статті, джерело: OpenAI

У сфері AI-програмування мови з низьким рівнем ресурсів — це мови, для яких доступно відносно мало публічного коду, документації та матеріалів з питань та відповідей, що можна використовувати для навчання моделей, але це не означає, що ці мови не мають реального значення.

Python та JavaScript мають велику відкриту екосистему, і під час навчання моделі можуть бачити велику кількість коду, звітів про помилки та записів про виправлення. Відкритих матеріалів для COBOL, Fortran, Visual Basic та OCaml значно менше, і багато коду залишається в закритих корпоративних системах.

Тим часом ці мови все ще виконують ключові завдання. OpenAI посилається на дані IBM, згідно з якими COBOL підтримує понад 40% он-лайн банківських систем, 80% офлайн кредитних карткових транзакцій і 95% транзакцій у банкоматах; Fortran продовжує використовуватися для прогнозування погоди та аналізу безпеки ядерних реакторів.

Складністю підтримки цих систем є не лише застарілий синтаксис. Початкові розробники можуть вже покинути компанію, документація неповна, а справжні бізнес-правила містяться лише в коді. Чому програма обрізає десяткові знаки чи як обробляється відсутній запис про рахунок — може не мати жодного пояснення, але безпосередньо впливає на фінансові розрахунки.

Тому справжнім доказом, якого справді потребує ШІ, є не те, чи він може перетворити COBOL на більш сучасний Python, а чи після міграції він все ще виконує ті самі бізнес-правила.

OpenAI випустила MultiLangBench. Вона вимагає, щоб модель під час довгого програмного процесу створила сумісний з SQLite рушій бази даних із вказаною мовою.

Кандидатська програма отримує початковий файл бази даних та SQL-запит, виконання якого змінює базу даних. Система оцінки викликає офіційну реалізацію SQLite, щоб перевірити, чи збігаються вміст бази даних із стандартним результатом. За допомогою файлу бази даних як спільного інтерфейсу одні й ті ж функції можна порівнювати між мовами.

Тестування охоплює 20 мов, включаючи C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic і Zig, оцінюючи здатність моделі організовувати кодові бази, керувати станом, обробляти помилки, додавати нові функції та уникати порушення існуючих функцій. Тестові випадки адаптовані з існуючого набору тестів SQLite.

При максимальній інтенсивності міркувань середній показник проходження тестів GPT‑6 Astra становить 87,4%, а GPT‑5.6 Sol — 26,8%. OpenAI заявляє, що Astra показала покращення у всіх 20 мовах:

COBOL зрос з 10,9% до 72,1%, OCaml — з 25,6% до 85,8%, Fortran — з 21,4% до 83,5%, Visual Basic — з 27,5% до 89,4%. З 20 мов 19 перевищили 83%, і COBOL залишається найскладнішою.

(Тут є інтерактивний модуль з 20 мовами, де можна переглянути результати та витрати різних моделей для кожної мови.)

Ці цифри потрібно правильно розуміти. 87,4% — це середній відсоток успішних тестів, але це не означає, що модель має 87,4% ймовірність генерувати повну, стабільну та повністю відповідну всім вимогам SQLite базу даних. Приблизно 12,6% невдалих тестів все ще можуть вказувати на проблеми, такі як транзакції, обробка помилок або консистентність даних, які можуть перешкоджати розгортанню у виробничому середовищі.

Це доводить, що модель може постійно розробляти складніше програмне забезпечення в незнайомій мові, а не те, що SQLite вже можна一次性 переписати за допомогою ШІ.

OpenAI також протестувала менш витратну версію GPT‑6 Luna. Її середній показник проходження у 20 мовах становить 40,3%, що вище, ніж у GPT‑5.6 Sol — 26,8%.

Середня вартість API для Luna становить приблизно 0,77 долара за зразок, а для GPT‑5.6 Sol — приблизно 3,48 долара, що становить зниження на 78%. Однак її здібності не досягають рівня Astra: Luna показує лише 17,1% на COBOL, 31,4% на Fortran і 41,6% на Visual Basic.

Ці результати показують дві різні стратегії: Astra використовує більше ресурсів для міркувань, щоб максимально підвищити точність виконання складних завдань; Luna обробляє більше зразків за нижчою вартістю, що робить її ідеальною для масового тестування, попереднього аналізу та допоміжних робіт з низьким ризиком.

Так звані витрати — це лише оцінка витрат на API в ході тестування, без врахування витрат на працю інженерів для перевірки, тестування в середовищі, прийняття бізнесом та виправлення помилок. Для застарілих систем витрати на виклики моделей часто не є найбільшими витратами в рамках проекту міграції.

Друга вимога оцінки полягає в тому, щоб модель перенесла програму COBOL у C++, Java, Kotlin, Python або Rust.

Основна увага не на чистоті коду перекладу, а на тому, чи збігаються побайтово спостережувані вихідні дані старої та нової програми. Кожен результат міграції повинен пройти всі приховані тести, щоб бути визнаним успішним.

OpenAI особливо навела приклад десяткових дробів: COBOL за замовчуванням може просто відкидати зайві десяткові розряди, якщо програма не вимагає округлення. Якщо модель за власною ініціативою, згідно з сучасними звичками програмування, змінить це на округлення, програма все одно буде працювати, але фінансові результати вже зміняться.

При низькій інтенсивності висновку точність перенесення GPT‑6.1 Sol становить 86,6%, тоді як GPT‑5.6 Sol — лише 5,4%; вартість API для першого оцінюється на 39% нижче. Після збільшення інтенсивності висновку GPT‑6.1 Sol досягає 97,9%, що наближає цю оцінку до насичення.

Тут 97,9% — це «частка програм, які повністю пройшли приховані тести в OpenAI», а не «будь-яка система COBOL має 97,9% коду, який можна безпечно мігрувати автоматично».

Справжні банківські системи можуть бути підключені до мейнфреймів, власних баз даних, пакетних планувальників та внутрішніх протоколів зв’язку, а також містять виняткові сценарії, які не охоплені тестовими випадками. OpenAI також чітко зазначила, що перехід у виробництво вимагає експертного огляду та повторного тестування з урахуванням реальних бізнес-правил та залежностей.

OpenAI завантажила середовище оцінки MultiLangBench, набір тестів та результати за мовами на GitHub, розробники можуть перевірити зміст тестів та повторно запустити їх із іншими моделями або фреймворками агентів.

Це має більше цінності, ніж просто показувати одну таблицю з результатами: зовнішній світ може спостерігати, на яких функціях SQL модель зазнає невдачі, а також порівнювати, чи впливають на результати підказки, права інструментів, бюджет міркувань і час виконання.

Однак у офіційній статті було оголошено лише MultiLangBench, а не повний набір зразків для оцінки міграції COBOL та приховані тести, які також вже відкрито. Результат у 97,9% для останніх зараз не можна повністю перевірити та відтворити ззовні, як це можна зробити з MultiLangBench.

Обидва оцінювання також були розроблені OpenAI і в основному використовуються для порівняння власних моделей OpenAI. Вони ще не охоплюють велику кількість реальних корпоративних кодових баз, довгострокові витрати на підтримку, безпекові вразливості, деградацію продуктивності та час, необхідний для ручного перевірки. Тому результати спершу підтверджують прогрес моделей у контрольованих завданнях, а не є остаточним підтвердженням вирішення проблеми модернізації корпоративного програмного забезпечення.

За останні два роки демонстрації AI-продуктів для програмування здебільшого зосереджувалися на створенні веб-сайтів, мобільних додатків та інструментів Python. Ці сценарії інтуїтивно зрозумілі, але не є найбільш витратними програмними проблемами для великих підприємств.

Те, з чим справжньо складно впоратися банкам, страховим компаніям, урядовим установам та науковим інститутам, — це код, який працює вже десятиліттями і ніхто не наважується його змінювати. Він може бути не надто сучасним, але містить правила, на яких ґрунтуються обробка рахунків, розрахунок податків, ланцюги поставок та функціонування інфраструктури.

Значення MultiLangBench саме в цьому: чи можуть здібності моделі вийти за межі найпоширеніших мов навчання та перенести методи програмної інженерії на технологічні стеки з обмеженими даними, застарілими інструментами та вищими витратами на помилки.

Якщо ця здатність продовжуватиме зростати, першою зміною, яку принесе ШІ, може стати не «видалення всіх COBOL одним кліком», а допомога інженерам у читанні незнайомого коду, додаванні тестів, відновленні відсутніх документів, визначенні бізнес-правил та поступовому виконанні перевірених міграцій модулів. Людські експерти все ще вирішуватимуть, які функції слід зберегти, та коли можна справді замінити старі системи.