Ipinakilala ni OpenAI ang mga bagong benchmark para sa AI programming sa mga wika na may mababang yaman

Ipinahayag ng OpenAI ang dalawang bagong pagsubok para sa mga "mababang yaman na wika sa pagprograma": ang MultiLangBench ay nagsasailalim sa modelo na mag-implement ng isang database engine na compatible sa SQLite gamit ang 20 iba’t ibang wika mula sa zero; samantala, ang isa pang pagsubok ay nagsasailalim sa modelo na i-migrate ang mga COBOL program sa C++, Java, Kotlin, Python, o Rust habang pinapanatili ang orihinal na pag-uugali. Ayon sa opisyal na resulta, ang GPT‑6 Astra ay nakamit ang average na porsyento ng pagkakatugon sa MultiLangBench na 87.4%, habang ang GPT‑6.1 Sol ay nakamit ang 97.9% na akurasye sa pagmigrate ng COBOL sa ilalim ng mataas na pag-iisip. Ito ay nagpapakita na ang kakayahan ng AI sa pagprograma ay umiiwas mula sa pangunahing mga wika tulad ng Python at JavaScript patungo sa mga lumang teknolohiya na ginagamit pa rin ng mga banko, gobyerno, at mga institusyon sa siyensiya. Gayunpaman, ang mga resultang ito ay galing sa sariling disenyo at pagpapatakbo ng OpenAI; ang 87.4% ay nangangahulugan ng porsyento ng mga test case na nakapasa, at hindi nangangahulugan na ang modelo ay natapos na ang isang produksyon-ready na SQLite implementation, at ang 97.9% ay hindi maaaring iintindihin bilang ang mga banko ay maaaring i-migrate ang kanilang core systems nang walang tao na pagsusuri.

May-akda ng artikulo, pinagkukunan: OpenAI

Sa larangan ng AI programming, ang mga wikang may mababang yaman ay ang mga wika na may kaunting publikong code, dokumentasyon, at mga tanong at sagot na magagamit para sa pag-aaral ng modelo, at hindi ito nangangahulugan na ang mga wika na ito ay walang real na halaga.

Ang Python at JavaScript ay may malawakang open-source ecosystem, kaya makakakita ang mga modelo sa malaking dami ng code, error reports, at record ng pagpapabuti. Mas kaunti ang publikong materyales para sa COBOL, Fortran, Visual Basic, at OCaml, at marami sa kanilang code ay nakapagkakaltas sa loob ng mga korporatibong sistema.

Samantala, ang mga wika na ito ay patuloy na naglalayong gawin ang mga mahahalagang gawain. Sinipi ng OpenAI ang data mula sa IBM na ang COBOL ay nagpapatakbo ng higit sa 40% ng mga online banking system, 80% ng offline credit card transactions, at 95% ng ATM transactions; habang ang Fortran ay patuloy na ginagamit sa pagbasa ng panahon at pagsusuri ng kaligtasan ng nuclear reactor.

Ang pagpapanatili ng mga sistemang ito ay hindi lamang mahirap dahil sa lumang gramatika. Maaaring nagsawa na ang mga orihinal na developer, at ang dokumentasyon ay hindi kompletong. Ang totoong mga patakaran sa negosyo ay nasa loob ng code lamang. Ang dahilan kung bakit sinisira ng isang programa ang mga decimal, o kung paano ito sinusolusyon ang mga rekord ng account na hindi umiiral, ay maaaring walang paliwanag, ngunit direktang nakakaapekto sa mga financial computation.

Kaya ang totoong kailangang patunayan ng AI ay hindi kung “kaya nitong i-translate ang COBOL sa isang mas modernong Python”, kundi kung patuloy pa bang isasagawa ang parehong mga batas ng negosyo pagkatapos ng migrasyon.

Ipinakilala ng OpenAI ang MultiLangBench. Ito ay nangangailangan ng model na gumawa ng isang database engine na compatible sa SQLite gamit ang nakasaad na wika sa loob ng isang mahabang proseso ng pagprograma.

Ang mga kandidatong programa ay tatanggap ng isang unang database file at isang SQL query; pagkatapos ng pagsasagawa, ito ay maglalabas ng modipikadong database. Ang system ng pagsusuri ay magpapatakbo ng opisyal na SQLite implementation upang i-check kung ang nilalaman ng database ay tugma sa standard resulta. Sa pamamagitan ng database file bilang karaniwang interface, maaaring ihambing ang parehong grupo ng mga function sa iba’t ibang wika.

Sinusubaybayan ang 20 mga wika tulad ng C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic, at Zig, upang masukat ang kakayahan ng modelo sa pag-organisa ng codebase, pagpapamahala ng estado, paghawak ng error, pagdaragdag ng mga bagong tampok, at pag-iwas sa pagkasira ng mga umiiral na tampok. Ang mga test case ay na-adapt mula sa umiiral na test suite ng SQLite.

Sa pinakamataas na antas ng pag-iisip, ang average na pagsagot sa pagsusulit ng GPT-6 Astra ay 87.4%, habang ang GPT-5.6 Sol ay 26.8%. Sinabi ng OpenAI na ang Astra ay nagkaroon ng pagpapabuti sa lahat ng 20 wika:

Ang COBOL ay tumataas mula sa 10.9% hanggang sa 72.1%, ang OCaml ay tumataas mula sa 25.6% hanggang sa 85.8%, ang Fortran ay tumataas mula sa 21.4% hanggang sa 83.5%, at ang Visual Basic ay tumataas mula sa 27.5% hanggang sa 89.4%. Sa 20 mga wika, 19 ang hihigit sa 83%, at ang COBOL ay patuloy na ang pinakamahirap.

(Mayroong module ng interaktibong 20 wika na maaaring palitan, kung saan maaari mong tingnan ang mga resulta at gastos ng bawat modelo sa bawat wika.)

Kailangan ng tamang pag-unawa ang mga numero na ito. Ang 87.4% ay ang average na porsyento ng mga pagsubok na nakapasa, ngunit hindi ito nangangahulugan na may 87.4% na posibilidad ang modelo na magbuo ng isang buong, matatag, at kumpletong sumusunod sa lahat ng mga spesipikasyon ng SQLite na database. Ang natitirang halos 12.6% na pagkabigo sa pagsubok ay maaaring tumutukoy sa mga problema tulad ng transaksyon, pag-handle ng error, o data consistency na sapat upang pigilan ang pag-deploy sa produksyon.

Napatunayan nito na ang modelo ay kayang magpatuloy na bumuo ng mas kumplikadong software sa isang hindi kilalang wika, hindi na ang SQLite ay maaaring i-rewrite ng AI sa isang pagkakataon.

Sinubukan din ni OpenAI ang mas mura na GPT‑6 Luna. Ang average pass rate nito sa 20 wika ay 40.3%, na mas mataas kaysa sa 26.8% ng GPT‑5.6 Sol.

Ang average na gastos ng API para sa Luna ay humigit-kumulang $0.77 bawat sample, habang ang GPT‑5.6 Sol ay humigit-kumulang $3.48, isang pagbaba ng humigit-kumulang 78%. Gayunpaman, ang pagtaas ng kanyang kakayahan ay hindi nakakamit ang antas ng Astra: ang Luna ay may 17.1% sa COBOL, 31.4% sa Fortran, at 41.6% sa Visual Basic.

Ang set na ito ng resulta ay nagpapakita ng dalawang iba’t ibang ruta: ang Astra ay gumagamit ng mas maraming pag-iisip na yaman upang maksimisahin ang pagkumpleto ng mga kumplikadong gawain; samantalang ang Luna ay nagpapagana ng mas maraming sample sa mas mababang gastos, angkop para sa batch testing, paunang pagsusuri, at mga gawain na may mababang panganib.

Ang tinatawag na gastos ay kung saan lamang isang pinagkakatiwalaang estima ng API bayad sa pagsusuri, na hindi kasama ang lakas-paggawa para sa pagsusuri ng inhinyero, pagsusuri sa environment, pagtanggap ng negosyo, at pagpapabuti ng mga error. Para sa mga lumang sistema, ang gastos sa pagtawag sa modelo ay madalas ay hindi ang pinakamalaking gastos sa isang proyektong paglipat.

Ang pangalawang pagtataya ay nagsasagawa ng paglilipat ng COBOL program sa C++, Java, Kotlin, Python, o Rust.

Hindi ang kalinisan ng code ng pagsasalin ang pangunahing pagsubok, kundi kung ang makikita mong output ng bagong at lumang programa ay magkakatulad sa bawat byte. Kailangang lumampas sa lahat ng nakatagong pagsubok ang bawat resulta ng paglipat upang ituring na tagumpay.

Ipinakita ng OpenAI ang isang halimbawa ng fixed-point decimal: ang COBOL ay maaaring agad na tanggalin ang mga karagdagang decimal place, maliban kung eksplisitong hingi ng programa ang pag-round off. Kung ang modelo ay magbabago nang sarili nito sa pag-round off batay sa modernong pag-program, kahit na magtatrabaho ang programa, ang mga pampublikong resulta ay nagbago na.

Sa mababang inference intensity, ang transfer accuracy ng GPT‑6.1 Sol ay 86.6%, habang ang GPT‑5.6 Sol ay 5.4%; mas mababa pa ang kinukwenta na API cost ng unang isa ng 39%. Pagtaas ng inference intensity, ang GPT‑6.1 Sol ay nakamit ang 97.9%, na nagdadala sa这套 evaluation sa malapit sa saturation.

Ang 97.9% dito ay “ang proporsyon ng mga programa na nakapasa nang buo sa mga nakatagong test case sa pagsubok ng OpenAI,” hindi “ang anumang COBOL system ay may 97.9% ng code na maaaring ligtas at awtomatikong i-migrate.”

Ang totoong banko system ay maaaring konektado sa mainframe, proprietary database, batch scheduler, at internal communication protocol, at mayroon pa ring mga anomalous na proseso na hindi sakop ng mga test case. Ang OpenAI ay malinaw na nagpahayag na ang production migration ay nangangailangan pa rin ng pagsusuri ng eksperto at pagre-retest batay sa mga totoong business rules at dependencies.

I-upload na ng OpenAI ang pag-e-evaluate na kapaligiran, test suite, at mga resulta ayon sa wika ng MultiLangBench sa GitHub, kaya ang mga developer ay maaaring suriin ang mga test content at i-re-run ang mga ito gamit ang iba pang mga model o Agent framework.

Mas may halaga ito kaysa sa pagpapakita ng isang talaan ng marka: maaaring obserbahan ng labas kung saan mga SQL function nagkakamali ang modelo, at maaari ring ihambing kung ang mga marka ay naapektuhan ng prompt, mga pahintulot sa kasangkapan, budget para sa pag-iisip, at haba ng oras ng pagpapatakbo.

Gayunpaman, ang opisyal na artikulo ay nag-anunsyo lamang ng pagpapalabas ng MultiLangBench, at hindi nagpaliwanag na ang buong programa ng pag-evaluate ng COBOL migration at ang mga nakatago na pagsusulit ay nasa ilalim na rin. Ang marka na 97.9% sa huli ay hindi pa maaaring ma-check at muling i-reproduce ng labas tulad ng MultiLangBench.

Ang dalawang pagtataya ay disenyo rin ng OpenAI at pangunahing ginagamit para ihambing ang sariling mga modelo ng OpenAI. Hindi pa sila nakakapalipat sa malaking bilang ng mga codebase ng tunay na negosyo, mahabang panahon na gastos sa pagpapanatili, mga butas sa seguridad, pagbaba sa performance, at kung gaano karaming oras ang kailangan para sa pagrerebyu ng tao. Kaya, ang mga resulta ay una-lahat ay nagpapatotoo sa pag-unlad ng modelo sa mga kontroladong gawain, hindi pa ang huling pagpapatotoo na natapos na ang problema ng modernisasyon ng enterprise software.

Sa nakalipas na dalawang taon, ang mga demo ng AI-powered na programming tools ay karamihan ay nakatuon sa paglikha ng mga website, mobile apps, at mga Python tool. Ang mga ito ay intuwitibo, ngunit hindi ito ang pinakamahal na software issue ng mga malalaking kumpanya.

Ang mga code na nagpapatakbo nang ilang dekada at walang nagdududa na baguhin, ay ang mga ito ang totoong hamon para sa mga banko, insurance, gobyerno, at mga institusyon ng pananaliksik. Maaaring hindi ito moderno, ngunit naglalaman ito ng mga patakaran na ginagamit sa pagproseso ng mga akawnt, pagkalkula ng buwis, supply chain, at pagpapatakbo ng infrastraktura.

Ang kahalagahan ng MultiLangBench ay nasa ganito: maaari ba ng isang modelo na lumampas sa pinakakaraniwang wika sa pagtatrabaho, at ilipat ang mga paraan ng software engineering sa mga teknolohiya na may limitadong data, lumang kasangkapan, at mas mataas na gastos sa pagkakamali.

Kung patuloy na umuunlad ang kakayahang ito, ang unang pagbabagong dala ng AI ay hindi ang “i-delete ang lahat ng COBOL sa isang pindot,” kundi ang pagtutulong sa mga inhinyero na basahin ang hindi pamilyar na code, punan ang mga pagsubok, balikan ang nawawalang dokumentasyon, at matukoy ang mga batayang patakaran, bago gawin ang bawat module na may nakumpirma na paglipat. Patuloy na responsable ang mga eksperto na tao kung ano ang mga pag-uugali ay dapat panatilihin, at kailan maaaring palitan nang totoo ang mga lumang sistema.