OpenAI Melancarkan Ukuran Baharu untuk Pemrograman AI dalam Bahasa Sumber Rendah

OpenAI melancarkan dua penilaian baharu untuk "bahasa pengaturcaraan sumber rendah": MultiLangBench memerlukan model untuk mengimplementasikan enjin pangkalan data yang kompatibel dengan SQLite dari awal menggunakan 20 bahasa; penilaian lain memerlukan model untuk memindahkan program COBOL ke C++, Java, Kotlin, Python, atau Rust sambil mengekalkan tingkah laku asal. Keputusan rasmi menunjukkan bahawa GPT‑6 Astra mencapai kadar lulus purata 87.4% dalam MultiLangBench, manakala GPT‑6.1 Sol mencapai ketepatan 97.9% dalam pemindahan COBOL di bawah beban penalaran tinggi. Ini menunjukkan kemampuan pengaturcaraan AI sedang meluas dari bahasa utama seperti Python dan JavaScript kepada teknologi lama yang masih digunakan oleh bank, kerajaan, dan institusi penyelidikan. Namun, pencapaian ini berasal daripada penilaian yang direka dan dijalankan sendiri oleh OpenAI; 87.4% mewakili peratusan kes ujian yang lulus, bukan bermakna model telah mengimplementasikan SQLite yang boleh digunakan dalam produksi, dan 97.9% tidak boleh diertikan sebagai bank boleh memindahkan sistem penting tanpa pemeriksaan manusia.

Penulis artikel, sumber: OpenAI

Dalam bidang pengaturcaraan AI, bahasa sumber rendah merujuk kepada bahasa yang mempunyai jumlah kod awam, dokumen, dan bahan soal jawab yang tersedia untuk pembelajaran model相对 sedikit, bukan bermaksud bahasa-bahasa ini tidak mempunyai nilai sebenar.

Python dan JavaScript mempunyai ekosistem sumber terbuka yang besar, di mana model dapat melihat sejumlah besar kod, laporan ralat, dan rekod pembaikan semasa latihan. Bahan awam untuk COBOL, Fortran, Visual Basic, dan OCaml jauh lebih sedikit, dan banyak kodnya masih disimpan dalam sistem dalaman perusahaan.

Sementara itu, bahasa-bahasa ini masih memikul tugas-tugas penting. OpenAI merujuk kepada data IBM yang menyatakan bahawa COBOL menyokong lebih daripada 40% sistem perbankan dalam talian, 80% transaksi kad kredit secara luar talian, dan 95% transaksi ATM; Fortran terus digunakan untuk ramalan cuaca dan analisis keselamatan reaktor nuklear.

Mempertahankan sistem-sistem ini bukan hanya kerana sintaksnya yang uzur. Pembangun asal mungkin telah berhenti, dokumen tidak lengkap, dan peraturan perniagaan sebenar hanya terdapat dalam kod. Sebuah program mengapa memotong nombor perpuluhan atau bagaimana menangani rekod akaun yang tidak wujud mungkin tidak ada penjelasan, tetapi secara langsung mempengaruhi hasil pengiraan kewangan.

Oleh itu, yang sebenarnya perlu dibuktikan oleh AI bukanlah “sama ada ia boleh menterjemah COBOL kepada Python yang kelihatan lebih moden”, tetapi sama ada peraturan perniagaan yang sama dilaksanakan sepenuhnya selepas migrasi.

OpenAI telah menerbitkan MultiLangBench untuk ini. Ia memerlukan model untuk membina enjin pangkalan data yang selari dengan SQLite menggunakan bahasa yang ditentukan dalam satu proses pengaturcaraan yang panjang.

Program kandidat akan menerima fail database awal dan satu soalan SQL, yang apabila dilaksanakan akan menghasilkan database yang telah dimodifikasi. Sistem penilaian kemudian memanggil pelaksanaan SQLite rasmi untuk memeriksa sama ada kandungan database sepadan dengan hasil piawai. Dengan menggunakan fail database sebagai antaramuka bersama, fungsi yang sama boleh dibandingkan merentas bahasa.

Ujian meliputi 20 bahasa seperti C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic, dan Zig, menilai kemampuan model dalam mengatur repositori kod, menguruskan status, mengendalikan ralat, menambah fungsi baharu, dan mengelakkan gangguan terhadap fungsi lama. Kes ujian diadaptasi daripada set ujian SQLite yang sedia ada.

Pada kekuatan penalaran tertinggi, kadar lulus ujian purata GPT‑6 Astra ialah 87.4%, manakala GPT‑5.6 Sol ialah 26.8%. OpenAI menyatakan bahawa Astra menunjukkan peningkatan dalam semua 20 bahasa:

COBOL meningkat dari 10.9% kepada 72.1%, OCaml meningkat dari 25.6% kepada 85.8%, Fortran meningkat dari 21.4% kepada 83.5%, Visual Basic meningkat dari 27.5% kepada 89.4%. Daripada 20 bahasa, 19 di antaranya melebihi 83%, dan COBOL masih merupakan yang paling sukar.

(Modul hasil interaktif yang boleh dipindahkan dalam 20 bahasa, boleh melihat prestasi dan kos setiap model dalam setiap bahasa.)

Nombor-nombor ini perlu difahami dengan betul. 87.4% adalah purata kadar lulus ujian, bukan bermakna model mempunyai kebarangkalian 87.4% untuk menghasilkan pangkalan data yang lengkap, stabil, dan mematuhi semua spesifikasi SQLite. Kegagalan sebanyak kira-kira 12.6% dalam ujian masih mungkin berkaitan dengan isu-isu seperti transaksi, penanganan ralat, atau konsistensi data yang boleh menghalang pelaksanaan dalam persekitaran pengeluaran.

Ia membuktikan bahawa model boleh terus membina perisian yang lebih kompleks dalam bahasa asing, bukan bahawa SQLite sudah boleh ditulis semula oleh AI dalam satu percubaan.

OpenAI juga menguji GPT-6 Luna yang lebih murah. Ia mencapai kadar lulus purata 40.3% dalam 20 bahasa, lebih tinggi berbanding 26.8% GPT-5.6 Sol.

Kos API purata Luna adalah sekitar US$0.77 setiap sampel, manakala GPT‑5.6 Sol adalah sekitar US$3.48, penurunan sekitar 78%. Namun, peningkatan kemampuannya tidak mencapai tahap Astra: Luna hanya mencapai 17.1% pada COBOL, 31.4% pada Fortran, dan 41.6% pada Visual Basic.

Hasil ini menunjukkan dua lintasan berbeza: Astra menggunakan lebih banyak sumber penalaran untuk memaksimakan keberhasilan tugas kompleks; sementara Luna mengendalikan lebih banyak sampel dengan kos yang lebih rendah, sesuai untuk percubaan berjumlah besar, analisis awal, dan tugas bantuan berisiko rendah.

Yang disebut sebagai kos hanyalah anggaran kos API dalam penilaian, tidak termasuk tenaga kerja yang diperlukan untuk pemeriksaan jurutera, persekitaran ujian, penerimaan perniagaan, dan pembaikan ralat. Bagi sistem warisan, kos panggilan model sering kali bukan kos terbesar dalam projek pemindahan.

Persyaratan penilaian kedua memerlukan model untuk memindahkan program COBOL ke C++, Java, Kotlin, Python, atau Rust.

Fokus ujian bukan pada kebersihan kod terjemahan, tetapi sama ada output yang dapat diperhatikan dari program lama dan baru adalah serupa bit demi bit. Setiap hasil migrasi mesti lulus semua ujian tersembunyi sebelum dianggap berjaya.

OpenAI secara khusus memberikan contoh nombor perpuluhan tetap: COBOL secara lalai mungkin membuang digit perpuluhan yang berlebihan, kecuali program secara jelas meminta pembundaran. Jika model mengubahnya secara spontan kepada pembundaran mengikut adat pengaturcaraan moden, walaupun program berfungsi dengan baik, hasil kewangan telah berubah.

Dengan kekuatan inferens yang rendah, akurasi transfer GPT-6.1 Sol mencapai 86.6%, manakala GPT-5.6 Sol hanya 5.4%; kos API yang dianggarkan untuk yang pertama juga 39% lebih rendah. Selepas meningkatkan kekuatan inferens, GPT-6.1 Sol mencapai 97.9%, menjadikan penilaian ini hampir jenuh.

97.9% di sini merujuk kepada "nisbah program yang lulus sepenuhnya terhadap kes tersembunyi dalam ujian OpenAI ini", bukan "sebarang sistem COBOL mempunyai 97.9% kod yang boleh dipindahkan secara automatik dengan selamat".

Sistem perbankan sebenar mungkin menghubungkan mainframe, pangkalan data eksklusif, penjadual pemprosesan berperingkat, dan protokol komunikasi dalaman, serta terdapat proses pengecualian yang tidak dicakup oleh kes ujian. OpenAI juga dengan jelas menyatakan bahawa pemindahan ke pengeluaran masih memerlukan tinjauan pakar dan pengujian semula berdasarkan peraturan perniagaan sebenar dan ketergantungan.

OpenAI telah mengunggah persekitaran penilaian MultiLangBench, set ujian, dan keputusan mengikut bahasa ke GitHub, membolehkan pembangun menyemak kandungan ujian dan menjalankan semula dengan model atau rangka kerja Agent lain.

Ini lebih berharga daripada hanya menunjukkan satu jadual pencapaian: pihak luar dapat mengamati di mana model gagal dalam fungsi SQL, serta membandingkan sama ada pencapaian dipengaruhi oleh petunjuk, kebenaran alat, anggaran penalaran, dan tempoh masa pelaksanaan.

Namun, artikel rasmi hanya mengumumkan pelancaran MultiLangBench, tanpa menyatakan bahawa sampel program lengkap untuk penilaian pemindahan COBOL dan ujian tersembunyi juga telah dibuka. Skor 97.9% untuk yang terakhir tidak boleh diperiksa dan direplikasi sepenuhnya oleh pihak luar seperti MultiLangBench.

Kedua-dua ujian tersebut juga direka oleh OpenAI dan terutamanya digunakan untuk membandingkan model milik OpenAI sendiri. Ia belum merangkumi jumlah besar kod perusahaan sebenar, kos pemeliharaan jangka panjang, lubang keselamatan, penurunan prestasi, dan berapa lama masa yang diperlukan untuk semakan manusia. Oleh itu, keputusan tersebut terutamanya membuktikan kemajuan model dalam tugas terkawal, bukan pengesahan akhir terhadap masalah modernisasi perisian perusahaan.

Dalam dua tahun terakhir, demonstrasi produk AI pemrograman kebanyakannya berfokus pada penciptaan laman web, aplikasi mudah alih, dan alat Python. Skenario-skenario ini intuitif, tetapi bukan masalah perisian paling mahal bagi syarikat besar.

Yang benar-benar sukar ditangani oleh bank, insurans, kerajaan, dan institusi penyelidikan ialah kod yang telah beroperasi selama beberapa dekad dan tiada siapa berani mengubahnya dengan mudah. Ia mungkin tidak begitu moden, tetapi mengandungi peraturan yang menjadi asas kepada pemprosesan akaun, pengiraan cukai, rantaian bekalan, dan operasi infrastruktur.

Maksud MultiLangBench ialah: adakah kemampuan model boleh dilepaskan daripada bahasa latihan yang paling biasa, dan memindahkan kaedah kejuruteraan perisian ke stak teknologi yang mempunyai data sedikit, alat lapuk, dan kos kesilapan yang lebih tinggi.

Jika kemampuan ini terus meningkat, perubahan pertama yang dibawa oleh AI mungkin bukan "hapus semua COBOL dengan satu klik", tetapi membantu jurutera membaca kod asing, melengkapi ujian, memulihkan dokumen yang hilang, dan mengesan peraturan perniagaan, sebelum melaksanakan pemindahan yang telah disahkan modul demi modul. Pakar manusia masih bertanggungjawab menentukan perilaku mana yang perlu dikekalkan, serta kapan sistem lama boleh digantikan secara sebenarnya.