OpenAI Meluncurkan Patokan Baru untuk Pemrograman AI dalam Bahasa Berdaya Rendah

OpenAI meluncurkan dua evaluasi baru untuk "bahasa pemrograman berbasis sumber daya rendah": MultiLangBench mengharuskan model untuk mengimplementasikan mesin database yang kompatibel dengan SQLite dari nol menggunakan 20 bahasa berbeda; evaluasi lainnya meminta model untuk memigrasi program COBOL ke C++, Java, Kotlin, Python, atau Rust sambil mempertahankan perilaku aslinya. Hasil resmi menunjukkan bahwa GPT‑6 Astra mencapai rata-rata tingkat kelulusan tes sebesar 87,4% di MultiLangBench, sementara GPT‑6.1 Sol mencapai akurasi 97,9% dalam memigrasi COBOL di bawah beban inferensi tinggi. Ini menunjukkan bahwa kemampuan pemrograman AI sedang meluas dari bahasa utama seperti Python dan JavaScript ke tumpukan teknologi lama yang masih digunakan oleh bank, pemerintah, dan lembaga penelitian. Namun, pencapaian ini berasal dari evaluasi yang dirancang dan dijalankan oleh OpenAI sendiri; 87,4% mewakili proporsi kasus uji yang lulus, bukan berarti model telah menyelesaikan implementasi SQLite yang siap produksi, dan 97,9% tidak dapat diartikan sebagai bank dapat memigrasi sistem inti tanpa tinjauan manusia.

Penulis artikel, sumber: OpenAI

Dalam bidang pemrograman AI, bahasa berbasis sumber daya rendah merujuk pada bahasa yang memiliki sedikit kode publik, dokumen, dan bahan tanya jawab yang tersedia untuk pembelajaran model, bukan berarti bahasa-bahasa tersebut tidak memiliki nilai nyata.

Python dan JavaScript memiliki ekosistem open source yang besar, sehingga model dapat melihat sejumlah besar kode, laporan kesalahan, dan catatan perbaikan selama pelatihan. Bahan publik untuk COBOL, Fortran, Visual Basic, dan OCaml jauh lebih sedikit, dan banyak kode tersebut masih tersimpan dalam sistem internal perusahaan.

Sementara itu, bahasa-bahasa ini masih memikul tugas-tugas penting. OpenAI mengutip data IBM yang menyatakan bahwa COBOL mendukung lebih dari 40% sistem perbankan online, 80% transaksi kartu kredit offline, dan 95% transaksi ATM; Fortran terus digunakan untuk prakiraan cuaca dan analisis keselamatan reaktor nuklir.

Mempertahankan sistem-sistem ini bukan hanya sulit karena sintaksnya yang kuno. Pengembang asli mungkin sudah meninggalkan perusahaan, dokumentasi tidak lengkap, dan aturan bisnis sebenarnya hanya ada dalam kode. Alasan mengapa sebuah program memotong angka desimal atau bagaimana menangani catatan akun yang tidak ada mungkin tidak dijelaskan sama sekali, namun secara langsung memengaruhi hasil perhitungan keuangan.

Oleh karena itu, yang benar-benar perlu dibuktikan oleh AI bukanlah "apakah bisa menerjemahkan COBOL menjadi Python yang terlihat lebih modern", tetapi apakah aturan bisnis yang sama tetap dijalankan setelah migrasi.

OpenAI merilis MultiLangBench untuk ini. Ini meminta model untuk membangun mesin basis data yang kompatibel dengan SQLite menggunakan bahasa yang ditentukan dalam satu proses pemrograman yang panjang.

Program kandidat akan menerima file database awal dan satu query SQL, yang setelah dieksekusi menghasilkan database yang dimodifikasi. Sistem evaluasi kemudian memanggil implementasi SQLite resmi untuk memeriksa apakah konten database sesuai dengan hasil standar. Dengan menggunakan file database sebagai antarmuka bersama, sekelompok fitur yang sama dapat dibandingkan lintas bahasa.

Menguji cakupan 20 bahasa seperti C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic, dan Zig, menilai kemampuan model dalam mengatur repositori kode, mengelola status, menangani kesalahan, menambahkan fitur baru, dan menghindari merusak fungsionalitas lama. Kasus uji diadaptasi dari suite pengujian SQLite yang sudah ada.

Pada kekuatan penalaran tertinggi, tingkat kelulusan rata-rata GPT-6 Astra adalah 87,4%, sedangkan GPT-5.6 Sol adalah 26,8%. OpenAI menyatakan bahwa Astra meningkat dalam semua 20 bahasa:

COBOL naik dari 10,9% menjadi 72,1%, OCaml naik dari 25,6% menjadi 85,8%, Fortran naik dari 21,4% menjadi 83,5%, Visual Basic naik dari 27,5% menjadi 89,4%. Dari 20 bahasa, 19 di antaranya melebihi 83%, dan COBOL tetap menjadi yang paling sulit.

(Modul hasil interaktif dalam 20 bahasa yang dapat dipilih, dapat melihat performa dan biaya setiap model pada setiap bahasa.)

Angka-angka ini perlu dipahami dengan benar. 87,4% adalah rata-rata tingkat keberhasilan kasus uji, bukan berarti model memiliki probabilitas 87,4% untuk menghasilkan database yang lengkap, stabil, dan sepenuhnya sesuai dengan seluruh spesifikasi SQLite. Kegagalan sekitar 12,6% pada pengujian masih dapat terkait dengan masalah yang cukup serius untuk menghalangi peluncuran produksi, seperti transaksi, penanganan kesalahan, atau konsistensi data.

Ini membuktikan bahwa model dapat terus membangun perangkat lunak yang cukup kompleks dalam bahasa asing, bukan bahwa SQLite sudah dapat ditulis ulang sekali oleh AI.

OpenAI juga menguji GPT-6 Luna yang lebih hemat biaya. Rata-rata tingkat kelulusan dalam 20 bahasa adalah 40,3%, lebih tinggi dari 26,8% GPT-5.6 Sol.

Biaya rata-rata API Luna sekitar $0,77 per sampel, sedangkan GPT‑5.6 Sol sekitar $3,48, penurunan sekitar 78%. Namun, peningkatan kemampuannya belum mencapai tingkat Astra: Luna hanya mencapai 17,1% pada COBOL, 31,4% pada Fortran, dan 41,6% pada Visual Basic.

Hasil ini menampilkan dua rute berbeda: Astra menggunakan lebih banyak sumber daya inferensi untuk memaksimalkan tingkat penyelesaian tugas kompleks; sementara Luna menangani lebih banyak sampel dengan biaya lebih rendah, cocok untuk percobaan massal, analisis awal, dan tugas pendukung berisiko rendah.

Biaya yang disebutkan hanyalah perkiraan biaya API dalam evaluasi, tidak mencakup tenaga kerja yang diperlukan untuk tinjauan insinyur, lingkungan pengujian, penerimaan bisnis, dan perbaikan kesalahan. Untuk sistem warisan, biaya pemanggilan model sering kali bukan biaya terbesar dalam proyek migrasi.

Persyaratan evaluasi kedua meminta model untuk memigrasi program COBOL ke C++, Java, Kotlin, Python, atau Rust.

Fokus pengujian bukan pada seberapa rapi kode terjemahan, tetapi pada apakah output yang dapat diamati dari program lama dan baru konsisten byte demi byte. Setiap hasil migrasi harus lulus seluruh pengujian tersembunyi agar dianggap berhasil.

OpenAI secara khusus mencontohkan bilangan desimal tetap: COBOL secara default mungkin langsung membuang digit desimal berlebih, kecuali program secara eksplisit meminta pembulatan. Jika model mengubahnya secara sewenang-wenang menjadi pembulatan sesuai kebiasaan pemrograman modern, program tetap dapat berjalan normal, tetapi hasil keuangan sudah berubah.

Dengan intensitas inferensi rendah, akurasi transfer GPT-6.1 Sol mencapai 86,6%, sedangkan GPT-5.6 Sol hanya 5,4%; biaya API yang diperkirakan untuk yang pertama juga 39% lebih rendah. Setelah meningkatkan intensitas inferensi, GPT-6.1 Sol mencapai 97,9%, membuat rangkaian evaluasi ini mendekati saturasi.

97,9% di sini adalah "proporsi program yang berhasil melewati seluruh kasus tersembunyi dalam pengujian OpenAI ini", bukan "setiap sistem COBOL memiliki 97,9% kode yang dapat dipindahkan secara otomatis dan aman".

Sistem perbankan asli mungkin terhubung ke mainframe, database propietari, scheduler batch, dan protokol komunikasi internal, serta memiliki alur异常 yang tidak tercakup oleh kasus uji. OpenAI juga secara jelas menyatakan bahwa migrasi produksi masih memerlukan tinjauan ahli dan pengujian ulang terhadap aturan bisnis nyata serta ketergantungannya.

OpenAI telah mengunggah lingkungan evaluasi MultiLangBench, suite pengujian, dan hasil berdasarkan bahasa ke GitHub, memungkinkan pengembang untuk memeriksa konten pengujian dan menjalankan ulang dengan model atau kerangka Agent lainnya.

Ini lebih bernilai daripada hanya menampilkan satu tabel hasil: pihak luar dapat mengamati di mana tepatnya model gagal dalam fitur SQL, serta membandingkan apakah hasil dipengaruhi oleh prompt, izin alat, anggaran inferensi, dan durasi eksekusi.

Namun, artikel resmi hanya mengumumkan peluncuran MultiLangBench, tanpa menyebutkan bahwa sampel program lengkap untuk evaluasi migrasi COBOL serta pengujian tersembunyi juga telah dibuka. Skor 97,9% untuk yang terakhir saat ini tidak dapat diperiksa dan direproduksi secara penuh oleh pihak luar sebagaimana MultiLangBench.

Kedua evaluasi tersebut juga dirancang oleh OpenAI dan terutama digunakan untuk membandingkan model milik OpenAI sendiri. Keduanya belum mencakup sejumlah besar kode basis perusahaan nyata, biaya pemeliharaan jangka panjang, kerentanan keamanan, penurunan kinerja, serta berapa lama waktu yang dibutuhkan untuk tinjauan manual. Oleh karena itu, hasilnya terlebih dahulu membuktikan kemajuan model dalam tugas terkendali, bukan verifikasi akhir bahwa masalah modernisasi perangkat lunak perusahaan telah selesai.

Dua tahun terakhir, demonstrasi produk AI pemrograman sebagian besar berfokus pada pembuatan situs web, aplikasi seluler, dan alat Python. Skenario-skenario ini intuitif, tetapi bukan masalah perangkat lunak paling mahal bagi perusahaan besar.

Yang benar-benar sulit ditangani oleh bank, asuransi, pemerintah, dan lembaga penelitian adalah kode yang telah berjalan selama puluhan tahun dan tidak ada yang berani mengubahnya dengan sembarangan. Kode tersebut mungkin tidak terlalu modern, tetapi berisi aturan-aturan yang menjadi dasar pemrosesan akun, perhitungan pajak, rantai pasokan, dan operasi infrastruktur.

Arti MultiLangBench adalah ini: apakah kemampuan model dapat lepas dari bahasa pelatihan yang paling umum, dan mentransfer metode rekayasa perangkat lunak ke teknologi yang memiliki sumber daya terbatas, alat yang usang, dan biaya kesalahan yang lebih tinggi.

Jika kemampuan ini terus meningkat, perubahan pertama yang dibawa AI mungkin bukan "hapus semua COBOL dengan satu klik", melainkan membantu insinyur membaca kode asing, melengkapi pengujian, memulihkan dokumen yang hilang, dan menemukan aturan bisnis, sebelum secara bertahap menyelesaikan migrasi yang telah diverifikasi modul demi modul. Ahli manusia tetap bertanggung jawab menentukan perilaku mana yang harus dipertahankan dan kapan sistem lama benar-benar dapat diganti.