OpenAI, Düşük Kaynaklı Dillerde Yapay Zeka Programlama İçin Yeni Başarı Ölçütleri Yayınlıyor

OpenAI, "düşük kaynaklı programlama dilleri" için iki yeni değerlendirme yayınladı: MultiLangBench, modellerin 20 farklı dilde SQLite ile uyumlu bir veritabanı motorunu sıfırdan oluşturmasını gerektirir; diğer değerlendirme ise COBOL programlarını orijinal davranışlarını koruyarak C++, Java, Kotlin, Python veya Rust'a taşımayı gerektirir. Resmi sonuçlara göre, GPT‑6 Astra, MultiLangBench'te ortalama test geçme oranını %87,4 olarak elde etti; GPT‑6.1 Sol, yüksek mantıksal yoğunlukta COBOL taşıma işlemini %97,9 doğrulukla tamamladı. Bu, AI programlama yeteneklerinin Python ve JavaScript gibi popüler dillerden, bankacılık, hükümet ve araştırma kurumlarının hâlâ kullandığı eski teknoloji yığınlarına doğru genişlediğini gösteriyor. Ancak bu başarılar, OpenAI'nin kendi tasarladığı ve çalıştırdığı değerlendirmelerden kaynaklanmaktadır; %87,4, test senaryolarının geçme oranını temsil eder ve modelin üretime hazır bir SQLite uygulaması tamamladığı anlamına gelmez; %97,9 ise bankaların kritik sistemlerini insan denetimi olmadan doğrudan taşıyabileceğini ifade etmez.

Yazan: OpenAI

Yapay zeka programlama alanında, düşük kaynaklı diller, modellerin öğrenmesi için mevcut olan açık kaynaklı kod, belgeler ve soru-cevap materyalleri nispeten az olan dilleri ifade eder; bu, bu dillerin gerçek değerden yoksun olduğu anlamına gelmez.

Python ve JavaScript, büyük bir açık kaynak ekosistemine sahiptir ve modeller eğitilirken çok sayıda kod, hata raporu ve düzeltme kaydını görebilir. COBOL, Fortran, Visual Basic ve OCaml için ise açık malzeme çok daha azdır ve bunların çoğu kod, şirket içi sistemlerde kilitli durumdadır.

Aynı zamanda bu diller kritik görevleri yerine getirmeye devam ediyor. OpenAI, IBM verilerine dayanarak, COBOL'un çevrimiçi bankacılık sistemlerinin %40'ından fazlasını, çevrimdışı kredi kartı işlemlerinin %80'ini ve ATM işlemlerinin %95'ini desteklediğini; Fortran'ın ise hava tahmini ve nükleer reaktör güvenlik analizlerinde hâlâ kullanıldığını belirtiyor.

Bu sistemlerin bakımının zorluğu sadece eski bir dil kullanıyor olmasından kaynaklanmaz. İlk geliştiriciler zaten ayrılmış olabilir, belgeler eksik olabilir ve gerçek iş kuralları yalnızca kod içinde yer alır. Bir programın neden ondalık sayıları kesdiğini veya mevcut olmayan hesap kayıtlarını nasıl işlediğini açıklayan hiçbir bilgi olmayabilir, ancak bu durumlar finansal hesaplamaları doğrudan etkiler.

Bu nedenle, AI'nın gerçekten kanıtlaması gereken, "COBOL'u daha modern görünmesi için Python'a çevirebilir mi?" değil, migre edildikten sonra tam olarak aynı iş kurallarını yerine getirip getirmediğidir.

OpenAI, MultiLangBench'i yayınladı. Bu, modellere uzun bir programlama süreci boyunca SQLite ile uyumlu bir veritabanı motoru oluşturmak için belirtilen dili kullanmayı talep ediyor.

Başlangıç veritabanı dosyası ve bir SQL sorgusu alınan aday programlar, sorguyu çalıştırdıktan sonra değiştirilmiş veritabanını üretir. Değerlendirme sistemi, veritabanı içeriğinin standart sonuçla uyumlu olup olmadığını kontrol etmek için resmi SQLite uygulamasını çağırır. Ortak bir arayüz olarak veritabanı dosyalarının kullanılması, aynı fonksiyon setlerinin diller arasında karşılaştırılmasını sağlar.

C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic ve Zig dahil 20 farklı dilin kapsanmasını test eder; modelin kod tabanını organize etme, durumu yönetme, hataları işleme, yeni özellikler ekleme ve mevcut işlevleri bozmadan koruma yeteneğini değerlendirir. Test senaryoları, SQLite'in mevcut test setinden uyarlanmıştır.

En yüksek akıl yürütme yoğunluğunda, GPT-6 Astra'nın ortalama test geçme oranı %87,4 iken, GPT-5.6 Sol %26,8'dir. OpenAI, Astra'nın tüm 20 dilde artış sağladığını belirtti:

COBOL, %10,9'dan %72,1'e yükseldi, OCaml %25,6'dan %85,8'e, Fortran %21,4'ten %83,5'e, Visual Basic %27,5'ten %89,4'e çıktı. 20 dilin 19'u %83'ün üzerinde, COBOL hâlâ en zor olan.

(Orjinal metinde, her dildeki modellerin performansını ve maliyetini görüntüleyebileceğiniz 20 dil arası etkileşimli modül bulunmaktadır.)

Bu sayılar doğru şekilde anlaşılmalıdır. %87,4, test senaryolarının ortalama geçme oranıdır ve modelin SQLite'nın tüm kurallarına uygun, tam ve kararlı bir veritabanı oluşturma olasılığının %87,4 olduğu anlamına gelmez. Kalan yaklaşık %12,6'lık test başarısızlıkları, üretim dağıtımını engelleyebilecek işlemler, hata işleme veya veri tutarlılığı gibi sorunlara karşılık gelmektedir.

Bu, SQLite'nin AI tarafından tek seferde yeniden yazılabilir olduğunun kanıtı değil, modelin yabancı dillerde daha karmaşık yazılımlar sürekli olarak oluşturabileceğinin kanıtıdır.

OpenAI, daha düşük maliyetli GPT-6 Luna'yı da test etti. Bu model, 20 dilde 40,3% ortalama geçme oranına sahip olup, GPT-5.6 Sol'un %26,8'inden daha yüksektir.

Luna'nın ortalama API maliyeti her örnek için yaklaşık 0,77 dolar, GPT‑5.6 Sol ise yaklaşık 3,48 dolar, bu da yaklaşık %78lik bir düşüş anlamına gelir. Ancak yetenek artışı Astra seviyesine ulaşmamıştır: Luna, COBOL'de %17,1, Fortran'da %31,4, Visual Basic'te %41,6 performans göstermektedir.

Bu sonuçlar, iki farklı yaklaşımı göstermektedir: Astra, daha fazla çıkarım kaynağı kullanarak karmaşık görevlerin tamamlanma düzeyini maksimize eder; Luna ise daha düşük maliyetlerle daha fazla örnek işlemeyi hedefler ve miktar bazlı denemeler, ilk analizler ve düşük riskli destek görevleri için uygundur.

Maliyet, yalnızca değerlendirme sırasında tahmini API maliyetlerini içerir; mühendislerin incelemesi, test ortamı, iş kabulü ve hata düzeltmeleri için gerekli insan kaynaklarını kapsamaz. Eski sistemlerde, model çağrısı maliyeti genellikle migre edilme projesinin en büyük maliyeti değildir.

İkinci değerlendirme, COBOL programını C++, Java, Kotlin, Python veya Rust'a taşımayı gerektirir.

Testin odak noktası, çeviri kodunun temizliği değil, eski ve yeni programların gözlemlenebilir çıktılarının bayt bayt tutarlılığıdır. Her migre edilmiş sonuç, tüm gizli testleri geçtiğinde başarılı olarak kabul edilir.

OpenAI, sabit noktalı ondalık sayıların bir örneğini özellikle belirtti: COBOL, programın yuvarlama yapma talimatı vermemesi durumunda varsayılan olarak fazla ondalık basamakları atabilir. Model, modern programlama alışkanlıklarına göre yuvarlamayı kendi başına değiştirirse, program çalışır hale gelir ancak mali sonuçlar değişir.

Düşük çıkarım şiddeti altında, GPT‑6.1 Sol'un aktarım doğruluğu %86,6 iken, GPT‑5.6 Sol'un bunu %5,4 olarak gerçekleştirdi; ilk durumda API maliyeti %39 daha düşük tahmin edildi. Çıkarım şiddetini artırınca, GPT‑6.1 Sol %97,9'a ulaştı ve bu değerlendirme seti neredeyse doygun hale geldi.

Buradaki %97,9, "OpenAI test setinde gizli senaryoları tamamen geçen programların oranı"dır, herhangi bir COBOL sisteminin %97,9 kodunun güvenli bir şekilde otomatik olarak taşınabilir olduğu anlamına gelmez.

Gerçek banka sistemleri, ana bilgisayarlar, özel veritabanları, toplu iş zamanlayıcılar ve dahili iletişim protokolleriyle bağlantı kurabilir ve test senaryoları tarafından kapsanmayan istisnai akışlar mevcuttur. OpenAI ayrıca üretim geçişinin uzman incelemesi gerektirdiğini ve gerçek iş kuralları ile bağımlılıklara göre yeniden test edilmesi gerektiğini açıkça belirtmiştir.

OpenAI, MultiLangBench değerlendirme ortamını, test setini ve dil bazlı sonuçlarını GitHub'a yükledi; geliştiriciler test içeriğini inceleyebilir ve diğer modeller veya Agent çerçeveleriyle yeniden çalıştırabilir.

Bu, yalnızca bir puan tablosu göstermekten daha değerlidir: dışarıdaki kişiler, modelin hangi SQL işlevlerinde başarısız olduğunu gözlemleyebilir ve ipuçları, araç yetkileri, çıkarım bütçesi ve çalışma süresinin puanlara etki edip etkilemediğini karşılaştırabilir.

Ancak resmi makale, MultiLangBench'in açıklandığını duyurdu, ancak COBOL taşıma değerlendirmesi için tam program örneği ve gizli testlerin de açıklandığını belirtmedi. Sonrakinin %97,9 performansı, MultiLangBench gibi dışarıdan tam olarak denetlenemiyor ve tekrarlanamıyor.

İki değerlendirme de OpenAI tarafından tasarlanmıştır ve çoğunlukla OpenAI'nin kendi modellerini karşılaştırmak için kullanılmaktadır. Bu değerlendirmeler, büyük ölçekli gerçek şirket kod kütüphanelerini, uzun vadeli bakım maliyetlerini, güvenlik açıklarını, performans düşüklüğünü ve insan tarafından yapılan gözden geçirmenin ne kadar zaman aldığını henüz kapsamamaktadır. Bu nedenle sonuçlar, modelin kontrollü görevlerdeki ilerlemesini öncelikle kanıtlamaktadır, şirket yazılımını modernleştirmeye dair sorunun tamamen çözüldüğünü son doğrulama olarak değil.

Geçen iki yıl boyunca AI programlama ürünlerinin demoları çoğunlukla web siteleri, mobil uygulamalar ve Python araçları oluşturmaya odaklandı. Bu senaryolar sezgisel olsa da, büyük şirketlerin en maliyetli yazılım sorunları değildir.

Bankalar, sigorta şirketleri, hükümetler ve araştırma kurumlarının gerçekten zorlandığı, onlarca yıldır çalışmakta ve kimse tarafından kolayca değiştirilmeyen kodlardır. Bu kodlar yeni olmayabilir ancak hesap işleme, vergi hesaplama, tedarik zinciri ve altyapı işletimi için gerekli kuralları içerir.

MultiLangBench'in anlamı şudur: Model yetenekleri, en yaygın eğitim dillerinden bağımsız olarak, veri azlığı, araçların eski olması ve hata maliyetinin daha yüksek olduğu teknoloji yığınlarına yazılım mühendisliği yöntemlerini aktarabilir mi?

Bu yetenek devam ederse, AI'nın ilk getireceği değişim "tüm COBOL'ları tek tıkla silmek" değil, mühendislerin tanımadıkları kodları okumalarına, testleri tamamlamalarına, eksik belgeleri geri kazanmalarına, iş kurallarını belirlemelerine ve ardından doğrulanmış şekilde modül modül geçiş yapmalarına yardımcı olmaktır. İnsan uzmanları, hangi davranışların korunması gerektiğini ve eski sistemlerin ne zaman gerçekten değiştirilebileceğini karar vermektedir.