OpenAI ने कम संसाधन वाली भाषाओं में AI प्रोग्रामिंग के लिए नए बेंचमार्क लॉन्च किए हैं

OpenAI ने "निम्न संसाधन वाली प्रोग्रामिंग भाषाओं" के लिए दो नए मूल्यांकन जारी किए हैं: MultiLangBench में मॉडल को 20 भाषाओं में से प्रत्येक में SQLite के साथ संगत डेटाबेस इंजन को शून्य से लागू करने की आवश्यकता होती है; दूसरा मूल्यांकन मॉडल से COBOL प्रोग्राम को C++, Java, Kotlin, Python या Rust में स्थानांतरित करने की मांग करता है, जबकि मूल व्यवहार को बनाए रखता है। आधिकारिक परिणामों के अनुसार, GPT‑6 Astra ने MultiLangBench पर 87.4% की औसत परीक्षण सफलता दर हासिल की, जबकि GPT‑6.1 Sol ने उच्च निष्कर्षण शक्ति के साथ COBOL स्थानांतरण की 97.9% सटीकता प्राप्त की। इससे पता चलता है कि AI प्रोग्रामिंग क्षमता Python, JavaScript जैसी प्रमुख भाषाओं से बैंकिंग, सरकार और अनुसंधान संस्थानों द्वारा अभी भी उपयोग की जा रही पुरानी तकनीकी स्टैक तक विस्तारित हो रही है। हालाँकि, ये परिणाम OpenAI द्वारा स्वयं डिज़ाइन किए गए और संचालित मूल्यांकनों से प्राप्त हुए हैं; 87.4% का मतलब परीक्षण मामलों के पास होने का प्रतिशत है, यह इस बात का संकेत नहीं है कि मॉडल ने एक उत्पादन-तैयार SQLite कार्यान्वयन पूरा कर लिया है, और 97.9% को इस प्रकार नहीं समझा जा सकता कि बैंक बिना मानवीय समीक्षा के अपने मुख्य प्रणालियों को स्थानांतरित कर सकते हैं।

लेखक, स्रोत: OpenAI

AI प्रोग्रामिंग क्षेत्र में, कम संसाधन भाषाएँ ऐसी भाषाएँ हैं जिनके लिए मॉडल के लिए सीखने के लिए उपलब्ध खुला कोड, दस्तावेज़ और प्रश्न-उत्तर सामग्री सीमित होती है, लेकिन इसका अर्थ यह नहीं है कि इन भाषाओं का वास्तविक मूल्य कम है।

पायथन और जावास्क्रिप्ट के पास विशाल ओपन सोर्स इकोसिस्टम है, जिसमें मॉडल ट्रेनिंग के दौरान बड़ी मात्रा में कोड, एरर रिपोर्ट और फिक्स रिकॉर्ड देख सकता है। COBOL, Fortran, Visual Basic और OCaml के लिए सार्वजनिक सामग्री काफी कम है, और इनमें से कई कोड उद्योग के आंतरिक प्रणालियों में बंद हैं।

इसी बीच, ये भाषाएँ अभी भी महत्वपूर्ण कार्यों को निभा रही हैं। OpenAI ने IBM के डेटा का हवाला देते हुए कहा कि COBOL, 40% से अधिक ऑनलाइन बैंकिंग प्रणालियों, 80% ऑफलाइन क्रेडिट कार्ड लेनदेन और 95% ATM लेनदेन को संचालित करता है; Fortran अभी भी मौसम पूर्वानुमान और परमाणु रिएक्टर सुरक्षा विश्लेषण के लिए उपयोग किया जाता है।

इन प्रणालियों को बनाए रखने की कठिनाई केवल प्राचीन व्याकरण तक सीमित नहीं है। मूल विकासक संभवतः पहले ही चले गए हैं, दस्तावेज़ पूर्ण नहीं हैं, और वास्तविक व्यावसायिक नियम केवल कोड में ही मौजूद हैं। एक प्रोग्राम क्यों दशमलव को काटता है या अनुपलब्ध खाते के रिकॉर्ड को कैसे संभालता है, इसका कोई विवरण नहीं हो सकता, लेकिन यह वित्तीय गणनाओं पर सीधा प्रभाव डालता है।

इसलिए, AI को यह साबित करने की आवश्यकता है कि स्थानांतरण के बाद क्या मूल व्यावसायिक नियमों को ठीक से निष्पादित किया जाता है, न कि यह कि COBOL को अधिक आधुनिक Python में बदला जा सकता है।

OpenAI ने MultiLangBench जारी किया है। इसमें मॉडल को एक लंबे प्रोग्रामिंग प्रक्रिया के दौरान एक SQLite-संगत डेटाबेस इंजन बनाने के लिए निर्दिष्ट भाषा का उपयोग करना होता है।

एक प्रारंभिक डेटाबेस फ़ाइल और एक SQL क्वेरी प्राप्त करने के बाद, उम्मीदवार प्रोग्राम एक संशोधित डेटाबेस उत्पन्न करता है। मूल्यांकन प्रणाली फिर आधिकारिक SQLite कार्यान्वयन को कॉल करती है और डेटाबेस की सामग्री की जांच करती है कि यह मानक परिणाम के साथ संगत है या नहीं। डेटाबेस फ़ाइल के माध्यम से एक सामान्य इंटरफ़ेस का उपयोग करके, एक ही सेट के कार्यों की भाषाओं के बीच तुलना की जा सकती है।

20 भाषाओं, जिनमें C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic और Zig शामिल हैं, को कवर करने वाले परीक्षण, मॉडल की कोडबेस को संगठित करने, स्थिति का प्रबंधन करने, त्रुटियों को संभालने, नए फीचर्स जोड़ने और पुराने फीचर्स को बिगाड़े बिना रखने की क्षमता का मूल्यांकन करते हैं। परीक्षण मामले SQLite के मौजूदा परीक्षण सूट से अनुकूलित किए गए हैं।

उच्चतम निष्कर्षण तीव्रता पर, GPT-6 Astra की औसत परीक्षण उत्तीर्ण दर 87.4% है, जबकि GPT-5.6 Sol की 26.8% है। OpenAI का कहना है कि Astra सभी 20 भाषाओं में सुधार दर्ज करता है:

COBOL 10.9% से बढ़कर 72.1% हो गया, OCaml 25.6% से बढ़कर 85.8% हो गया, Fortran 21.4% से बढ़कर 83.5% हो गया, Visual Basic 27.5% से बढ़कर 89.4% हो गया। 20 भाषाओं में से 19 भाषाएँ 83% से अधिक हैं, और COBOL अभी भी सबसे कठिन है।

(यहाँ मूल पाठ में 20 भाषाओं के लिए स्विच करने योग्य इंटरैक्टिव परिणाम मॉड्यूल है, जिससे आप प्रत्येक भाषा पर मॉडल के प्रदर्शन और लागत की जांच कर सकते हैं।)

इन आंकड़ों को सही ढंग से समझना आवश्यक है। 87.4% आकलन उदाहरणों का औसत पास अनुपात है, लेकिन इसका अर्थ यह नहीं है कि मॉडल के पास 87.4% की संभावना है कि वह SQLite के सभी मानकों के अनुसार एक पूर्ण, स्थिर और सही डेटाबेस उत्पन्न करेगा। शेष लगभग 12.6% परीक्षण विफलताएँ अभी भी ट्रांजैक्शन, त्रुटि संसाधन या डेटा सुसंगठन जैसी समस्याओं के संगत हो सकती हैं, जो उत्पादन तक पहुँचने को रोक सकती हैं।

यह साबित करता है कि मॉडल अपरिचित भाषाओं में अधिक जटिल सॉफ्टवेयर का निर्माण कर सकता है, न कि यह कि SQLite को AI द्वारा एक बार में पुनः लिखा जा सकता है।

OpenAI ने GPT-6 Luna का भी कम लागत वाला परीक्षण किया। इसकी 20 भाषाओं में औसत पास दर 40.3% है, जो GPT-5.6 Sol की 26.8% से अधिक है।

Luna की औसत API लागत लगभग 0.77 डॉलर प्रति नमूना है, जबकि GPT‑5.6 Sol की लगभग 3.48 डॉलर है, जिसमें लगभग 78% की कमी है। हालाँकि, इसकी क्षमता में Astra के स्तर तक की वृद्धि नहीं हुई है: Luna में COBOL पर 17.1%, Fortran पर 31.4%, और Visual Basic पर 41.6% है।

यह परिणाम दो अलग-अलग रास्तों को दर्शाता है: एस्ट्रा अधिक निष्कर्ष निकालने के संसाधनों का उपयोग करती है ताकि जटिल कार्यों को अधिक से अधिक पूरा किया जा सके; लूना कम लागत पर अधिक नमूनों को संभालती है, जो बैच प्रयासों, प्रारंभिक विश्लेषण और कम जोखिम वाले सहायक कार्यों के लिए उपयुक्त है।

लागत केवल मूल्यांकन में अनुमानित API शुल्क है, जिसमें इंजीनियर अनुमोदन, परीक्षण वातावरण, व्यावसायिक स्वीकृति और त्रुटि निवारण के लिए आवश्यक मानव संसाधन शामिल नहीं हैं। पुराने प्रणालियों के लिए, मॉडल कॉल शुल्क अक्सर स्थानांतरण परियोजना की सबसे बड़ी लागत नहीं होती है।

दूसरा मूल्यांकन आवश्यकता मॉडल को COBOL प्रोग्राम को C++, Java, Kotlin, Python या Rust में स्थानांतरित करने की आवश्यकता है।

परीक्षण का मुख्य बिंदु अनुवादित कोड की स्वच्छता नहीं है, बल्कि पुराने और नए प्रोग्राम के दृश्यमान आउटपुट का बाइट-बाइट समानता है। प्रत्येक स्थानांतरण परिणाम को सफल माना जाएगा, केवल तभी जब यह सभी छिपे हुए परीक्षणों को पास कर ले।

OpenAI ने फिक्स्ड-पॉइंट डेसिमल का उदाहरण दिया: COBOL डिफ़ॉल्ट रूप से अतिरिक्त दशमलव अंकों को त्याग सकता है, जब तक कि प्रोग्राम स्पष्ट रूप से राउंडिंग की मांग न करे। यदि मॉडल आधुनिक प्रोग्रामिंग परंपराओं के अनुसार स्वयं राउंडिंग में बदल देता है, तो प्रोग्राम सामान्य रूप से चलता है, लेकिन वित्तीय परिणाम पहले से बदल चुके होते हैं।

कम निष्कर्षण तीव्रता पर, GPT-6.1 Sol की स्थानांतरण सटीकता 86.6% है, जबकि GPT-5.6 Sol की केवल 5.4% है; पहले की API लागत 39% कम अनुमानित है। निष्कर्षण तीव्रता बढ़ाने पर, GPT-6.1 Sol 97.9% तक पहुँचता है, जिससे यह मूल्यांकन संतृप्ति के करीब पहुँच जाता है।

यहाँ 97.9% का अर्थ है "OpenAI के इस परीक्षण में छिपे हुए केस को पूरी तरह से पार करने वाले प्रोग्राम का अनुपात", न कि "कोई भी COBOL सिस्टम जिसका 97.9% कोड सुरक्षित रूप से स्वचालित रूप से स्थानांतरित किया जा सकता है".

वास्तविक बैंकिंग प्रणाली में मेनफ्रेम, निजी डेटाबेस, बैच स्केड्यूलर और आंतरिक संचार प्रोटोकॉल जुड़े हो सकते हैं, और कुछ अपवाद प्रक्रियाएँ टेस्ट केस द्वारा कवर नहीं की गई हैं। OpenAI ने स्पष्ट रूप से कहा है कि उत्पादन में स्थानांतरण के लिए विशेषज्ञ समीक्षा की आवश्यकता होती है और वास्तविक व्यावसायिक नियमों और निर्भरताओं के अनुसार पुनः परीक्षण किया जाना चाहिए।

OpenAI ने MultiLangBench के एवलूएशन एनवायरनमेंट, टेस्ट सूट और भाषा-विशिष्ट परिणाम GitHub पर अपलोड कर दिए हैं, जिससे डेवलपर्स परीक्षण सामग्री की जांच कर सकते हैं और अन्य मॉडल या एजेंट फ्रेमवर्क का उपयोग करके पुनः चला सकते हैं।

यह केवल एक अंक सारणी प्रदर्शित करने की तुलना में अधिक मूल्यवान है: बाहरी पक्ष मॉडल के उन SQL कार्यों को देख सकते हैं जिन पर यह विफल रहा, और यह भी तुलना कर सकते हैं कि प्रॉम्प्ट, उपकरण अधिकार, निष्कर्ष बजट और चलने का समय अंकों को कैसे प्रभावित करते हैं।

हालाँकि, आधिकारिक लेख केवल MultiLangBench की घोषणा करता है, लेकिन COBOL माइग्रेशन आकलन के पूर्ण प्रोग्राम नमूने और छिपे हुए परीक्षण भी खुल गए हैं, इसका उल्लेख नहीं करता। बाद का 97.9% स्कोर अभी MultiLangBench की तरह बाहरी दुनिया द्वारा पूरी तरह से जाँच और पुनर्निर्माण के लिए उपलब्ध नहीं है।

दोनों मूल्यांकन OpenAI द्वारा डिज़ाइन किए गए हैं और मुख्य रूप से OpenAI के अपने मॉडल की तुलना करने के लिए उपयोग किए जाते हैं। इनमें अभी तक वास्तविक उद्योग कोडबेस, दीर्घकालिक रखरखाव लागत, सुरक्षा दुर्बलताएँ, प्रदर्शन में गिरावट, और मानव समीक्षा के लिए कितना समय लगता है, इन सभी को शामिल नहीं किया गया है। इसलिए, परिणाम पहले और मुख्य रूप से नियंत्रित कार्यों पर मॉडल की प्रगति को साबित करते हैं, न कि उद्योग सॉफ़्टवेयर आधुनिकीकरण समस्या के समाधान की अंतिम पुष्टि।

पिछले दो वर्षों में, एआई प्रोग्रामिंग उत्पादों के प्रदर्शन अधिकांशतः वेबसाइटों, मोबाइल ऐप्स और पायथन टूल्स बनाने पर केंद्रित रहे हैं। ये परिदृश्य अधिक स्पष्ट हैं, लेकिन बड़े उद्यमों के सबसे महंगे सॉफ्टवेयर समस्याओं नहीं हैं।

बैंक, बीमा, सरकार और अनुसंधान संस्थानों के लिए वास्तविक चुनौती दशकों से चल रहे, जिन पर कोई भी आसानी से बदलाव नहीं करना चाहता, कोड है। ये कोड शायद नवीन न हों, लेकिन खातों के प्रबंधन, कर की गणना, आपूर्ति श्रृंखला और बुनियादी ढांचे के संचालन के लिए आवश्यक नियमों को समेटे हुए हैं।

MultiLangBench का अर्थ यही है: मॉडल क्षमता सबसे आम ट्रेनिंग भाषा से अलग हो सकती है और सॉफ्टवेयर इंजीनियरिंग विधियों को कम संसाधन वाले, पुराने उपकरणों और अधिक महंगी त्रुटि लागत वाले तकनीकी स्टैक पर स्थानांतरित कर सकती है।

यदि यह क्षमता आगे बढ़ती रही, तो AI द्वारा सबसे पहले लाया गया परिवर्तन "एक क्लिक में सभी COBOL हटाएं" नहीं, बल्कि इंजीनियरों को अपरिचित कोड पढ़ने, परीक्षण भरने, गुम हुए दस्तावेज़ वापस लाने, व्यापार नियमों को स्थानांतरित करने और फिर प्रमाणित स्थानांतरण के लिए एक-एक करके मॉड्यूल पूरा करने में मदद करना होगा। मानव विशेषज्ञ अभी भी यह निर्णय लेते हैं कि कौन से व्यवहार बनाए रखे जाने चाहिए और कब वास्तव में पुराने सिस्टम को प्रतिस्थापित किया जा सकता है।