ওপেনএআই কম সম্পদযুক্ত ভাষায় এআই প্রোগ্রামিংয়ের জন্য নতুন বেঞ্চমার্ক চালু করেছে

OpenAI দুটি নতুন মূল্যায়ন প্রকাশ করেছে যা “কম সম্পদ বিশিষ্ট প্রোগ্রামিং ভাষা” এর জন্য ডিজাইন করা হয়েছে: MultiLangBench-এ মডেলকে ২০টি ভাষায় একটি SQLite-সঙ্গতিপূর্ণ ডাটাবেস ইঞ্জিন শূন্য থেকে বাস্তবায়ন করতে হবে; অন্য একটি মূল্যায়নে মডেলকে COBOL প্রোগ্রামকে C++, Java, Kotlin, Python বা Rust-এ স্থানান্তরিত করতে হবে, যাতে মূল আচরণটি অপরিবর্তিত থাকে। অফিসিয়াল ফলাফল অনুযায়ী, GPT‑6 Astra MultiLangBench-এ ৮৭.৪% গড় পাস রেট অর্জন করেছে, এবং GPT‑6.1 Sol উচ্চ-পরিমাপক যুক্তির ক্ষেত্রে COBOL-এর স্থানান্তরণে ৯৭.৯% সঠিকতা অর্জন করেছে। এটি নির্দেশ করে যে AI প্রোগ্রামিং দক্ষতা Python, JavaScript-এর মতো প্রধান ভাষা থেকে ব্যাংক, সরকার এবং গবেষণা প্রতিষ্ঠানগুলির এখনও ব্যবহৃত পুরনো টেকস্ট্যাকের দিকে বিস্তৃত হচ্ছে। তবে, এই ফলাফলগুলি OpenAI-এর নিজস্বভাবে ডিজাইন ও চালানো মূল্যায়নগুলির ফলাফল; ৮৭.৪% হলো টেস্টকেসগুলির পাসের অনুপাত, এটি মডেলটির একটি উৎপাদন-প্রস্তুত SQLite বাস্তবায়ন সম্পূর্ণভাবে তৈরি করেছে—এমনটি বোঝা যায়না, ৯৭.৯%—এটিও ব্যাংকগুলির জন্য “ম্যানুয়ালি-পরিক্ষিত”-হওয়ার পরিবর্তে, “সরাসরি”-করে core systems-এর migration-এরও অর্থপূর্ণভাবেই বোঝা যায়না।

লেখক, উৎস: OpenAI

এআই প্রোগ্রামিং ক্ষেত্রে, কম সংস্থান বিশিষ্ট ভাষা বলতে সেই ভাষাগুলিকে বোঝায় যেগুলির জন্য মডেলগুলির জন্য পাবলিক কোড, ডকুমেন্টেশন এবং প্রশ্ন-উত্তরের তথ্য তুলনামূলকভাবে কম।

পাইথন এবং জাভাস্ক্রিপ্টের বিশাল ওপেন-সোর্স ইকোসিস্টেম রয়েছে, যেখানে মডেলগুলি প্রশিক্ষণের সময় বহু কোড, ত্রুটি রিপোর্ট এবং সমাধানের রেকর্ড দেখতে পায়। অন্যদিকে, COBOL, Fortran, Visual Basic এবং OCaml-এর জন্য প্রকাশিত উপাদান অনেক কম, এবং এর অনেক কোড এখনও কর্পোরেট অভ্যন্তরীণ সিস্টেমে বন্ধ রাখা আছে।

এর সাথে সাথে, এই ভাষাগুলি এখনও গুরুত্বপূর্ণ কাজ পালন করছে। ওপেনএআই আইবিএমের ডেটা উদ্ধৃত করে বলেছে যে, COBOL অনলাইন ব্যাংকিং সিস্টেমের ৪০% এর বেশি, অফলাইন ক্রেডিট কার্ড লেনদেনের ৮০% এবং ATM লেনদেনের ৯৫% কে সমর্থন করে; Fortran এখনও আবহাওয়া পূর্বানুমান এবং পরমাণু রিয়্যাক্টর নিরাপত্তা বিশ্লেষণের জন্য ব্যবহৃত হচ্ছে।

এই সিস্টেমগুলি রক্ষণাবেক্ষণের কঠিনতা শুধু পুরানো ব্যাকরণ নয়। মূল ডেভেলপাররা সম্ভবত চলে গেছেন, ডকুমেন্টেশন অসম্পূর্ণ, এবং প্রকৃত ব্যবসায়িক নিয়মগুলি শুধুমাত্র কোডের মধ্যেই বিদ্যমান। একটি প্রোগ্রাম কেন দশমিক অংশ কাটছে, বা অস্তিত্বহীন অ্যাকাউন্টের রেকর্ডগুলি কীভাবে প্রক্রিয়া করছে, তার কোনও ব্যাখ্যা না থাকলেও এটি আর্থিক গণনার উপর সরাসরি প্রভাব ফেলতে পারে।

অতএব, AI-এর প্রকৃত প্রমাণের বিষয় হল যে কোবলকে আধুনিক পাইথনের মতো দেখানো যাচ্ছে কিনা, বরং মাইগ্রেশনের পরেও একই ব্যবসায়িক নিয়মগুলি সঠিকভাবে কার্যকর হচ্ছে কিনা।

OpenAI এই জন্য MultiLangBench প্রকাশ করেছে। এটি মডেলকে একটি দীর্ঘ প্রোগ্রামিং প্রক্রিয়ার মধ্যে একটি SQLite-সঙ্গতিপূর্ণ ডাটাবেস ইঞ্জিন তৈরি করতে নির্দিষ্ট ভাষা ব্যবহার করতে বাধ্য করে।

একটি প্রার্থী প্রোগ্রাম একটি প্রাথমিক ডাটাবেস ফাইল এবং একটি SQL কোয়েরি পায়, যা বাস্তবায়নের পরে পরিবর্তিত ডাটাবেস উৎপন্ন করে। মূল্যায়ন সিস্টেম পরবর্তীতে অফিসিয়াল SQLite বাস্তবায়ন কল করে ডাটাবেসের বিষয়বস্তু যাচাই করে যে এটি মানক ফলাফলের সাথে সঙ্গতিপূর্ণ কিনা। ডাটাবেস ফাইলের এই সাধারণ ইন্টারফেসের মাধ্যমে, একই সেটের ফাংশনগুলি ভাষা অনুযায়ী তুলনা করা যায়।

C, C++, COBOL, Fortran, Java, JavaScript, Lean, OCaml, Python, Rust, Visual Basic এবং Zig সহ 20টি ভাষার জন্য টেস্ট কভারেজ করা হয়েছে, যা মডেলের কোডবেস সংগঠিত করা, স্টেট ম্যানেজ করা, এরর হ্যান্ডল করা, নতুন ফিচার যোগ করা এবং পুরনো ফিচারগুলি ভাঙ্গা এড়ানোর ক্ষমতা পরীক্ষা করে। টেস্ট কেসগুলি SQLite-এর বিদ্যমান টেস্ট স্যুট থেকে অভিযোজিত।

সর্বোচ্চ যুক্তিগত শক্তির সাথে, GPT-6 Astra-এর গড় পরীক্ষা পাস হার 87.4%, যেখানে GPT-5.6 Sol এর হার 26.8%। OpenAI জানিয়েছে, Astra সমস্ত 20টি ভাষায় উন্নতি দেখিয়েছে:

COBOL 10.9% থেকে 72.1% এ বৃদ্ধি পেয়েছে, OCaml 25.6% থেকে 85.8% এ বৃদ্ধি পেয়েছে, Fortran 21.4% থেকে 83.5% এ বৃদ্ধি পেয়েছে, Visual Basic 27.5% থেকে 89.4% এ বৃদ্ধি পেয়েছে। 20টি ভাষার মধ্যে 19টি 83% এর বেশি, COBOL এখনও সবচেয়ে কঠিন।

(মূল পাঠে 20টি ভাষার জন্য ইন্টারেক্টিভ রেজাল্ট মডিউল রয়েছে, যেখানে প্রতিটি ভাষায় বিভিন্ন মডেলের পারফরম্যান্স এবং খরচ দেখা যায়।)

এই সংখ্যাগুলি সঠিকভাবে বুঝতে হবে। 87.4% হল মূল্যায়ন কেসের গড় পাস অনুপাত, যা মডেলটির 87.4% সম্ভাবনা রয়েছে বলে বোঝায় না যে এটি একটি সম্পূর্ণ, স্থিতিশীল এবং SQLite-এর সমস্ত নিয়মের সাথে সঙ্গতিপূর্ণ ডাটাবেস তৈরি করবে। প্রায় 12.6% টেস্ট ব্যর্থতা এখনও ট্রানজেকশন, ত্রুটি পরিচালনা বা ডাটা সামঞ্জস্যতা সহ উৎপাদন বাস্তবায়নকে বাধা দেওয়ার মতো সমস্যার সাথে মিলে যেতে পারে।

এটি প্রমাণ করে যে মডেলটি অপরিচিত ভাষায় জটিল সফটওয়্যার নিরন্তর তৈরি করতে পারে, যেমন SQLite এখনই AI দ্বারা একবারে পুনর্লিখিত হয়েছে।

OpenAI আরও কম খরচের GPT-6 Luna পরীক্ষা করেছে। এটি 20টি ভাষায় গড়ে 40.3% পাস রেট অর্জন করেছে, যা GPT-5.6 Sol-এর 26.8% এর চেয়ে বেশি।

লুনার গড় API খরচ প্রতি নমুনায় প্রায় 0.77 ডলার, যেখানে GPT‑5.6 Sol প্রায় 3.48 ডলার, যা প্রায় 78% হ্রাস। তবে এর ক্ষমতা বৃদ্ধি এখনও আস্ট্রার মাত্রায় পৌঁছায়নি: লুনা COBOL-এ 17.1%, Fortran-এ 31.4%, এবং Visual Basic-এ 41.6%।

এই ফলাফলগুলি দুটি ভিন্ন পথ উপস্থাপন করে: এস্ট্রা বেশি যুক্তিগত সম্পদ ব্যবহার করে জটিল কাজগুলির সম্পন্নতা সর্বোচ্চ করে; লুনা কম খরচে বেশি নমুনা প্রক্রিয়াকরণ করে, যা ব্যাচ পরীক্ষা, প্রাথমিক বিশ্লেষণ এবং কম ঝুঁকিপূর্ণ সহায়তামূলক কাজের জন্য উপযুক্ত।

যে খরচের কথা বলা হচ্ছে তা শুধুমাত্র মূল্যায়নের সময় অনুমান করা API খরচ, যা ইঞ্জিনিয়ারদের পরীক্ষা, টেস্টিং পরিবেশ, ব্যবসায়িক গ্রহণযোগ্যতা এবং ত্রুটি সংশোধনের জন্য প্রয়োজনীয় মানব সম্পদ অন্তর্ভুক্ত করে না। পুরানো সিস্টেমের ক্ষেত্রে, মডেল কল খরচ প্রায়শই মাইগ্রেশন প্রকল্পের সবচেয়ে বড় খরচ হয় না।

দ্বিতীয় মূল্যায়নের প্রয়োজনীয়তা হল মডেলটিকে COBOL প্রোগ্রামটিকে C++, Java, Kotlin, Python বা Rust-এ স্থানান্তর করতে হবে।

পরীক্ষার মূল লক্ষ্য হল অনুবাদিত কোডটি পরিষ্কার কিনা, বরং নতুন এবং পুরানো প্রোগ্রামের দৃশ্যমান আউটপুট কি বাইট দ্বারা বাইট একই কিনা। প্রতিটি মাইগ্রেশন ফলাফলকে সফল বলা হবে শুধুমাত্র যদি এটি সমস্ত লুকানো পরীক্ষা পাস করে।

OpenAI বিশেষভাবে ফিক্সড-পয়েন্ট ডেসিমেলের উদাহরণ উল্লেখ করেছে: COBOL ডিফল্টরূপে অতিরিক্ত দশমিক অংশ সরাসরি বাদ দিতে পারে, যদি প্রোগ্রামটি স্পষ্টভাবে রাউন্ডিংয়ের প্রয়োজনীয়তা না বলে। যদি মডেলটি আধুনিক প্রোগ্রামিং অভ্যাস অনুসারে স্বয়ংক্রিয়ভাবে রাউন্ডিংয়ে পরিবর্তন করে, তবে প্রোগ্রামটি সঠিকভাবে চলবে, কিন্তু আর্থিক ফলাফলগুলি পরিবর্তিত হয়ে যাবে।

কম ইনফারেন্স ইন্টেনসিটিতে, GPT-6.1 Sol-এর ট্রান্সফার অ্যাকুরেসি 86.6% এবং GPT-5.6 Sol-এর মাত্র 5.4%; প্রথমটির API খরচ কম 39%। ইনফারেন্স ইন্টেনসিটি বাড়ানোর পর, GPT-6.1 Sol 97.9% পৌঁছায়, যা এই মূল্যায়নকে প্রায় সম্পূর্ণ সম্পৃক্ত করে তোলে।

এখানে 97,9% হল "OpenAI-এর এই টেস্টে লুকানো কেসগুলি সম্পূর্ণরূপে পাস করা প্রোগ্রামের অনুপাত", যা "যেকোনো COBOL সিস্টেমের 97,9% কোড নিরাপদে স্বয়ংক্রিয়ভাবে মাইগ্রেট করা যায়" এর অর্থ নয়।

বাস্তব ব্যাংকিং সিস্টেমগুলি মেইনফ্রেম, প্রপ্রাইটারি ডাটাবেস, ব্যাচ স্কেডিউলার এবং অভ্যন্তরীণ কমিউনিকেশন প্রোটোকলের সাথে সংযুক্ত হতে পারে, এবং এগুলিতে টেস্ট কেসগুলি কভার করা অ্যানোমালি প্রক্রিয়াও রয়েছে। OpenAI পরিষ্কারভাবে ঘোষণা করেছে যে উৎপাদন স্থানান্তরের জন্য বিশেষজ্ঞদের পর্যালোচনা এবং বাস্তব ব্যবসায়িক নিয়ম এবং নির্ভরশীলতার উপর ভিত্তি করে পুনরায় পরীক্ষা প্রয়োজন।

OpenAI এখন MultiLangBench-এর মূল্যায়ন পরিবেশ, টেস্ট স্যুট এবং ভাষা-ভিত্তিক ফলাফল GitHub-এ আপলোড করেছে, যাতে ডেভেলপাররা টেস্ট কনটেন্ট চেক করতে পারেন এবং অন্যান্য মডেল বা Agent ফ্রেমওয়ার্ক ব্যবহার করে পুনরায় চালাতে পারেন।

এটি শুধু একটি স্কোর টেবিল প্রদর্শন করার চেয়ে বেশি মূল্যবান: বাহ্যিক পক্ষগুলি দেখতে পাবে যে মডেলটি কোন কোন SQL ফাংশনে ব্যর্থ হয়েছে, এবং প্রম্পট, টুল অ্যাক্সেস, রিজনিং বাজেট এবং রানটাইমের দ্বারা স্কোরগুলির প্রভাব তুলনা করতে পারবে।

তবে, অফিসিয়াল নিবন্ধটি শুধুমাত্র MultiLangBench প্রকাশের ঘোষণা করেছে, কোবল মাইগ্রেশন মূল্যায়নের পূর্ণাঙ্গ প্রোগ্রাম নমুনা এবং গোপন পরীক্ষা প্রকাশিত হয়েছে তা উল্লেখ করেনি। পরবর্তীটির 97.9% স্কোর এখনও MultiLangBench-এর মতো বাইরের পক্ষে পূর্ণাঙ্গভাবে পরীক্ষা এবং পুনরাবৃত্তি করা যায় না।

উভয় মূল্যায়নই OpenAI দ্বারা ডিজাইন করা হয়েছে এবং মূলত OpenAI-এর নিজস্ব মডেলগুলির তুলনা করার জন্য ব্যবহার করা হয়। এগুলি এখনও বড় পরিমাণে বাস্তব ব্যবসায়িক কোডবেস, দীর্ঘমেয়াদী রক্ষণাবেক্ষণ খরচ, নিরাপত্তা ভাঙ্গন, পারফরম্যান্স হ্রাস এবং মানুষের পুনরায় পরীক্ষার জন্য কতক্ষণ সময় লাগবে তা কভার করেনি। তাই, ফলাফলগুলি প্রথমতঃ নিয়ন্ত্রিত কাজগুলিতে মডেলের উন্নতির প্রমাণ দেয়, যা ব্যবসায়িক সফটওয়্যার আধুনিকীকরণের সমস্যা এখনও সম্পূর্ণরূপে সমাধান হয়েছে তা চূড়ান্তভাবে প্রমাণিত করেনি।

গত দুই বছরে, এআই প্রোগ্রামিং পণ্যের ডেমোগুলি প্রধানত ওয়েবসাইট, মোবাইল অ্যাপ এবং পাইথন টুল তৈরির উপর কেন্দ্রীভূত হয়েছিল। এই সিনেরিওগুলি সহজবোধ্য, কিন্তু বড় কোম্পানিগুলির সবচেয়ে ব্যয়বহুল সফটওয়্যার সমস্যা নয়।

ব্যাংক, বীমা, সরকার এবং গবেষণা প্রতিষ্ঠানগুলির প্রকৃতপক্ষে যা প্রক্রিয়াকরণ করা কঠিন, তা হল দশকের পর দশক ধরে চলে আসা এবং কেউই সহজে পরিবর্তন করতে সাহস করে না এমন কোড। এগুলি হয়তো নতুন মডেলের নয়, কিন্তু এগুলি অ্যাকাউন্ট প্রক্রিয়াকরণ, কর গণনা, সরবরাহ শৃঙ্খল এবং অবকাঠামোর চালনার জন্য প্রয়োজনীয় নিয়মগুলি ধারণ করে।

MultiLangBench-এর অর্থ হলো: মডেলের ক্ষমতা কি সবচেয়ে বেশি ব্যবহৃত প্রশিক্ষণ ভাষা থেকে বিচ্ছিন্ন হয়ে সফটওয়্যার ইঞ্জিনিয়ারিং পদ্ধতিগুলিকে ডেটা স্বল্প, টুলস পুরানো এবং ভুলের খরচ বেশি প্রযুক্তি স্ট্যাকে স্থানান্তরিত করতে পারে?

যদি এই ক্ষমতা আরও উন্নত হয়, তবে AI-এর প্রথম প্রভাব হতে পারে “একক্লিকে সমস্ত COBOL মুছে ফেলা” নয়, বরং ইঞ্জিনিয়ারদের অপরিচিত কোড পড়তে, টেস্ট পূরণ করতে, অনুপস্থিত ডকুমেন্টেশন পুনরুদ্ধার করতে, ব্যবসায়িক নিয়মগুলি খুঁজে বার করতে এবং পরীক্ষিতভাবে ধাপে ধাপে মডিউলগুলি স্থানান্তর করতে সহায়তা করা। মানুষের বিশেষজ্ঞরা এখনও কোন আচরণগুলি বজায় রাখা উচিত এবং পুরনো সিস্টেমগুলি কখন প্রকৃতপক্ষে প্রতিস্থাপন করা যাবে, তা নির্ধারণ করবেন।