اوپن اے آئی نے کم وسائل والی زبانوں میں AI پروگرامنگ کے لیے نئے بینچ مارکس شروع کیے ہیں

اوپن اے آئی نے "کم وسائل والی پروگرامنگ زبانوں" کے لیے دو نئے جائزے جاری کیے ہیں: MultiLangBench میں ماڈل سے 20 زبانوں میں سے ہر ایک میں SQLite کے مطابق ایک ڈیٹا بیس انجن کو صفر سے تعمیر کرنے کا مطالبہ کیا جاتا ہے؛ دوسرا جائزہ ماڈل سے COBOL پروگرام کو C++، Java، Kotlin، Python یا Rust میں منتقل کرنے کا مطالبہ کرتا ہے، جبکہ اصل رویہ برقرار رکھا جائے۔ افسرانی نتائج کے مطابق، GPT‑6 Astra نے MultiLangBench پر اوسط 87.4% ٹیسٹ پاس ریٹ حاصل کیا، جبکہ GPT‑6.1 Sol نے اعلیٰ استدلال شدت کے تحت COBOL منتقلی کی درستگی 97.9% تک حاصل کی۔ یہ ظاہر کرتا ہے کہ AI پروگرامنگ کی صلاحیتیں اب Python، JavaScript جیسی مقبول زبانوں سے بینکنگ، حکومت اور تحقیقی اداروں کے ذریعہ اب بھی استعمال ہونے والی پرانی ٹیکنالوجی سٹیک تک پھیل رہی ہیں۔ تاہم، یہ کامیابیاں اوپن اے آئی نے خود ڈیزائن اور چلائی گئی جائزہ سے حاصل کی گئی ہیں؛ 87.4% کا مطلب ہے کہ ٹیسٹ کیسز کا اس تناسب سے پاس ہوا، لیکن اس کا مطلب یہ نہیں کہ ماڈل نے ایک تجارتی طور پر استعمال کے قابل SQLite انجن تعمیر کر لیا ہے، اور 97.9% کو اس طرح نہ سمجھا جائے کہ بینکس اپنے مرکزی نظاموں کو بغیر انسانی جانچ کے منتقل کر سکتے ہیں۔

مضمون کے مصنف، ذریعہ: OpenAI

AI پروگرامنگ کے شعبے میں، کم وسائل والی زبانیں وہ زبانیں ہیں جن کے لیے ماڈلز کے سیکھنے کے لیے عوامی کوڈ، دستاویزات اور سوال و جواب کے مواد کم دستیاب ہوتے ہیں، جس کا مطلب یہ نہیں کہ ان زبانوں کا عملی طور پر کوئی قیمت نہیں۔

پائیتھن اور جاوااسکرپٹ کے پاس وسیع آوٹ سورس ایکوسسٹم ہے، جس کی وجہ سے ماڈلز تربیت کے دوران بہت سارے کوڈ، ایرر رپورٹس اور فکس ریکارڈز دیکھ سکتے ہیں۔ کوبل، فورٹران، ویژوال بیسک اور اوکیمل کے لیے عوامی مواد کم ہے، اور ان میں سے بہت سارے کوڈ کاروباری اندر کے سسٹمز میں بند ہیں۔

اسی دوران، یہ زبانیں اب بھی اہم کام سرانجام دے رہی ہیں۔ OpenAI نے IBM کے ڈیٹا کا حوالہ دیتے ہوئے کہا کہ COBOL، آن لائن بینکنگ سسٹمز کے 40% سے زائد، آف لائن کریڈٹ کارڈ لین دین کے 80% اور ATM لین دین کے 95% کو چلاتا ہے؛ جبکہ Fortran موسم کی پیشن گوئی اور نیوکلیئر ری ایکٹر سیفٹی اینالسز کے لیے اب بھی استعمال ہوتی ہے۔

ان نظاموں کو برقرار رکھنا صرف قدیمی گرامر کی وجہ سے مشکل نہیں ہے۔ اصل ڈویلپرز شاید نکل چکے ہوں، دستاویزات مکمل نہیں ہیں، اور اصل کاروباری قواعد صرف کوڈ میں موجود ہیں۔ ایک پروگرام کیوں اعشاریہ کاٹتا ہے، یا غیر موجود اکاؤنٹ ریکارڈس کو کیسے سنبھالتا ہے، شاید کوئی وضاحت نہیں ہو، لیکن یہ مالی حسابات پر براہ راست اثر ڈالتا ہے۔

اس لیے، AI کو ثابت کرنا ہوگا کہ مہارت کے بعد بھی وہی بزنس قواعد عمل میں آتے ہیں، نہ کہ صرف COBOL کو مزید جدید Python میں تبدیل کرنا۔

OpenAI نے MultiLangBench جاری کیا ہے۔ اس میں ماڈل سے مخصوص زبان کا استعمال کرتے ہوئے، ایک طویل پروگرامنگ عمل کے دوران SQLite کے ساتھ مطابقت رکھنے والا ڈیٹا بیس انجن تعمیر کرنے کا مطالبہ کیا جاتا ہے۔

اہلیت کے امیدوار کو ایک ابتدائی ڈیٹا بیس فائل اور ایک SQL کوئری دی جائے گی، جس کے نتیجے میں ترمیم شدہ ڈیٹا بیس تیار ہوگا۔ ایوان جائزہ کے بعد، افسرانہ SQLite کا استعمال کرتے ہوئے ڈیٹا بیس کا مواد معیاری نتائج کے ساتھ مطابقت رکھتا ہے۔ ڈیٹا بیس فائل کے مشترکہ انٹرفیس کے ذریعے، ایک ہی مجموعہ فنکشنز کو مختلف زبانوں میں موازنہ کیا جا سکتا ہے۔

C، C++، COBOL، Fortran، Java، JavaScript، Lean، OCaml، Python، Rust، Visual Basic اور Zig سمیت 20 زبانوں کی ٹیسٹ کوریج کی جاتی ہے، جس میں ماڈل کی کوڈ بیس کو منظم کرنے، اسٹیٹس کو مینج کرنے، ایررز کو ہینڈل کرنے، نئے فیچرز شامل کرنے اور پرانے فیچرز کو بریک نہ کرنے کی صلاحیت کا جائزہ لیا جاتا ہے۔ ٹیسٹ کیسز SQLite کے موجودہ ٹیسٹ سوٹ سے ماخوذ ہیں۔

اُچھی ترین استدلال شدت پر، GPT‑6 Astra کی اوسط ٹیسٹ پاس ریٹ 87.4% ہے، جبکہ GPT‑5.6 Sol کی 26.8% ہے۔ OpenAI کا کہنا ہے کہ Astra تمام 20 زبانوں میں بہتری لائی ہے:

COBOL 10.9% سے بڑھ کر 72.1% ہو گیا، OCaml 25.6% سے بڑھ کر 85.8% ہو گیا، Fortran 21.4% سے بڑھ کر 83.5% ہو گیا، اور Visual Basic 27.5% سے بڑھ کر 89.4% ہو گیا۔ 20 زبانوں میں سے 19 زبانوں کا تناسب 83% سے زیادہ ہے، اور COBOL اب بھی سب سے مشکل زبان ہے۔

(یہاں اصل متن میں 20 زبانوں کے لیے تبدیل ہونے والا انٹریکٹو ماڈیول ہے، جہاں آپ ہر زبان پر مختلف ماڈلز کے اسکور اور لاگت دیکھ سکتے ہیں۔)

ان اعداد کو صحیح طریقے سے سمجھنا ضروری ہے۔ 87.4% کا مطلب یہ نہیں کہ ماڈل کے پاس 87.4% احتمال ہے کہ وہ ایک مکمل، مستحکم اور SQLite کے تمام معیارات کے مطابق ڈیٹا بیس تیار کرے۔ تقریباً 12.6% ٹیسٹ ناکامیاں اب بھی ٹرانزیکشنز، خطا کے معالجہ یا ڈیٹا کی سازگاری جیسے مسائل کے ساتھ متعلق ہو سکتی ہیں جو پیداواری ڈپلومنٹ کو روک سکتی ہیں۔

یہ ثابت کرتا ہے کہ ماڈل غیر مألوف زبانوں میں مزید پیچیدہ سافٹ ویئر بنانے میں کامیاب ہو سکتا ہے، نہ کہ SQLite کو AI ایک بار میں دوبارہ لکھنا پہلے ہی ممکن ہے۔

اوپن اے آئی نے کم لاگت والے GPT‑6 Luna کا بھی ٹیسٹ کیا۔ اس کی 20 زبانوں میں اوسط پاس ریٹ 40.3% ہے، جو GPT‑5.6 Sol کی 26.8% سے زیادہ ہے۔

لُنا کی اوسط API لاگت تقریباً 0.77 ڈالر فی نمونہ ہے، جبکہ GPT‑5.6 Sol کی لاگت تقریباً 3.48 ڈالر ہے، جس میں تقریباً 78% کی کمی آئی ہے۔ لیکن اس کی صلاحیتوں میں اضافہ اسٹرا کے سطح تک نہیں پہنچا: لُنا کو COBOL پر صرف 17.1%، فورٹران پر 31.4%، اور ویژوال بیسک پر 41.6% حاصل ہوا۔

یہ نتائج دو مختلف راستوں کو ظاہر کرتے ہیں: اسٹرا زیادہ استدلالی وسائل استعمال کرتی ہے تاکہ پیچیدہ کاموں کو زیادہ سے زیادہ مکمل کیا جا سکے؛ جبکہ لونا کم اخراجات پر زیادہ نمونوں کو معالجہ کرتی ہے، جو بڑے پیمانے پر آزمائش، ابتدائی تجزیہ اور کم خطرے والے مددگار کاموں کے لیے مناسب ہے۔

لاگت صرف جائزے میں تخمینہ لگائی گئی API فیس ہے، جس میں انجینئرز کی جانچ، ٹیسٹنگ ماحول، کاروباری قبولیت اور خطا درست کرنے کے لیے درکار انسانی وسائل شامل نہیں ہیں۔ قدیمی سسٹمز کے لیے، ماڈل کال فیس عام طور پر منتقلی منصوبے کی سب سے بڑی لاگت نہیں ہوتی۔

دوسرا جائزہ مدل کو COBOL پروگرام کو C++، Java، Kotlin، Python یا Rust میں منتقل کرنے کی درخواست کرتا ہے۔

ٹیسٹ کا مرکزی نقطہ یہ نہیں کہ ترجمہ کا کوڈ صاف ہے، بلکہ یہ ہے کہ نئے اور پرانے پروگرام کے قابل مشاہدہ آؤٹ پٹ میں کیا بائٹ بائٹ مطابقت ہے۔ ہر میگریشن کا نتیجہ کامیاب قرار دیا جائے گا، صرف اسی صورت میں جب وہ تمام پوشیدہ ٹیسٹس سے گزر جائے۔

اوپن اے آئی نے فکسڈ پوائنٹ دہری کے مثال کو خاص طور پر بیان کیا: COBOL ڈیفالٹ طور پر اضافی دہری اعداد کو ختم کر سکتا ہے، جب تک کہ پروگرام واضح طور پر گول کرنے کا مطالبہ نہ کرے۔ اگر ماڈل جدید پروگرامنگ رویوں کے مطابق خودبخود گول کرنے میں تبدیل ہو جائے، تو پروگرام کام کرتا رہے گا لیکن فنانشل نتائج بدل چکے ہوں گے۔

کم انفرنس انٹنسٹی پر، GPT‑6.1 Sol کی منتقلی درستگی 86.6% ہے، جبکہ GPT‑5.6 Sol صرف 5.4% ہے؛ پہلے کی API لاگت 39% کم ہے۔ انفرنس انٹنسٹی بڑھانے کے بعد، GPT‑6.1 Sol 97.9% تک پہنچ جاتا ہے، جس سے یہ جائزہ تقریباً سیر ہو جاتا ہے۔

یہاں 97.9% کا مطلب ہے "OpenAI کے اس ٹیسٹ میں پوشیدہ کیسز کو مکمل طور پر پاس کرنے والے پروگرامز کا تناسب"، نہ کہ "کوئی بھی COBOL سسٹم جس کا 97.9% کوڈ محفوظ طور پر خودکار طور پر منتقل کیا جا سکتا ہے".

حقیقی بینکنگ سسٹم ممکنہ طور پر مین فریم، مخصوص ڈیٹا بیس، بیچ پروسیسنگ شیڈولر اور اندر کے کمیونیکیشن پروٹوکولز سے جڑا ہوا ہوتا ہے، اور اس میں ٹیسٹ کیسز کے دائرہ کار سے باہر کے ایکسپشن پروسیسز بھی شامل ہوتے ہیں۔ OpenAI نے واضح طور پر کہا ہے کہ پروڈکشن مائیگریشن کے لیے ماہرین کی جانچ ضروری ہے اور اصل کاروباری قواعد اور انحصاروں کے لحاظ سے دوبارہ ٹیسٹنگ کی ضرورت ہوتی ہے۔

اوپن اے آئی نے MultiLangBench کا ایوان جائزہ، ٹیسٹ سوٹ اور زبان کے لحاظ سے نتائج GitHub پر اپ لوڈ کر دیے ہیں، جس سے ڈیولپرز ٹیسٹ مواد کا جائزہ لے سکتے ہیں اور دوسرے ماڈلز یا ایجنٹ فریم ورکس کے ساتھ دوبارہ چلا سکتے ہیں۔

یہ صرف ایک اسکور شیٹ دکھانے کے مقابلے میں زیادہ قیمتی ہے: باہر کے لوگ دیکھ سکتے ہیں کہ ماڈل SQL فنکشنز کے کن کن پر ناکام ہوتا ہے، اور یہ بھی ت пор کر سکتے ہیں کہ کیا اسکورز پر پرومپٹس، ٹول پرمیشنز، استدلال بجٹ اور رن ٹائم کا اثر پڑتا ہے۔

تاہم، آفیشل آرٹیکل نے صرف MultiLangBench کا اعلان کیا ہے، COBOL میگریشن ایوان کے مکمل پروگرام نمونے اور پوشیدہ ٹیسٹس کے کھل جانے کا ذکر نہیں کیا گیا۔ بعد والے کا 97.9% کا اسکور اب MultiLangBench کی طرح باہری طرف سے مکمل طور پر چیک اور دوبارہ بنایا نہیں جا سکتا۔

دونوں جائزے بھی OpenAI نے تیار کیے ہیں اور ان کا بنیادی مقصد OpenAI کے اپنے ماڈلز کا موازنہ کرنا ہے۔ ان میں اب تک حقیقی کاروباری کوڈ بیسز، لمبے عرصے تک برقرار رکھنے کی لاگت، سیکورٹی خامیاں، پرفارمنس میں کمی، اور انسانی جانچ کے لیے کتنی دیر لگتی ہے، شامل نہیں ہیں۔ اس لیے، نتائج پہلے تو ماڈل کی کنٹرول شدہ انجام دہی پر ترقی کو ثابت کرتے ہیں، نہ کہ کاروباری سافٹ ویئر کے جدید بننے کے مسئلے کا آخری ثبوت۔

گزشتہ دو سالوں میں، AI پروگرامنگ مصنوعات کے ڈیموز زیادہ تر ویب سائٹس، موبائل ایپس اور پائیتھن ٹولز بنانے پر مرکوز رہے۔ یہ مناظر واضح ہیں، لیکن بڑی کمپنیوں کے سب سے مہنگے سافٹ ویئر مسائل نہیں ہیں۔

بینکس، بیمہ، حکومتی ادارے اور تحقیقی ادارے جن کے لیے سچ مچ مشکل چیز ہے، وہ کوڈ ہے جو دہائیوں سے چل رہا ہے اور جس میں کوئی بھی آسانی سے تبدیلی نہیں کرنا چاhta۔ یہ شاید نئے نہ ہوں، لیکن اس میں اکاؤنٹس کا انتظام، ٹیکس کی حساب کتاب، سپلائی چین اور بنیادی ڈھانچے کے عمل کے لیے ضروری قواعد شامل ہیں۔

MultiLangBench کا مقصد یہی ہے: کیا ماڈل کی صلاحیتیں سب سے زیادہ عام تربیتی زبان سے الگ ہو کر، کم ڈیٹا، پرانے ٹولز، اور زیادہ قیمتی غلطیوں والے ٹیکنالوجی اسٹیک میں سافٹ ویئر انجینئرنگ کے طریقے منتقل کر سکتی ہیں؟

اگر یہ صلاحیت مزید بہتر ہوتی رہی، تو AI کا پہلا اثر شاید "سب COBOL کو ایک کلک میں حذف کرنا" نہیں بلکہ انجینئرز کو ناپسندیدہ کوڈ پڑھنے، ٹیسٹ مکمل کرنے، گمشدہ دستاویزات کو واپس لانے، اور بزنس قواعد کو تلاش کرنے میں مدد کرنا ہوگا، اور پھر ہر ماڈیول کو تصدیق شدہ طریقے سے منتقل کرنا۔ انسانی ماہرین اب بھی فیصلہ کریں گے کہ کون سے افعال برقرار رکھنے چاہئیں اور کب قدیم سسٹم کو حقیقی طور پر تبدیل کیا جا سکتا ہے۔