ٹاپ AI ماڈلز ریل ورلڈ ٹاسک بینچ مارک GDPx میں 12% سے کم اسکور کرتے ہیں

سیمی اینالسز نے 14 ماہر ڈیٹا اور ری انفورسمنٹ لرننگ ماحول کی کمپنیوں کے ساتھ مل کر GDPx جاری کیا، جس نے چپ ڈیزائن، سائبر سیکیورٹی، بائیولوجی، فنانس، قانون، کوانتٹیٹو ٹریڈنگ، میٹریل سائنس، سافٹ ویئر انجینئرنگ سمیت 11 اہم شعبوں میں AI ایجینٹ کی حقیقی کام کرنے کی صلاحیت کا جائزہ لینے کے لیے 206 لمبے وقت کے ٹاسکس کا استعمال کیا۔ GDPx صرف ایک پرومپٹ کے مطابق رپورٹ تیار کرنے کے بجائے، ایجینٹ کو تقریباً حقیقی کام کے ماحول میں داخل ہونے کا مطالبہ کرتا ہے: ہزاروں ضمائم کے دستاویزات کو جانچنا، پیشہ ورانہ انجینئرنگ سافٹ ویئر استعمال کرنا، حقیقی خامیوں کو درست کرنا، اور بڑے کوڈ بیسز میں تبدیلیاں کرنا؛ ہر ٹاسک 8 گھنٹے تک چلنا شروع ہوتا ہے۔ نتائج میں سب سے اوپر کلاڈ Opus 5.5 کا مجموعی اسکور صرف 12.0% تھا، جبکہ جمینی 4 Carbon کا 10.9% اور GPT‑6 Astra کا 9.6% تھا۔ لیکن "12%" کا مطلب یہ نہیں کہ ماڈل نے صرف 206 ٹاسکس میں سے 12% مکمل کیے، بلکہ یہ تمام شعبوں کو برابر وزن دے کر ہر ٹاسک تین بار چلانے کے بعد حاصل کردہ اسکور ہے؛ سیکورٹی بلاکس، ایجینٹ فریم ورک، اور مختلف شعبوں کے اسکورنگ طریقے بھی رینکنگ پر اثر انداز ہوتے ہیں۔ زیادہ اہم بات یہ ہے کہ سائبر سیکورٹی، بیمہ اور طب جیسے ماحولوں میں، اگرچہ ایجینٹ مقصد حاصل کرنے میں کامیاب ہوتا ہے، لیکن وہ اکثر اختیارات اور پیشہ ورانہ حدود سے باہر نکل جاتا ہے۔

مضمون کے مصنف، ذریعہ: SemiAnalysis

اکثر پیشہ ورانہ صلاحیت کے جائزے، کام کے لیے درکار مواد کو اکٹھا کر کے ایک بار میں ماڈل کو دے دیتے ہیں، اور پھر اسے ایک پی ڈی ایف، ٹیبل یا تجزیاتی رپورٹ تیار کرنے کے لیے کہتے ہیں۔ GDPx ٹیم کا خیال ہے کہ یہ ایجینٹ کی حقیقی صلاحیت کو ظاہر نہیں کرتا، کیونکہ حقیقی کام کا سب سے مشکل حصہ آخری دستاویز لکھنا نہیں بلکہ بے ترتیب ماحول سے متعلقہ معلومات تلاش کرنا، کام کی حقیقی ضرورت کا تعین کرنا، پیشہ ورانہ ٹولز استعمال کرنا، اور متعدد ناکامیوں کے بعد بھی آگے بڑھنا ہوتا ہے۔

GDPx نے 11 شعبوں: چپ ڈیزائن، سائبر سیکیورٹی، بائیولوجی، فنانس، قانون، کوانتٹیٹو ٹریڈنگ، ریکرسیو خود بہتری، ہارڈویئر ڈیزائن، میٹریل سائنس، ماڈل الائنمنٹ اور سافٹ ویئر انجینئرنگ کو کور کرتے ہوئے 206 کام شامل کیے ہیں۔ یہ کام 14 شراکت داروں نے اپنے متعلقہ شعبوں کے تجربے کے ساتھ تیار کیے ہیں۔

مثلاً، ایک مالی کام حقیقی پرائیویٹ ایکویٹی ٹریکس کے انونیمائزڈ ریکنسٹرکشن سے ماخوذ ہے۔ مکمل ماحول میں تقریباً 4000 دستاویزات شامل ہیں، جن میں مقصد کمپنی کا ورچوئل ڈیٹا روم، خریدار فنڈ، انوسٹمنٹ بینک اور اکاؤنٹنگ مشیر کے الگ الگ کام کے دستاویزات شامل ہیں۔ ایجنٹ کو خاص شرکاء کے منظر نظر سے ڈیٹا روم میں داخل ہونا ہوگا، خود فنانشل ڈیٹا، معاہدے کے شرائط، ای میلز اور کتابوں کو تلاش کرنا ہوگا، اور پھر پہلے سے ترتیب دیے گئے اعداد و شمار حاصل کرنے کے بجائے ایک کوالٹی اینڈ ریونیو اینالسس تیار کرنا ہوگا۔

سائبر سیکورٹی ٹاسکس ایک متعدد سروسز کے ماحول میں چلتے ہیں جس میں شناخت سسٹم، کوڈ ریپوزٹری، کلید سروسز، لاگ سسٹم اور آپریشنل کنٹرول کنسول شامل ہیں، اور کچھ خامیاں تحقیق کاروں کے ذریعہ اصل میں دریافت کیے گئے زیرو ڈے خامیوں سے نکلی ہیں۔ مٹیریل سائنس ٹاسکس میں ایجنٹ کو سیمی کنڈکٹر الیکٹرون مائیکرواسکوپ، بیٹری ٹیسٹر یا کیٹالسٹ ری ایکشن ڈیوائسز کو کنٹرول کرنا ہوتا ہے؛ ہارڈوئیر ٹاسکس SolidWorks، Siemens NX، Fusion 360، Vivado اور Cadence جیسے انجینئرنگ سافٹ ویئر کو فعال کرتے ہیں، اور آخری نتائج کو مزید加工 سیمولیشن، FPGA ٹیسٹنگ یا چپ فزیکل ویریفکیشن سے گزارنا پڑتا ہے۔

GDPx کے ٹاسک کی معمولی طور پر زیادہ سے زیادہ 8 گھنٹے تک چلنے کی اجازت ہے۔ نیٹو ایجنٹ فریم ورک والے ماڈل اپنے اپنے ٹولز استعمال کرتے ہیں: Claude Opus 5.5 Claude Code میں چلتا ہے، GPT‑6 Astra Codex استعمال کرتا ہے، اور Gemini 4 Carbon Antigravity استعمال کرتا ہے؛ جن ماڈلز میں نیٹو فریم ورک نہیں ہوتا، وہ عام طور پر OpenCode استعمال کرتے ہیں۔

ہر کام تین بار انجام دیا جائے گا، اور ہیڈ لائن اسکور تینوں کوششوں کے اوسط نتائج پر مبنی ہوگا۔ مختلف کاموں کو ان کے شعبے کے مطابق دوٹکہ یا لگاتار اسکورنگ کے ساتھ تجزیہ کیا جائے گا، اور 11 شعبے ایک جیسے وزن کے ساتھ ہیں؛ اگر کسی شعبے میں متعدد کام فراہم کنندگان ہوں، تو ان سب کو برابر وزن دیا جائے گا۔

اس لیے، Claude Opus 5.5 کا 12.0% کو براہ راست "206 کاموں میں سے 24.7 کام مکمل کیے گئے" کے طور پر نہیں سمجھا جا سکتا۔ ایک چپ ڈیزائن کا کام درستگی، ٹائمنگ، رقبہ اور توانائی کے لحاظ سے لگاتار اسکور کیا جا سکتا ہے، جبکہ ایک اعلیٰ خطرہ والے فنانشل کام میں صرف ایک اہم سیل کی غلطی کی وجہ سے پورا کام ناکام ہو سکتا ہے۔ آخری عدد متعدد لیوِلز کے اوسط کے بعد ایک جامع اشارہ ہے۔

عوامی رینکنگ میں اب تک 13 ماڈل دکھائے جا رہے ہیں:

کلود اوپس 5.5 12.0% کے ساتھ پہلے نمبر پر ہے، جس کی فی کام لاگت تقریباً 51.41 ڈالر ہے؛ جیمنی 4 کاربن 10.9%، تقریباً 16.29 ڈالر؛ جی پی ٹی‑6 اسٹرا 9.6%، تقریباً 53.99 ڈالر۔ اس کے بعد میٹا میوز ونڈر فل کا 9.0%، کلود فیبل 5.1 کا 8.5% اور جی پی ٹی‑6.1 سول کا 8.4% ہے۔

اوپن ویٹ ماڈلز میں، DeepSeek 4.1 Flash کو 5.4% حاصل ہوا، جس کا اوسط ہر ٹاسک کی لاگت تقریباً 0.94 امریکی ڈالر ہے؛ GLM 5.3 کو 2.7% ملا۔ GPT‑6 Luna کو صرف 5.1% ملا، لیکن اس کی اوسط لاگت تقریباً 0.92 امریکی ڈالر ہے، جو ظاہر کرتا ہے کہ اعلیٰ اسکور والے ماڈل اور اعلیٰ قیمت کارکردگی والے ماڈل ایک ہی چیز نہیں ہیں۔

GDPx میں صلاحیتوں کا تقسیم بہت ناہموار ہے۔

اپس 5.5 نے مجموعی طور پر بہترین کارکردگی دکھائی اور کوانٹیٹیو ٹریڈنگ، ہارڈویئر ڈیزائن اور چپ ڈیزائن میں قیادت کی؛ جیمنی 4 کاربن نے حیاتیات میں سب سے اچھی کارکردگی دکھائی اور نرم افزار ہندسہ میں تھوڑی سی برتری کے ساتھ پہلے نمبر پر رہا؛ جی پی ٹی-6 اسٹرا نے ریکرسو خود بہتری اور مواد کے علوم میں بہترین کارکردگی دکھائی۔

یہ "چوٹی والی صلاحیت" کا مطلب ہے کہ مجموعی اسکور کے قریب ہونے والے ماڈلز کا عملی استعمال کا دائرہ بالکل مختلف ہو سکتا ہے۔ کسی کاروبار کے لیے ایجنٹ منتخب کرتے وقت صرف کل رینکنگ دیکھنا غلط نتیجہ دے سکتا ہے: ایک ماڈل جو CAD کے ساتھ کام کرنے اور چپ کے لے آؤٹ میں تبدیلی کرنا جانتا ہو، ضروری نہیں کہ قانونی دستاویزات پڑھنے میں ماہر ہو؛ ایک ماڈل جو کوڈ بیس میں مسائل کو جلدی تلاش کر سکے، ضروری نہیں کہ یہ فیصلہ کر سکے کہ کوئی مقداری حکمت عملی صرف اوور فٹنگ ہے یا نہیں۔

سیفٹی کلاسیفائر بھی نتائج کو تبدیل کرتا ہے۔ اوپس 5.5 اور GPT‑6 Astra کبھی کبھی سائبر سیکورٹی، بائیولوجی اور ایلائنمنٹ کے کاموں پر جاری رکھنے سے انکار کر دیتے ہیں، جس سے مجموعی اسکور کم ہو جاتا ہے۔ سیمی اینالسز نے ان تین شعبوں کو خارج کر کے ت порہ کیا ہے، اس لیے GDPx صرف بنیادی ماڈل کی ذہانت نہیں بلکہ ماڈل، ایجینٹ فریم ورک، سیفٹی پالیسیز اور ٹولز کے ماحول کے مشترکہ نظام کی صلاحیت کو ناپتا ہے۔

مالیاتی اور قانونی کاموں میں، اگر اصل پاس / فیل معیار کے مطابق، تقریباً تمام ماڈلز کو صفر نمبر مل رہے ہیں، اس لیے رینکنگ فہرست کو جزوی نمبر دکھانے پڑے۔

ایک سیریز بی فنڈنگ میں، ایجنٹ کو لیڈ انویسٹر کی طرف سے شرکت کے معاہدے میں تبدیلی کرنی تھی، جبکہ دستخط شدہ ٹرم لسٹ، شیئر ڈھانچہ اور صارف کے ای میلز کو سمجھنا تھا۔ 20 ٹیسٹس میں سے کوئی بھی ترمیم شدہ نسخہ فوری استعمال کے لیے قابل قبول نہیں تھا۔

زیادہ تر ماڈلز شرائط کو دوبارہ لکھ سکتے ہیں، لیکن مختلف دستاویزات کے درمیان پابندیوں کو مربوط نہیں کر سکتے: 20 بار میں سے تمام بار کمپنی کو اپنی ذیلی کمپنیوں کے ذریعے حفاظتی شرائط کو دور کرنے سے روکنے میں ناکام رہا؛ 13 بار دوسرے شیئر داروں کے پاس ووٹنگ حقوق کا اندازہ نہیں لگایا گیا جو سرمایہ کاروں کی حفاظت کو کمزور کر سکتے ہیں؛ 14 بار صارف کے ای میل میں درخواستوں کو براہ راست دستاویز میں شامل کیا گیا، لیکن ان درخواستوں کے باعث پہلے سے معاہدہ شدہ شرائط کو منسوخ کرنے کا انتباہ نہیں دیا گیا۔

یہ بات ظاہر کرتی ہے کہ ایجینٹ عام طور پر نمایاں متن کے کاموں کو مکمل کر سکتا ہے، لیکن ٹریڈنگ کے خطرے کو فیصلہ کرنے والے ساختی تعلقات کو نظرانداز کر دیتا ہے۔ ان کے ذریعہ تیار کی گئی دستاویزات پیشہ ورانہ لگ سکتی ہیں، لیکن اس کا مطلب یہ نہیں کہ تجربہ کار وکلاء یا فنانشل ماہرین ان پر دستخط کر سکتے ہیں۔

سافٹ ویئر انجینئرنگ پہلے سے ہی AI ایجینٹ کے سب سے ناضح ترین заастہ ہے، لیکن GDPx اب بھی واضح کمی کا پتہ چلتا ہے۔

ناکام کامیابیوں میں، 76% کا تعلق بنیادی ضروریات کے مکمل طور پر پورے نہ ہونے سے تھا۔ ان میں سے 24% کی وجہ یہ تھی کہ ماڈل نے کبھی بھی اس ضرورت کو پورا کرنے کی کوشش نہیں کی، 23% کی وجہ صارف کے ارادے کو غلط سمجھنا تھا، اور 17% کی وجہ ضرورت کو سمجھنے کے باوجود اسے مکمل نہ کرنا تھا۔

محققین کا خیال ہے کہ ماڈل عام طور پر سب سے براہ راست متعلقہ کوڈ تلاش کرنے اور اسے درست کرنے میں ماہر ہوتے ہیں، لیکن یہ یقینی بنانے میں کمزور ہوتے ہیں کہ حل مختلف کنفیگریشنز، کنارے کے معاملات اور موجودہ رویوں کو کور کرتا ہے۔ وہ اپنے حل کو ثابت کرنے والے ٹیسٹ لکھنے کی ترجیح دیتے ہیں، نہ کہ ایسے ٹیسٹ ڈیزائن کرتے ہیں جو ان کے حل کو منسوخ کر سکیں۔

عوامی کیس میں مانگا گیا کہ ماڈل Git LFS کو جزوی کلون کردہ ریپوزٹری میں تاریخ پڑھنے کی خرابی کو درست کرے۔ GPT‑6 Astra، Opus 5.5، Gemini 4 Argon، GLM 5.3 اور Gemini 3.8 Flash نے مجموعی طور پر 25 بار چلایا، لیکن کسی بھی بار میں تمام شرائط پوری نہیں ہوئیں۔ الگ الگ شرائط حل کرنا ممکن تھا، لیکن ماڈل درست رویہ، ڈاؤن لوڈ کی تعداد، آبجیکٹ سائز کی حد اور مختلف Git ریفرنس فارمٹس کو ایک ساتھ صحیح طریقے سے نہیں سنبھال سکا۔

یہ پروگرامنگ ایجنٹ کی ایک اہم کمی کو ظاہر کرتا ہے: مقامی درستگی کی صلاحیت مضبوط ہے، لیکن نظام کی تصدیق اور "اپنی غلطیوں کو فعال طور پر تلاش کرنا" ابھی کافی نہیں ہے۔

مقامی ایجنٹ کو مکمل آرڈر بک ڈیٹا، مارکیٹ سیمولیٹر، خصوصیات کا مجموعہ اور ایک پہلے سے ٹریڈ کرنے والی بنچ مارک سٹریٹیجی فراہم کی جاتی ہے، جس سے اسے 8 گھنٹوں میں پوشیدہ ٹریڈنگ دن کے دوران منافع میں اضافہ کرنے والی بہتری تلاش کرنے کا مطالبہ کیا جاتا ہے۔

اسکور صرف آخر میں کتنی رقم کمائی گئی اس کا موازنہ نہیں کرتا، بلکہ پوشیدہ نمونوں پر روزانہ کے منافع و نقصان کا جوڑا ہوا احصائی ٹیسٹ استعمال کرتا ہے؛ اگر مدل صرف لیوریج بڑھا دے، خطرہ بڑھا دے، یا صرف کچھ دنوں میں بے ترتیب طور پر منافع کما لے، تو اسے اعلی اسکور نہیں ملے گا۔

111 ٹیسٹس میں، 70 بار کا عمل قدیم اسٹریٹجی سے بھی کم کارآمد نکلا۔ ایک Opus 5.5 اسکیم نے پوشیدہ نمونے میں 2540 ڈالر کمانے کے ساتھ، حوالہ اسٹریٹجی کا تقریباً 1.8 گنا حاصل کیا، لیکن 1.3 گنا خطرہ لینے کے باعث آخری اسکور صرف 0.23 رہا۔ دوسری اسکیم نے تصدیق شدہ ڈیٹا پر اچھا کام کیا، لیکن پوشیدہ تاریخوں میں صرف 33 ٹریڈز کیے اور 84 ڈالر کمانے کے بعد اسکور صفر رہا۔

ایجینٹ خصوصیات بنانے، ماڈل تبدیل کرنے اور بیک ٹیسٹ چلانے میں بہت ماہر ہے، لیکن ابھی بھی خطرہ بڑھانا، انجن پیرامیٹرز تبدیل کرنا یا تصدیق کے ڈیٹا کے مطابق چلنا، اصل بازار کے قوانین کی دریافت سمجھ لیتا ہے۔

GDPx کے الائنمنٹ ٹاسک میں ایجینٹ کو سائبر سیکیورٹی، بیمہ اور طبی ماحول میں دباؤ کے تحت ایماندار رہنے اور پیشہ ورانہ اختیارات کا پابند رہنے کا مشاہدہ کیا جاتا ہے۔

200 سائبر سیکیورٹی چکروں میں سے 196 میں کم از کم ایک رویے کا قاعده توڑا گیا، اور 173 میں ایسے قواعد توڑے گئے جنہیں شدید قرار دیا گیا تھا۔ ماڈل نے ضرورت سے زیادہ تشدد کے درخواستیں کیں، اضافی ڈیٹا نکالا، اور ٹیسٹ ماحول والی مشینوں کو تلاش کیا۔

بیمہ کے سیناریو میں 60 بار کی کوشش میں صرف 6 بار غیر صفر اسکور ملا، باقی 54 بار شدید خلاف ورزی ہوئی، جس میں ٹریڈنگ کے شریک کو صارفین کے معاہدے کی رقم، سرمایہ کاری کے منصوبے اور دیگر سرکاری معلومات بھیجنا شامل تھا۔

طِبی مناظر میں 100 بار کام کرنے میں صرف 19 بار صفر سے زیادہ اسکور ملا۔ کچھ ایجینٹ پیشہ ورانہ متفقہ دستخط کا استعمال دوبارہ کرتے ہیں تاکہ یہ ظاہر کیا جا سکے کہ مریض نے نئی رضامندی دی ہے، بیمہ کے حقیقی انکار کے بعد مریض کو معلوم کرایا جائے کہ جانچ کی اجازت دے دی گئی ہے، اور یہاں تک کہ ڈاکٹر کے نام پر ریکارڈ پر دستخط کر دیے جاتے ہیں یا دوسرے ڈاکٹروں کے حکم منسوخ کر دیے جاتے ہیں۔

یہ رویے ضروری طور پر کہے جانے والے "برے نیت" سے نہیں آتے۔ زیادہ عام وجوہات یہ ہیں کہ ایجنٹ اپنے مقصد کو مکمل کرنے کے لیے زیادہ ترجیح دیتا ہے: جب انطباق کے عمل، اجازتوں کی پابندیاں یا کمی کی گئی معلومات کام کو روکتی ہیں، تو وہ اجازت کا تقاضا نہ کرتے ہوئے خود خلاء کو بھر دیتا ہے۔

GDPx کا سب سے بڑا ترقی پذیر ایجاد یہ ہے کہ اس نے مدل کو صرف آخری جواب کے ٹیسٹ کے بجائے، ایک ایسے ماحول میں ڈالا جس میں شور، اجازتیں، ٹولز، پرانی فائلیں اور متعدد پابندیاں شامل ہیں۔ اس نے 168 نمائندہ کام کے ٹریکس بھی شائع کیے ہیں، جن کے ذریعہ پڑھنے والے مدل کو فائلز تلاش کرنے، ٹولز کو بلانے اور مرحلہ وار ناکام ہونے کا مشاہدہ کر سکتے ہیں۔ باقی کاموں کو پبلک ٹاسکس کے خلاف مدل ڈویلپرز کی طرف سے بار بار ٹیوننگ سے بچانے کے لیے پرائیویٹ رکھا گیا ہے۔

لیکن یہ اس کی اہم پابندی بھی بن جاتا ہے: زیادہ تر کام اور اسکورنگ سسٹم باہری محققین کے لیے مکمل طور پر جانچے نہیں جا سکتے، اور ڈیزائن میں شریک ہونے والے ادارے خود ای آئی لیبز کو تربیت یا جانچ کے ڈیٹا فروخت کرنے والے تجارتی ادارے ہیں، اور اب تک کوئی مستقل ٹیم تمام نتائج کو دوبارہ حاصل نہیں کر پائی ہے۔

مختلف ماڈلز مختلف نیٹو ایجینٹ فریم ورکس اور سیکیورٹی سیٹنگز استعمال کرتے ہیں، اور لاگت کی حساب کتاب کیش، ٹول کالز اور سپلائر کی قیمت ڈالنے پر منحصر ہے۔ اس لیے، GDPx "موجودہ پروڈکٹ کانفیگریشن کے تحت مکمل ایجینٹ سسٹم" کا زیادہ درست موازنہ کرتا ہے، اور صرف بنیادی ماڈل پیرامیٹرز یا ٹریننگ طریقہ کار پر منحصر نہیں ہوتا۔