ریمپ SWE-Bench بینچ مارک: کلوڈ فیبل 5 نے 87.5% کامیابی کے ساتھ ٹاپ کیا

ME AI کی خبر، اس کے مطابق، فن ٹیک یونیکورن Ramp نے اعلان کیا ہے کہ انہوں نے ایک نجی ٹیسٹ بینچ مارک Ramp SWE-Bench جاری کیا ہے جو سامنے والے AI کوڈنگ ایجینٹس کے لیے ہے۔ Ramp SWE-Bench میں Ramp کے اصل پروڈکشن ماحول سے لیے گئے 80 بیک اینڈ ڈویلپمنٹ ٹاسکس شامل ہیں، جو عوامی ایوانٹس ڈیٹا سیٹس میں ماڈل کی پری ٹریننگ کی وجہ سے ہونے والی ڈیٹا لیک اور میٹرکس سچوریشن کو حل کرنے کے لیے بنائے گئے ہیں۔ تمام ٹاسکس Ramp کے اندر AI کوڈنگ اسسٹنٹ Inspect کے ذریعے پروڈکشن میں کامیابی سے ڈپلوئ کیے گئے اصل پل ریکسٹ (PR) سے نکالے گئے ہیں۔ ہر ٹاسک میں PR سب مٹ کے پہلے کا بنیادی کوڈ بیس دوبارہ ترتیب دیا گیا ہے، جس میں مرج کردہ کوڈ اور ٹیسٹس کو گولن سٹینڈرڈ کے طور پر برقرار رکھا گیا ہے، اور انجرز کے Inspect ڈائلاگ میں اصل نیت کو پرومپٹ کے طور پر استعمال کیا گیا ہے۔ ایوانٹس mini-swe-agent سینڈ باکس ماحول میں کیا جاتا ہے، جہاں ایک بار میں تمام ٹیسٹس کامیابی سے پاس کرنا اور موجودہ فنکشنلٹی کو نقصان نہ پہنچانا (pass@1) پاسنگ کرٹیرین بنایا گیا ہے۔ جاری کردہ 14 ماڈلز کے عرض دار تجزیہ کے مطابق، Anthropic نے اپنا نئاترین Claude Fable 5 جاری کیا جس نے 87.5% حل شدہ شرح کے ساتھ سب سے اوپر مقام حاصل کیا۔ Claude Opus 4.7 اور GPT-5.5 دونوں دوسرے نمبر پر ہیں، جن کی حل شدہ شرح 83.75% ہے۔ Claude Opus 4.8 کی حل شدہ شرح 77.5% ہے، لیکن اس کا اوسط وقت صرف 8 منٹ اور 30 سیکنڈ تک محدود ہے، اور اس کا اوسط لاگت صرف 1.09 امریکی ڈالر ہے، جو Fable 5 کے لاگت سے 40% سے بھی کم ہے، جس سے اس کا لاگت فائدہ بہت زبردست نکلتا ہے۔ ٹیسٹ ڈیٹا نے مختلف ماڈلز کے درمیان قیمت اور پرفارمنس کے درمیان توازن بھی ظاہر کیا۔ مقامی ماڈل Kimi K2.6 اور GLM 5.1 کی حل شدہ شرح تقریباً برابر ہے، جو ترتیب سے 72.5% اور 71.25% ہے، لیکن Kimi K2.6 کا اوسط لاگت صرف 0.69 امریکی ڈالر ہے، جو GLM 5.1 سے تقریباً 34% سستا ہے۔ لائٹ ویٹ ماڈلز میں، GPT-5.4 Mini نے Claude Haiku 4.5 سے تقریباً 10 فصد زائد حل شدہ شرح (58.75%) حاصل کی، اور اس کا اوسط لاگت اور مرحلوں کا عدد بھي آدھا رہا۔ Ramp نے بتایا کہ جب ماڈلز عمل میں آتے ہیں تو، پرفارمنس، رفتار اور لاگت کا توازن عمل مین لائنز مین اہم ترین فکر بن رہا ہے۔ (ذرائع: BlockBeats)