فیبل 5 نئے AI ایجینٹ بینچ مارک ALE میں سب سے مشکل کاموں میں ناکام ہو جاتا ہے

Beating مانیٹرنگ کے مطابق، کیلیفورنیا یونیورسٹی، برکلی کے RDI نے صنعت کے سو سے زائد ماہرین کے ساتھ مل کر ایک نیا AI ایجینٹ ایوانگ میٹرکس، Agents' Last Exam (ALE) شروع کیا ہے، جو ایجینٹس کی حقیقی ڈیجیٹل پیشہ ورانہ کاموں کو مکمل کرنے کی صلاحیت کا جائزہ لینے کے لیے ہے۔ ALE میں 55 ڈیجیٹل پیشہ ورانہ ذیلی شعبوں کو شامل کیا گیا ہے، جس میں انسانی ماہرین کے عملی منصوبوں سے 1500 سے زائد تصدیق شدہ ٹاسکز جمع کیے گئے ہیں، جو GUI اور CLI دونوں ماحول میں نتائج کی تصدیق کو سپورٹ کرتے ہیں۔ پہلے ٹیسٹ میں Fable 5، GPT-5.5 اور Composer 2.5 جیسے جدید سسٹمز شامل تھے۔ تازہ ترین ویب سائٹ کے موازنہ کے مطابق، مستقل استدلال اور گہری ماہرینہ جانکاری کی ضرورت والے سب سے مشکل ٹاسکز میں، تمام ٹیسٹ شدہ ایجینٹس کی کامیابی کا فیصد صفر تھا، اور ہفتے کے آغاز میں جاری کردہ Fable 5 نے بھی خالی کاغذ جمع کر دیا۔ اس کا بنیادی سبب یہ ہے کہ ایوانگ نے سلامتی پالیسیز کو فعال کر دیا، جس کے نتیجے میں Fable 5 کے تقریباً 35% ٹاسکز پرانے Opus 4.8 ورژن پر واپس منتقل ہو گئے، جس سے ان کا کل پرفارمنس دوسرے لسٹس کے مقابلے میں بہت کم رہا۔ ایک ٹاسک API لاگت کے لحاظ سے، Fable 5 تقریباً 15.70 امریکی ڈالر ہے، جو GPT-5.5 کے 3.80 امریکی ڈالر اور Composer 2.5 کے 1.33 امریکی ڈالر سے بہت زیادہ ہے، جس سے ایک جیسے ٹاسک پر لاگت 4 سے 12 گنا زیادہ ہو جاتی ہے۔ ٹیسٹ میں پایا گیا کہ ایجینٹس کا سب سے عام ناکامی کا سبب جلد بازی میں کامیابی قرار دینا تھا، جبکہ وہ نتائج کو درست نہ کرتے، بلکہ فائلز ضائع کر دیتے یا ڈیٹا میں غلط حساب لگا دیتے۔ CLI ایجینٹس کے لیے، اچھانگ فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق فرق ففرق ففرق ففرق ففرق ففرق ففرق ففرق ففرق ففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففرق الففريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريق الأفريقالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقيالأفريقي والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأفريقية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والأfricanية والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافريقى والافriciaوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفريكياوالايفrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikiawalafrikia wal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal afrikiawal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika wal efrika walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya walefrakya wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef riky a wa lef