ٹپس لکھنے کی بجائے سائیکل لکھیں: مستقل فیصلہ کن کے ذریعے Fable 5 کی 6 گنا کارکردگی حاصل کریں بڑے ماڈلز کے خود اصلاح کے دوران انتہائی بے جا خود اعتماد کی عام خرابی کو درست کرنے کے لیے، Anthropic ٹیم نے ماشین لرننگ ٹریننگ چیلنج میں تقابلی ٹیسٹ کیا۔ تجربہ میں Fable 5 کو خود تنقید نہیں کرنے دیا گیا، بلکہ CMA کے Outcomes فنکشن کے ذریعے ایک الگ کنٹیکس ونڈو میں ایک اسکورنگ ایجنٹ تیار کیا گیا، جو 9 اشاریوں پر مشتمل اسٹینڈرڈ ڈاکومنٹ کے مطابق فیصلہ کن کا کردار ادا کرتا ہے۔ نتائج نے ظاہر کیا کہ مستقل فیصلہ کن کے ساتھ سائیکل ڈیزائن کو شامل کرنے سے Fable 5 نے ٹریننگ پائپ لائن میں Opus 4.7 کے 6 گنا بہتری حاصل کی۔ Fable 5 صرف بڑے آرکٹیکچرل تبدیلیوں کی کوشش کرنے کا رجحان رکھتا ہے، بلکہ اس نے مقداری پس پشتی کے باوجود بھی مرمت پر قائم رہنا جاری رکھا، جس سے اس کی انتہائی مضبوط انجینئرنگ لچک ظاہر ہوتی ہے۔ دوسری طرف، Opus 4.7 فیصلہ سازی کی محدود صلاحیتوں کی وجہ سے صرف ٹمپلیٹس پر مبنی سکیلر کنسٹنٹس میں تبدیلیوں تک محدود رہ گیا۔ ایک دوسرے تجربے میں، جس میں مکالمہ درمیان آن لائن سیکھنے کا جائزہ لیا گیا، ٹیم نے شئیر ابلا فائل سسٹم استعمال کرتے ہوئے بڑے ماڈلز کے ذخیرہ استعمال کا پانچ مرحلہ طریقہ ترتیب دیا: ناکامیوں کو ریکارڈ کرنا، وجوہات کا تشخیص کرنا، حقائق کا تصدیق کرنا، عام قوانین استخراج کرنا، اور قوانین کو براہ راست ریٹریو کرنا۔ مقابلہ ٹیسٹ میں مختلف ماڈلز کے درمیان شدید فرق نظر آیا۔ Sonnet 4.6 صرف غلطیوں کو سطحی طور پر ریکارڈ کرتا ہے اور بے جا اندازہ لگاتا ہے، جبکہ تاریخ دستاویزات سے تقریباً کبھی رجوع نہیں کرتا۔ Opus 4.7 غیر یقینی نشانات والے پیرامٹرز بناتا ہے، لیکن تصدیق کا دائرہ صرف تقریباً 17% تک محدود رہتا ہے۔ Fable 5 تو پورا ذخیرہ سلسلہ مکمل طور پر طے کرتا ہے، جس میں تصدیق کا دائرہ 73% تک پہنچتا ہے اور تشخیص کو عام قوانین میں خلاصہ کرتا ہے۔ تجربات نے ثابت کیا ہے کہ فیدبیک سے جواب دینے والے خود اصلاح سائکل اور خود مختار ذخیرہ مدیرت ڈھانچے بنانا، بڑے ماڈلز کو براہ راست پرامپٹس لکھنے سے زائد عملی اقدار رکھتا ہے۔ #AI #AIAgent @grok