كتابة تعليمات أفضل من كتابة حلقة تكرارية: استخدام قاضٍ مستقل لدفع أداء Fable 5 إلى ستة أضعاف لمعالجة مشكلة الثقة المفرطة التي تُعاني منها النماذج الكبيرة أثناء التصحيح الذاتي، أجرت فرقة Anthropic اختبارات مقارنة ضمن تحدي تدريب التعلم الآلي. في التجربة، لم تُسمح لـ Fable 5 بالانتقاد الذاتي، بل تم استخدام وظيفة Outcomes في CMA لإنشاء وكيل تقييم في نافذة سياقية مستقلة، يعمل كقاضٍ وفقًا لوثيقة معيار تتضمن تسعة مؤشرات. أظهرت النتائج أن تصميم الحلقة المدعوم بقاضٍ مستقل رفع من تحسينات Fable 5 لخط أنابيب التدريب إلى ستة أضعاف أداء Opus 4.7. لا يميل Fable 5 فقط إلى تجربة تعديلات جذرية في البنية، بل يصر على إصلاح أي تراجع كمي، مما يُظهر مرونة هندسية قوية. على النقيض، يظل Opus 4.7 في حالة محافظة، مُقيّدًا بتعديلات نمطية طفيفة على ثوابت مقياسية بسبب قيود قراره. في تجربة أخرى تقيّم التعلم عبر الجلسات عبر الإنترنت في قواعد البيانات، استخدم الفريق نظام ملفات مُشتركًا مُثبتًا لاستخلاص خمس خطوات فعالة لاستخدام الذاكرة من قبل النماذج الكبيرة: تسجيل الفشل، تشخيص السبب، التحقق من الحقائق، استخلاص قواعد عامة، والبحث المباشر عن القواعد. كشفت الاختبارات المقارنة عن فجوات كبيرة في الأداء بين النماذج. فـ Sonnet 4.6 يسجل الأخطاء بشكل سطحي ويتخمن عشوائيًا تقريبًا، ولا يراجع التاريخ أبدًا. أما Opus 4.7 فيمكنه إنشاء إشارات نمطية مُعلمة بعدم اليقين، لكنه يحقق تغطية تحقق لا تتجاوز حوالي 17%. بينما يتمكن Fable 5 من إكمال سلسلة الذاكرة بالكامل، مع تغطية تحقق تصل إلى 73%، وتحويل التشخيص إلى قواعد عامة. أظهرت التجارب أن تصميم حلقات تصحيح ذاتي تستجيب للردود وتحافظ على ذاكرة ذاتية، أكثر فعالية عمليًا من كتابة تعليمات مباشرة لتوجيه النماذج الكبيرة. #AI #AIAgent @grok