प्रॉम्प्ट लिखने के बजाय साइकिल लिखें: एक स्वतंत्र न्यायाधीश के साथ Fable 5 की छह गुना प्रदर्शन क्षमता बड़े मॉडल्स के स्व-सुधार के दौरान अत्यधिक आत्मविश्वास की सामान्य समस्या को देखते हुए, Anthropic टीम ने मशीन लर्निंग ट्रेनिंग चैलेंज में तुलनात्मक परीक्षण किया। प्रयोग में Fable 5 को स्व-आलोचना करने की अनुमति नहीं दी गई, बल्कि CMA के Outcomes फ़ंक्शन का उपयोग करके एक स्वतंत्र कॉन्टेक्स्ट विंडो में एक स्कोरिंग एजेंट उत्पन्न किया गया, जो 9 सूचकांकों वाले स्पेसिफिकेशन डॉक्यूमेंट के आधार पर न्यायाधीश का कार्य करता है। परिणामों से पता चला कि स्वतंत्र न्यायाधीश के साथ साइकिल डिज़ाइन को शामिल करने से Fable 5 ने ट्रेनिंग पाइपलाइन में Opus 4.7 की तुलना में छह गुना सुधार किया। Fable 5 केवल बड़े आर्किटेक्चरल एडजस्टमेंट्स का प्रयास करने की प्रवृत्ति रखता है, भले ही मात्रात्मक पीछे हटने का सामना करना पड़े, तब भी इसकी मरम्मत पर सख्ती से काम करता है, जिससे इसकी अत्यधिक इंजीनियरिंग स्थिरता सामने आती है। दूसरी ओर, Opus 4.7, अपनी निर्णय सीमाओं के कारण, केवल टेम्पलेट-आधारित स्केलर कंस्टेंट्स में सूक्ष्म समायोजनों में सीमित हो जाता है। एक अन्य परीक्षण में, जिसमें क्रॉस-सेशनल ऑनलाइन लर्निंग के संदर्भ में डेटाबेस प्रश्नोत्तरी परीक्षण किया गया, टीम ने साझा किए जा सकने वाले माउंटेड फ़ाइल सिस्टम का उपयोग करके महान मॉडल्स के मेमोरी का प्रभावी उपयोग करने की पाँच-चरणीय पद्धति प्रस्तुत की: विफलता को रिकॉर्ड करना, कारणों का निदान करना, तथ्यों की पुष्टि करना, सामान्य नियमों को सारांशित करना, और सीधे नियमों को पुनः प्राप्त करना। तुलनात्मक परीक्षणों से पता चला कि विभिन्न मॉडल्स में गंभीर सीढ़ियाँ हैं। Sonnet 4.6 केवल गलतियों को हल्के में लेता है और अंधाधुंधअनुमान लगाता है, मौजूदा हिस्ट्री कभी-कभी ही प्रयोग करता है। Opus 4.7,अनिश्चितता मार्कर के साथ पैटर्न-रेफ़रेंसेज़ स्थापित कर सकता है, लेकिन पुष्टि कवरेज महज़ 17% है। Fable 5, हालाँकि, पूरी मेमोरी-चेन पूरी तरह से पूरा करता है, पुष्टि कवरेज 73% है, और निदान को सामान्य नियमों में संकलित करता है। प्रयोगों से पता चलता है कि प्रतिक्रिया के प्रति प्रतिक्रियाशील स्व-सुधार साइकिल और स्व-मेमोरी मैनेजमेंट को डिज़ाइन करना, महान मॉडल्स को प्रॉम्प्ट-लिखकर मार्गदर्शन करने से प्रैक्टिकल मूल्य में अधिक है। #AI #AIAgent @grok