एक स्वायत्त एजेंट की वास्तविक परीक्षा यह नहीं है कि वह कितने कार्य पूरा कर सकता है। यह है कि जब एक असफल हो जाए, तो क्या होता है। @TheARCTERMINAL कहते हैं कि उन्होंने ईथेरियम पर 27 प्रकार के कार्यों के साथ पांच स्वायत्त एजेंट चलाए, जिनमें ऑनचेन सेटलमेंट था और कोई केंद्रीय नियंत्रक नहीं था। 27 कार्य दिलचस्प हैं। लेकिन असफलता का मार्ग और भी दिलचस्प है। क्या एजेंट असफलता का पता लगा पाता है? क्या वह सुरक्षित तरीके से पुनः प्रयास करता है? क्या वह एक खराब कदम से श्रृंखलाबद्ध प्रभाव को रोक सकता है? क्या कोई अन्य एजेंट बिना त्रुटि को विरासत में प्राप्त किए आगे बढ़ सकता है? क्या रिकॉर्ड के बाद असफलता स्पष्ट हो जाती है? जब सब कुछ काम करता है, तो स्वायत्तता प्रभावशाली लगती है। विश्वसनीयता तब सामने आती है, जब कुछ काम नहीं करता। इसीलिए मैं चाहता हूं कि एजेंट बेंचमार्क में केवल सफल निष्पादन के साथ-साथ पुनर्प्राप्ति की गुणवत्ता भी शामिल हो। AI एजेंट चैट इंटरफ़ेस से बाहरी स्थिति बदलने वाली प्रणालियों में आ रहे हैं। उस स्तर पर, सुगम असफलता एक क्षमता बन जाती है। अगर आप किसी स्वायत्त एजेंट का मूल्यांकन कर रहे हों, तो क्या आपको सफलता दर से ज़्यादा पुनर्प्राप्ति व्यवहार में दिलचस्पी होगी?