
लंबे समय तक चलने वाले AI, बातचीत या कार्य इतिहास को संक्षिप्त करके प्रसंस्करण जारी रखते हैं। ARCBench वास्तविक उपकरण संचालन के माध्यम से यह जांचता है कि क्या संक्षिप्तीकरण में निषेधाज्ञाएँ अभी भी मौजूद हैं और सुरक्षित हैं। pi नामक निष्पादन प्लेटफॉर्म पर इतिहास बनाया जाता है, फिर संक्षिप्तीकरण के बाद नियमों का उल्लंघन करने वाला अनुरोध दिया जाता है, और इसे संक्षिप्तीकरण न किए जाने की स्थिति के साथ तुलना की जाती है। इसके साथ ही, यह भी जांचा जाता है कि क्या संक्षिप्तीकरण में नियम बना रहा, कमजोर हो गया, या समाप्त हो गया। उदाहरण के लिए, यदि कोई नियम केवल आंतरिक ईमेल भेजने की अनुमति देता है, तो बाहरी प्राप्तकर्ता को भेजने के लिए उपकरण को कॉल करना उल्लंघन माना जाएगा। 17 समस्याओं के मूल्यांकन में, संक्षिप्तीकरण के बाद कई उल्लंघनों में नियम स्वयं अभी भी मौजूद रहे। हालाँकि, कुछ स्थितियों में, प्रतिक्रिया को सही माना गया, जो कि कार्रवाई स्तर पर समस्या है। यह पर्याप्त नहीं है कि केवल संक्षिप्तीकरण में नियम लिखा हुआ हो—इसके विपरीत कार्रवाई को संचालित किए बिना, प्रत्येक नियम की पुष्टि की जानी चाहिए।

