
الذكاء الاصطناعي الطويل المدى يُلخص المحادثات وسجلات العمل لمواصلة المعالجة. تتحقق ARCBench من سلامة الاحتفاظ بالقيود الممنوعة من خلال عمليات أدوات فعلية على الملخصات. تُنشأ سجلات على منصة التنفيذ "pi"، ثم تُعطى طلبات تنتهك القواعد بعد الضغط، وتُقارن بالعمليات دون ضغط. في الوقت نفسه، تُفحص ما إذا كانت القواعد قد حُفظت، أو أُضعفت، أو حُذفت من الملخص. على سبيل المثال، إذا كانت القاعدة تنص على إرسال البريد الإلكتروني فقط داخل الشركة، فسيتم اعتبار استدعاء أداة الإرسال إلى عنوان خارجي انتهاكًا. في تقييم باستخدام 17 مشكلة، ظلت القواعد نفسها موجودة في معظم الانتهاكات بعد الضغط. لكن حدثت أيضًا مشكلات على جانب السلوك، مثل اعتبار الطلبات اللاحقة مقبولة. لا يكفي التحقق من وجود القاعدة مكتوبة في الملخص فقط، بل يجب أيضًا التحقق من عدم تنفيذ أي عملية تنتهك تلك القاعدة.


