
Les IA à longue portée résumant les conversations et l'historique des tâches pour continuer à traiter les demandes. ARCBench vérifie par des opérations réelles de outils si les interdictions restent présentes dans ces résumés. Il crée un historique sur la plateforme d'exécution « pi », puis soumet des demandes violant les règles après compression, et compare les résultats avec les cas non compressés. Il examine également si les règles sont maintenues, affaiblies ou supprimées dans le résumé. Par exemple, si une règle interdit d'envoyer des e-mails uniquement à l'intérieur de l'entreprise, toute tentative d'appeler un outil d'envoi à un destinataire externe est considérée comme une violation. Lors de l'évaluation sur 17 cas, la plupart des violations après compression ont conservé la règle elle-même. Cependant, des problèmes d'action se produisent également, comme traiter les demandes ultérieures comme autorisées. Il ne suffit pas de vérifier si la règle est simplement écrite dans le résumé ; il faut aussi s'assurer qu'aucune opération violant cette règle n'est effectuée.

