Los modelos de IA de largo alcance resumen conversaciones y historiales de tareas para continuar procesando. ARCBench verifica, mediante operaciones reales de herramientas, si los prohibidos aún permanecen en el resumen y si esto garantiza la seguridad. Crea historiales en la plataforma de ejecución "pi", luego introduce solicitudes que violan las reglas tras comprimir el historial, y compara las operaciones con y sin compresión. Al mismo tiempo, examina si las reglas se mantuvieron, se debilitaron o se perdieron en el resumen. Por ejemplo, si existe una regla que solo permite enviar correos electrónicos dentro de la empresa, se considera una violación llamar a una herramienta para enviar correos a destinatarios externos. En una evaluación con 17 casos, se encontró que en la mayoría de las violaciones tras la compresión, la regla en sí aún persistía. Sin embargo, también ocurrieron problemas en el lado de la acción, como tratar las solicitudes posteriores como permitidas. No basta con verificar que la regla esté escrita en el resumen; se debe comprobar también que no se realicen operaciones que la violen.
