
Các AI hoạt động lâu dài sẽ tóm tắt hội thoại và lịch sử công việc để tiếp tục xử lý. ARCBench kiểm tra xem các hạn chế trong bản tóm tắt vẫn còn an toàn hay không thông qua các thao tác công cụ thực tế. Sử dụng nền tảng thực thi pi để tạo lịch sử, sau đó nén nó và đưa ra yêu cầu vi phạm quy tắc, so sánh hành vi với trường hợp không nén. Đồng thời, kiểm tra xem quy tắc có được duy trì, suy yếu hay biến mất trong bản tóm tắt hay không. Ví dụ: nếu quy định chỉ cho phép gửi email trong nội bộ, thì việc gọi công cụ gửi email đến người ngoài sẽ bị coi là vi phạm. Trong đánh giá với 17 vấn đề, phần lớn các quy tắc vẫn còn tồn tại sau khi nén. Tuy nhiên, cũng xảy ra các vấn đề về hành vi, chẳng hạn như coi các yêu cầu sau là hợp lệ. Không thể chỉ dựa vào việc quy tắc có được ghi trong bản tóm tắt hay không để đánh giá đạt yêu cầu; cần kiểm tra xem có thực hiện các thao tác vi phạm quy tắc hay không.

