
AI yang beroperasi dalam jangka panjang merangkum percakapan atau riwayat tugas untuk melanjutkan pemrosesan. ARCBench memverifikasi apakah larangan yang tetap ada dalam ringkasan tersebut tetap aman dengan melakukan operasi alat nyata. Membuat riwayat di platform eksekusi pi, lalu memberikan permintaan yang melanggar aturan setelah kompresi, dan membandingkannya dengan operasi tanpa kompresi. Secara bersamaan, mengevaluasi apakah aturan tersebut tetap dipertahankan, melemah, atau hilang dalam ringkasan. Misalnya, jika aturan menyatakan email hanya boleh dikirim ke dalam perusahaan, maka pemanggilan alat pengiriman ke alamat luar perusahaan dianggap sebagai pelanggaran. Dalam evaluasi menggunakan 17 tantangan, banyak pelanggaran setelah kompresi masih mempertahankan aturan itu sendiri. Namun, masalah juga muncul di sisi perilaku, seperti memperlakukan permintaan selanjutnya sebagai diizinkan. Tidak cukup hanya dengan memeriksa apakah aturan tertulis dalam ringkasan; perlu juga diuji apakah operasi yang melanggar aturan tersebut benar-benar tidak dilakukan.

