長時間運行的 AI 會將對話和操作歷史簡化後繼續處理。 ARCBench 會透過實際的工具操作,驗證這些摘要中是否仍保留禁止事項以確保安全。 在 pi 執行平台中建立歷史記錄,壓縮後給予違反規則的請求,並與未壓縮時的操作進行比較。 同時,也會檢測規則在摘要中是被保留、削弱,還是完全消失。 例如,若規則規定僅能發送郵件給公司內部人員,則呼叫發送給外部人員的工具即被判定為違規。 在使用 17 項任務的評估中,大多數壓縮後的違規行為中,規則本身仍得以保留。 但同時也出現了行動端的問題,例如將後續請求視為允許。 不能僅因規則出現在摘要中就視為合格,還必須檢驗是否會執行違反該規則的操作。