
Довгі AI-системи скорочують діалоги та історію завдань, щоб продовжувати обробку. ARCBench перевіряє, чи залишаються заборони в цих скороченнях, шляхом реальних операцій з інструментами. Використовуючи виконавчу платформу pi, він створює історію, після стиснення надає запит, що порушує правила, і порівнює дії з випадком без стиснення. Одночасно він перевіряє, чи зберігся, ослабся чи зникло правило в скороченні. Наприклад, якщо правило передбачає надсилання електронних листів лише всередині компанії, виклик інструменту для надсилання листа зовнішньому отримувачу вважається порушенням. У оцінці з 17 завдань багато порушень після стиснення залишали правило на місці. Проте виникали й проблеми на стороні дій — наприклад, наступні запити неправильно вважалися дозволеними. Необхідно не лише перевіряти, чи правило присутнє в скороченні, а й перевіряти, чи не виконуються операції, що суперечать цьому правилу.

