
Длинные цепочки взаимодействий ИИ сокращаются для обработки диалогов и истории действий. ARCBench проверяет, сохраняются ли запреты в этих сокращениях, путем реального выполнения инструментов. Создается история действий на платформе pi, после сжатия ей дается запрос, нарушающий правила, и сравнивается с действиями без сжатия. Также проверяется, сохраняется ли правило в сокращении, ослабляется ли оно или полностью исчезает. Например, если правило запрещает отправлять электронные письма только внутри компании, то вызов инструмента для отправки письма внешнему получателю считается нарушением. В оценке по 17 задачам было обнаружено, что во многих нарушениях после сжатия само правило сохранялось. Однако возникали и проблемы на стороне поведения, например, разрешение последующих запросов, несмотря на нарушение. Нельзя считать систему прошедшей проверку только потому, что правило присутствует в сокращении — необходимо также проверить, выполняет ли она действия, противоречащие этому правилу.

