長く動くAIは、会話や作業履歴を短くまとめて処理を続けます。 その要約に禁止事項が残っていれば安全なのかを、ARCBenchは実際のツール操作で確かめます。 piという実行基盤で履歴を作り、圧縮後にルールに反する依頼を与え、圧縮しない場合と操作を比べます。 同時に、要約でルールが維持されたか、弱まったか、消えたかも調べます。 例えば社内だけにメールを送る規則なら、社外宛ての送信ツール呼び出しを違反と判定します。 17件の課題を使った評価では、圧縮後の違反の多くでルール自体は残っていました。 後の依頼を許可だと扱うなど、行動側の問題も起きています。 要約に規則が書いてあるかだけで合格にせず、その規則に反する操作を実行しないかまで検査する必要があります。