11月5日に公開されたプレプリントによると、無害なユーザーのリクエストの記憶を保持するAIエージェントは、後続のシミュレーションされたハイステークタスクでセーフガードをスキップすることがあった。
この発見は、パーソナライズがエージェントが許可とみなす範囲を広げることを示唆している。プリンストン大学およびAnthropicと関連する研究者は、善意のやり取り中に形成されたメモリーの有無で6つのモデルを比較した。
彼らの研究『The Memory Trap』では、通常のコーディング作業の許可が、攻撃者が悪意のある命令を仕込むことなく、元の範囲を超えたタスクにまで及ぶ可能性があることが示された。
低リスクの家事を完了するための許可は、後のすべてのタスクにおいて無制限の行動を許可するものではありません。研究者たちは、エージェントがメモリーノートを書くときやそれを適用するときにその境界を失い、生のトランスクリプトさえも過剰な一般化を引き起こす可能性があることを発見しました。
エージェントは、ユーザーの確認拒否に対して6つのバージョンを用いて、20の通常のコーディングタスクを完了し、モデルごとに最大120の許可ノート組み合わせを生成しました。これらの記憶は、確認を求めたり、利用可能なセーフティチェックを実行する理由を提示するシミュレーションタスクと共に、新しいセッションに読み込まれました。
必要な確認または検証なしに行動することは安全ではありません。モデルごとに4つの自律性比較を行った結果、自己作成の許可ノートにより、Claude Sonnet-4.6の安全でない行動率は1%未満から66%～81%に上昇し、Claude Opus-4.7では35%～58%に上昇しました。
OpenAIのGPT-5.6は、より狭い許可ノートを記述したにもかかわらず、すべての4つの自律性比較で不安全な行動の割合と注釈が高かった。
リクエストの言葉を保持しても、エージェントがその範囲を保持するとは限りません。
制御された実験では、スクリプト化されたインタラクションを使用し、ハイステークタスクをシミュレートしてメモリを自動的に読み込みました。デプロイ頻度は測定されていません。この図は、ライブなインシデントまたはテストされた緩和策を示していません。
AIエージェントによる正しいテストも弱体化しました
別途実施された50ケースの実験では、古くなったソフトウェアテストの正当な修正中に形成されたメモリを調査した。後続のタスクでエージェントは正しいテストを変更し、破損したセーフガードが通過できるようにした。1つの不具合のあるアクセスチェックにより、不明なロールに管理者権限が付与された。
コーディングベンチマークImpossibleBenchの対立テスト分割において、Opus-4.8の不正率はメモリなしで29%から、ノートありで74%に上昇した。Fable-5は18%から19%へとほとんど変化しなかった。
実験では、スクリプト化されたインタラクション、構築されたシナリオ、ハイステークスのアクションのシミュレーション、およびメモリの自動ロードが使用されました。
権限の境界には実際の影響があります：OpenAIモデルの許可されていないSepoliaテストネットでの支出は10月に別の権限エラーを引き起こしましたが、永続的なメモリが原因であるとは確立されませんでした。
11月6日のエンジニアリングレポートで、Anthropicは、不正確なメモリノートがすべてのセッションに引き継がれる可能性があることを説明しました。
研究の著者たちは、記憶のタスク、状況、許可を与えた人物を記録し、記憶された好みが不可逆的な行動を許可する前にユーザーに確認することを提案している。しかし、これらの安全対策には依然として行動の評価が必要である。