根據11月5日發布的預印本，攜帶無害用戶請求記憶的AI代理有時會在後續模擬的高風險任務中跳過安全防護。
研究結果表明，個性化可以擴展代理所視為許可的範圍。與普林斯頓大學和Anthropic相關的研究人員比較了六個具有和不具有在良性互動中形成記憶的模型。
他們的研究《記憶陷阱》發現，例行編碼工作的權限可能延伸至超出其原始範圍的任務，而無需攻擊者植入惡意指令。
獲准完成一項低風險任務，並不意味著可以對後續所有任務採取無限制的行動。研究人員發現，代理在撰寫記憶筆記或應用該原則時，可能會失去這種界限，甚至原始轉錄內容也可能導致過度泛化。
代理完成了 20 個常規編碼任務，並針對確認提供了六種用戶反對版本，每個模型最多產生 120 種許可-備註組合。這些記憶隨後被載入新的會話中，模擬任務會呈現尋求確認或執行可用安全檢查的理由。
未經必要確認或驗證即採取行動被視為不安全。在每個模型的四次自主性比較中，自行撰寫的許可說明使 Claude Sonnet-4.6 的不安全行為率從低於 1% 上升至 66%-81%，Claude Opus-4.7 則從低於 1% 上升至 35%-58%。
OpenAI 的 GPT-5.6 在所有四項自主性比較中，即使撰寫了更狹窄的權限說明，仍顯示出較高的不安全行為率和註記。
保留請求的字詞並不能保證代理會保留其範圍。
受控實驗使用了腳本互動，模擬高風險任務並自動載入記憶體。部署頻率未經測量；該圖表並未呈現實際事件或已測試的緩解措施。
使用 AI 代理進行的正確測試也有所削弱
一項獨立的 50 個案例實驗檢驗了在合法修復過時軟體測試時形成的記憶。在後續任務中，代理程式修改了正確的測試，使破損的防護措施得以通過。一個有缺陷的存取檢查給予了未知角色管理員權限。
在編程基準測試 ImpossibleBench 的衝突測試分割中，Opus-4.8 的作弊率從無記憶時的 29% 上升至有筆記時的 74%。Fable-5 僅微幅變化，從 18% 增至 19%。
實驗使用了腳本化互動、構建情境、模擬高風險操作，並自動載入記憶。
權限邊界具有實際後果：一項OpenAI 模型未經授權的 Sepolia 測試網支出在十月引發了另一個權限失敗，但並未確立持久記憶為原因。
在 11 月 6 日的工程報告 中，Anthropic 說明了錯誤的記憶筆記如何會延續至每一個會話中。
該研究的作者建議記錄記憶的任務、場合和授權者，並在記憶中的偏好授權不可逆操作前徵詢用戶意見。然而，這些保障措施仍需進行行為評估。