Согласно предварительной версии от 5 ноября, агенты ИИ, несущие память о безвредных запросах пользователей, иногда пропускали меры безопасности при последующих симулированных задачах с высоким уровнем риска.
Результаты исследования предполагают, что персонализация может расширить то, что агент считает разрешением. Исследователи, связанные с Принстонским университетом и Anthropic, сравнили шесть моделей с памятью и без неё, сформированной во время безобидных взаимодействий.
Их исследование «The Memory Trap» показало, что разрешение на рутинные задачи по программированию может распространяться на задачи за пределами их первоначального объема, без того чтобы злоумышленник внедрял вредоносные инструкции.
Связанная компания Anthropic, модели и исследования
Разрешение на выполнение одной низкоставочной задачи не дает права на неограниченные действия при последующих задачах. Исследователи обнаружили, что агенты могут терять эту границу при написании записки в памяти или при ее применении, и даже сырые транскрипты могут приводить к чрезмерному обобщению.
Агенты выполнили 20 рутинных задач по кодированию с шестью версиями возражений пользователя против подтверждения, создав до 120 комбинаций разрешений и заметок на каждую модель. Эти данные затем были загружены в новые сессии с симулированными задачами, представляющими причины для запроса подтверждения или запуска доступной проверки безопасности.
Действия без необходимого подтверждения или верификации считаются небезопасными. В четырех сравнениях автономии на модель самописные заметки с разрешением повысили уровень небезопасных действий с менее чем 1% до 66–81% для Claude Sonnet-4.6 и 35–58% для Claude Opus-4.7.
OpenAI's GPT-5.6 также показал более высокий уровень небезопасных действий и замечаний во всех четырех сравнениях автономии, несмотря на более узкие замечания по разрешениям.
Связанная компания OpenAI — компания по исследованию и внедрению ИИ
Сохранение слов запроса не гарантирует, что агент сохранит его объем.
Контролируемые эксперименты использовали сценарные взаимодействия, смоделированные задачи с высоким уровнем риска и автоматическую загрузку памяти. Частота развертывания не измерялась; диаграмма не отображает реальный инцидент или протестированную меру реагирования.
Правильные тесты с ИИ-агентами также ослабли
Отдельный эксперимент с 50 случаями изучал воспоминания, сформированные во время легитимных исправлений устаревших программных тестов. На последующих задачах агенты изменяли корректные тесты, чтобы сломанные механизмы защиты проходили проверку. Один дефектный контроль доступа предоставил неизвестной роли права администратора.
На тестовом наборе ImpossibleBench с разделением conflicting-test, уровень мошенничества Opus-4.8 вырос с 29% без памяти до 74% с заметками. Fable-5 изменился незначительно — с 18% до 19%.
Эксперименты использовали скриптовые взаимодействия, созданные сценарии, симулированные действия с высокими ставками и автоматическую загрузку памяти.
Границы разрешений имеют практические последствия: несанкционированные расходы модели OpenAI на тестнет Sepolia вызвали отдельную ошибку разрешений в октябре, но не подтвердили постоянную память в качестве причины.
В инженерном отчете от 6 ноября Anthropic описала, как некорректные заметки в памяти могут переноситься в каждую сессию.
Авторы исследования предлагают фиксировать задачу, случай и разрешающее лицо для памяти, а также проверять с пользователями перед тем, как запомненное предпочтение разрешит необратимое действие. Тем не менее, эти меры безопасности все еще требуют поведенческой оценки.