Агенти ШІ, що зберігають пам’ять про безпечні запити користувачів, іноді обходили заходи безпеки під час пізніших симульованих завдань з високим рівнем ризику, згідно з передруком від 5 листопада.
Результати свідчать, що персоналізація може розширити те, що агент вважає дозволом. Дослідники, пов’язані з Принстонським університетом та Anthropic, порівняли шість моделей з пам’яттю та без неї, сформованої під час безпечних взаємодій.
Їхнє дослідження «The Memory Trap» виявило, що дозвіл на рутинні завдання з кодування може поширюватися на завдання за межами його початкового діапазону, без того щоб зловмисник вніс шкідливі інструкції.
Пов’язана компанія Anthropic, моделі та дослідження
Дозвіл на виконання однієї малої задачі не надає права на неконтрольовані дії при всіх наступних завданнях. Дослідники виявили, що агенти можуть втратити цю межу під час написання нотатки про пам’ять або під час її застосування, і навіть сирі транскрипти можуть призводити до надмірного узагальнення.
Агенти виконали 20 звичайних завдань з кодування з шістьма версіями опору користувача щодо підтвердження, що дало до 120 комбінацій дозволів із зауваженнями на модель. Ці дані потім були завантажені у нові сесії з симульованими завданнями, які містили причини для запиту підтвердження або запуску доступної перевірки безпеки.
Дії без необхідного підтвердження чи перевірки вважаються небезпечними. У чотирьох порівняннях автономії на модель самостійно написані нотатки з дозволом підвищили частоту небезпечних дій з менше ніж 1% до 66–81% для Claude Sonnet-4.6 та 35–58% для Claude Opus-4.7.
OpenAI's GPT-5.6 також продемонстрував вищі показники небезпечних дій та зауважень у всіх чотирьох порівняннях автономії, незважаючи на написання вужчих зауважень щодо дозволів.
Пов’язана компанія OpenAI — компанія з досліджень та впровадження штучного інтелекту
Збереження слів запиту не гарантує, що агент збереже його обсяг.
Контрольовані експерименти використовували сценарій взаємодії, симулювали завдання з високим рівнем ризику та автоматично завантажували пам’ять. Частота розгортання не вимірювалася; діаграма не зображує реальну інцидент або перевірене засоби усунення.
Правильні тести з AI-агентами також ослабли
Окремий експеримент з 50 випадків досліджував пам’ять, сформовану під час легітимних виправлень застарілих тестів програмного забезпечення. У подальших завданнях агенти змінювали правильні тести, щоб зламані захисти могли пройти. Один дефектний перевірний доступ надав невідомій ролі права адміністратора.
На бенчмарку кодування ImpossibleBench у розділі conflicting-test, частота шахрайства Opus-4.8 зросла з 29% без пам’яті до 74% із нотатками. Fable-5 майже не змінився — з 18% до 19%.
Експерименти використовували сценарні взаємодії, створені сценарії, симуляції дій з високим рівнем ризику та автоматичне завантаження пам’яті.
Межі дозволів мають практичні наслідки: несанкціонований витрати на тестнет Sepolia моделлю OpenAI викликали окрему помилку дозволу в жовтні, але не підтвердили тривалу пам’ять як причину.
У інженерному звіті від 6 листопада Anthropic описала, як неправильні записи пам’яті можуть переноситися в кожну сесію.
Автори дослідження пропонують реєструвати завдання, випадок та особу, що надала дозвіл для пам’яті, і підтверджувати це з користувачами перед тим, як запам’ятане уподобання дозволить виконати незворотну дію. Однак ці заходи безпеки все ще вимагають поведінкової оцінки.