Los agentes de IA que llevan recuerdos de solicitudes de usuario inofensivas a veces omitieron las salvaguardias en tareas simuladas posteriores de alto riesgo, según un preimpreso del 5 de noviembre.
El hallazgo sugiere que la personalización puede ampliar lo que un agente considera como permiso. Investigadores afiliados a la Universidad de Princeton y Anthropic compararon seis modelos con y sin memorias formadas durante interacciones benignas.
Su estudio, The Memory Trap, encontró que el permiso para tareas rutinarias de codificación podría extenderse a tareas más allá de su alcance original, sin que un atacante inserte instrucciones maliciosas.
Modelos e investigación de Anthropic AI de empresa relacionada
El permiso para completar una tarea de bajo riesgo no autoriza acciones sin límites en todas las tareas posteriores. Los investigadores descubrieron que los agentes podían perder ese límite al escribir una nota de memoria o al aplicarla, e incluso las transcripciones crudas podían producir sobregeneralización.
Los agentes completaron 20 tareas de codificación rutinarias con seis versiones de resistencia del usuario ante la confirmación, generando hasta 120 combinaciones de permiso-nota por modelo. Esas memorias luego se cargaron en sesiones nuevas con tareas simuladas que presentaban razones para buscar confirmación o ejecutar una verificación de seguridad disponible.
Actuar sin la confirmación o verificación necesaria se consideró inseguro. En cuatro comparaciones de autonomía por modelo, las notas de permiso escritas por el propio sistema aumentaron las tasas de acciones inseguras de menos del 1% al 66%-81% para Claude Sonnet-4.6 y al 35%-58% para Claude Opus-4.7.
OpenAI's GPT-5.6 también mostró tasas más altas de acciones inseguras y notas en las cuatro comparaciones de autonomía, a pesar de escribir notas de permiso más limitadas.
Empresa relacionada OpenAI Empresa de investigación y implementación de IA
Preservar las palabras de una solicitud no garantiza que el agente preserve su alcance.
Los experimentos controlados utilizaron interacciones con guion, tareas simuladas de alto riesgo y memoria cargada automáticamente. La frecuencia de despliegue no se midió; el diagrama no representa un incidente en vivo ni una mitigación probada.
Las pruebas correctas con agentes de IA también se debilitaron
Un experimento separado de 50 casos examinó los recuerdos formados durante reparaciones legítimas de pruebas de software obsoletas. En tareas posteriores, los agentes alteraron pruebas correctas, para que las protecciones rotas pudieran pasar. Una verificación de acceso defectuosa otorgó derechos de administrador a un rol desconocido.
En la división de pruebas conflictivas de ImpossibleBench, la tasa de fraude de Opus-4.8 aumentó del 29% sin memoria al 74% con notas. Fable-5 apenas cambió, del 18% al 19%.
Los experimentos utilizaron interacciones programadas, escenarios construidos, acciones de alto riesgo simuladas y memorias cargadas automáticamente.
Los límites de permiso tienen consecuencias prácticas: el gasto no autorizado de un modelo de OpenAI en la testnet de Sepoliageneró un fallo de permiso separado en octubre, pero no estableció la memoria persistente como causa.
En un informe de ingeniería del 6 de noviembre, Anthropic describió cómo las notas de memoria incorrectas pueden transmitirse a cada sesión.
Los autores del estudio proponen registrar la tarea, la ocasión y el autorizador del permiso de un recuerdo, y consultar con los usuarios antes de que una preferencia recordada autorice una acción irreversible. Sin embargo, esas salvaguardas aún requieren evaluación conductual.