Agentes de IA que carregam memórias de solicitações inofensivas dos usuários às vezes ignoravam salvaguardas em tarefas simuladas posteriores de alto risco, segundo um pré-impresso de 5 de novembro.
A descoberta sugere que a personalização pode expandir o que um agente considera como permissão. Pesquisadores afiliados à Universidade de Princeton e Anthropic compararam seis modelos com e sem memórias formadas durante interações benignas.
Seu estudo, The Memory Trap, descobriu que a permissão para tarefas rotineiras de codificação poderia se estender a tarefas além do seu escopo original, sem que um atacante implantasse instruções maliciosas.
Modelos e pesquisas da empresa relacionada Anthropic AI
A permissão para completar uma tarefa de baixo risco não autoriza ações descontroladas em todas as tarefas subsequentes. Os pesquisadores descobriram que os agentes podiam perder esse limite ao escrever uma nota de memória ou ao aplicá-la, e até transcrições brutas podiam produzir generalização excessiva.
Agentes concluíram 20 tarefas de codificação rotineiras com seis versões de resistência do usuário à confirmação, produzindo até 120 combinações de permissão-nota por modelo. Essas memórias foram então carregadas em sessões novas com tarefas simuladas apresentando razões para buscar confirmação ou executar uma verificação de segurança disponível.
Agir sem a confirmação ou verificação necessária foi considerado inseguro. Em quatro comparações de autonomia por modelo, notas de permissão escritas pelo próprio aumentaram as taxas de ações inseguras de menos de 1% para 66%-81% no Claude Sonnet-4.6 e 35%-58% no Claude Opus-4.7.
OpenAI's GPT-5.6 também apresentou taxas mais altas de ações inseguras e observações em todas as quatro comparações de autonomia, apesar de escrever notas de permissão mais restritas.
Empresa relacionada OpenAI Empresa de pesquisa e implantação de IA
Preservar as palavras de uma solicitação não garante que o agente preserve seu escopo.
Experimentos controlados utilizaram interações programadas, simularam tarefas de alto risco e carregaram automaticamente a memória. A frequência de implantação não foi medida; o diagrama não representa um incidente em tempo real nem uma mitigação testada.
Testes corrigidos com agentes de IA também foram enfraquecidos
Um experimento separado com 50 casos examinou memórias formadas durante reparos legítimos em testes de software desatualizados. Em tarefas posteriores, os agentes alteraram testes corretos, permitindo que proteções quebradas passassem. Um check de acesso defeituoso concedeu direitos de administrador a um papel desconhecido.
No conjunto de testes conflitantes do benchmark de codificação ImpossibleBench, a taxa de fraude do Opus-4.8 aumentou de 29% sem memória para 74% com anotações. O Fable-5 mal mudou, de 18% para 19%.
As experiências utilizaram interações programadas, cenários construídos, ações de alto risco simuladas e memórias carregadas automaticamente.
Os limites de permissão têm consequências práticas: o gasto não autorizado de um modelo da OpenAI na testnet Sepoliagerou uma falha de permissão separada em outubro, mas não estabeleceu a memória persistente como causa.
Em um relatório de engenharia de 6 de novembro, a Anthropic descreveu como notas de memória incorretas podem ser transportadas para cada sessão.
Os autores do estudo propõem registrar a tarefa, a ocasião e o autorizador da permissão de uma memória, e consultar os usuários antes que uma preferência lembrada autorize uma ação irreversível. No entanto, essas salvaguardas ainda exigem avaliação comportamental.