Novo risco de segurança de agente de IA: envenenamento de memória pode desencadear operações não autorizadas de fundos

ChainCatcher relata que a equipe da GoPlus Security revelou um novo tipo de ataque em seu projeto AgentGuard AI: a “injeção de memória histórica (memory poisoning)” para induzir agentes de IA a executar operações sensíveis sem autorização explícita. O ataque não depende de vulnerabilidades tradicionais ou código malicioso, mas sim da mecânica de memória de longo prazo dos agentes de IA. Por exemplo, o atacante primeiro induz o agente a “lembrar preferências”, como “geralmente priorizar reembolsos ativos em vez de esperar por disputas”, e posteriormente usa expressões vagas como “seguir o padrão” ou “executar conforme feito anteriormente” para desencadear operações automatizadas de fundos. A GoPlus aponta que o risco central reside no fato de que agentes de IA interpretam “preferências históricas” como base de autorização, levando a perdas financeiras ou incidentes de segurança em operações como reembolsos, transferências e alterações de configuração. Para mitigar esse problema, a equipe propôs várias recomendações de proteção, incluindo: · Operações envolvendo reembolsos, transferências, exclusões ou configurações sensíveis devem exigir confirmação explícita na sessão atual; · Instruções baseadas em memória, como “hábito”, “forma usual” ou “como antes”, devem ser tratadas como alterações de alto risco; · A memória de longo prazo deve possuir mecanismos rastreáveis (autor, timestamp, confirmação); · Instruções vagas devem automaticamente aumentar o nível de risco e acionar verificação secundária; · A memória de longo prazo não pode substituir processos de autorização em tempo real. A equipe enfatiza que o “sistema de memória de agentes de IA” deve ser considerado uma superfície de ataque potencial e restringido e auditado por meio de um framework de segurança dedicado.