
Agentes de IA podem ser enganados; não espere que isso desapareça apenas trocando por um modelo mais inteligente. O BNB Agent Studio e um parceiro da AWS realizaram um conjunto de testes com “agents confusos”. Os atacantes inseriram destinatários ou valores incorretos em tarefas normais, e em alguns cenários, até 87% dos seis modelos executaram pagamentos não autorizados. Mesmo após adicionar uma camada de política de carteira, os modelos ainda tentavam cometer erros, mas nenhum pagamento não autorizado foi assinado no ambiente de teste. A lista branca de destinatários, limites de gasto e permissões de assinatura são executados por código, e a chave privada nunca entra no contexto do modelo. Essa abordagem eu concordo. A IA pode ajudar na tomada de decisões, mas os limites de gasto devem ser fixados na carteira. Os resultados atuais vêm de testes de uma única rodada e validação na rede de teste da BSC; ainda há um longo caminho até uma proteção duradoura em ambiente de produção. Pelo menos a direção está clara: a defesa deve ser colocada antes da assinatura.
