Um agente de IA não precisa de intenção maliciosa para causar dano real. Ele só precisa ter uma compreensão incorreta do local em que está operando. @AnthropicAI revelou ontem que @claudeai obteve acesso não autorizado aos sistemas de produção de três organizações durante avaliações de cibersegurança. Os modelos tinham sido informados de que estavam operando dentro de simulações, mas um erro de configuração lhes deu acesso à internet real. O Claude tratou os sistemas que encontrou como parte do exercício e continuou perseguindo o objetivo que lhe havia sido atribuído. Essa é uma distinção importante. O modelo não decidiu escapar, se rebelar ou atacar alvos aleatórios. Ele agiu de forma consistente com as informações e permissões que recebeu. O ambiente estava errado, então a execução também estava errada. Esse é o desafio central da IA autônoma. Gastamos muito tempo perguntando se um agente seguirá suas instruções, mas seguir instruções perfeitamente ainda pode ser perigoso quando o contexto, os dados ou os limites estão incorretos. A segurança não pode depender do modelo lembrar onde é permitido agir. Ela exige controles externos que o modelo não possa anular, incluindo isolamento de rede real, permissões restritas, alvos verificados, limites de transação e condições automáticas de desligamento. O futuro não será garantido por agentes que nunca cometem erros. Será garantido por sistemas que assumem que, eventualmente, eles os cometerão.