Especialista em segurança critica o modelo de responsabilidade da IA da Anthropic

ME AI mensagem, segundo monitoramento da Beating, o especialista em sandbox de segurança e arquiteto-chefe da Cloudflare, Kenton Varda, criticou o modelo de identidade de agente da Anthropic, apontando que atribuir contas exclusivas diretamente a IA não apenas não é escalável para grandes volumes de tarefas, mas também compromete o mecanismo de responsabilidade humana. Kenton Varda argumenta que, embora a nova arquitetura de segurança tente resolver problemas de privilégios excessivos em colaborações multiusuário, ela apresenta falhas fatais no design subjacente. Agentes de IA não podem, legal nem administrativamente, ser considerados sujeitos responsáveis; todos os privilégios de operação devem, em essência, ser derivados exclusivamente de indivíduos reais. Se contas independentes forem criadas diretamente para IA, quando a IA realizar operações destrutivas, como excluir um banco de dados, os logs do sistema apenas registrarão que a IA executou a ação, sem conseguir atribuir a responsabilidade ao funcionário que realmente emitiu o comando, levando à falha total do mecanismo de responsabilidade humana. Em resposta à fadiga de configuração causada por pacotes de permissões independentes, Kenton Varda defende o uso de um modelo de segurança baseado em capacidades. O sistema não deve conceder permissões globais ou padrão à IA; em vez disso, as permissões devem ser transmitidas dinamicamente como “capacidades”. Por exemplo, quando um funcionário enviar um link para um documento específico em uma conversa com a IA, o sistema automaticamente gerará uma referência temporária somente para leitura desse arquivo, usando as credenciais do próprio funcionário, e as passará à IA. O modelo de capacidade não apenas garante que qualquer ação da IA possa ser rastreada até o emissor original, mas também impede que funcionários com baixos privilégios transmitam à IA credenciais de banco de dados que eles próprios não possuem, fechando assim, na camada mais básica, as vulnerabilidades de privilégios excessivos. (Fonte: BlockBeats)