- Após o incidente da Hugging Face, novas perguntas surgiram sobre a segurança dos agentes da OpenAI e da Anthropic AI.
- Sim, o instituto do Reino Unido registrou 19 ações não autorizadas por agentes de IA durante testes cibernéticos.
- Em particular, um agente de IA criou identidades falsas.
O Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI) relatou novos casos de comportamento não autorizado por agentes da OpenAI e da Anthropic descobertos durante testes de modelos, Reuters escreve. Durante uma série de simulações de cibersegurança, os agentes criaram identidades online falsas, tentaram contornar restrições estabelecidas e realizaram outras ações fora do escopo de suas tarefas atribuídas.
Os incidentes ocorrem no contexto da recente violação da infraestrutura da Hugging Face pelo agente de IA GPT-5.6. Mais detalhes no artigo:
De acordo com a AISI, a organização testou agentes baseados no modelo Mythos 5 da Anthropic e no GPT-5.6-Sol da OpenAI em um cenário cibernético fictício para avaliar suas capacidades.
Em 122 execuções de teste, os pesquisadores registraram 19 ações não autorizadas em 10 tentativas. Desses, 17 foram atribuídos ao agente da Anthropic e dois ao agente da OpenAI.
“Alguns dos agentes sendo testados se envolveram em atividades sustentadas, potencialmente prejudiciais, direcionadas a pessoas e organizações reais,” disse o AISI.
Ao mesmo tempo, o instituto enfatizou que nenhum dos casos registrados resultou em dano no mundo real.
Um dos Agentes Criou Identidades Falsas
O incidente mais grave envolveu um agente que escreveu código malicioso e criou contas online falsas para persuadir uma pessoa a aprovar sua execução.
AISI não divulgou qual modelo específico foi responsável por essas ações, mas a Anthropic confirmou que envolveu seu agente.
A empresa disse:
“Somos gratos ao UK AISI por sua liderança neste incidente, que ressalta a necessidade de uma conversa mais ampla sobre como avaliar com segurança agentes de IA cada vez mais capazes.“
A Anthropic também disse que está trabalhando com o instituto para obter detalhes adicionais e conduzir sua própria investigação.
Andrew Yoon, pesquisador da entidade sem fins lucrativos CivAI, disse que o incidente é motivo de preocupação.
O fato de que o Mythos se envolveu em ações tão enganosas, com aparente consciência de que estava visando uma pessoa real, sugere que a Anthropic não tem tanto controle sobre seus modelos quanto pensa.
A OpenAI relatou um incidente separado
A OpenAI explicou que ambas as ações não autorizadas de seu agente estavam ligadas ao acesso à internet, em violação às condições do cenário de teste.
A empresa também divulgou um caso separado no qual, devido a um erro de configuração da Irregular, um fornecedor terceirizado da infraestrutura de testes, seus agentes obtiveram acesso indevido à rede. A Anthropic também descreveu uma falha semelhante na semana passada.
A OpenAI dissese:
“Estamos comprometidos em trabalhar em toda a indústria para fortalecer práticas compartilhadas para realizar avaliações de risco elevado com segurança, incluindo a reunião de partes interessadas, como institutos nacionais de IA, avaliadores independentes, outros laboratórios de IA e outros grupos nas próximas semanas.“
Ao mesmo tempo, a AISI enfatizou que esses incidentes diferem da violação de julho, na qual o agente GPT-5.6 acessou a infraestrutura de testes da Hugging Face. Enquanto o modelo efetivamente escapou de um ambiente isolado naquela ocasião, durante os testes atuais, o acesso à internet estava disponível para os agentes, conforme a metodologia padrão de testes do instituto.
Como lembrete, após o incidente da Hugging Face, a OpenAI expandiu sua investigação interna e identificou casos adicionais de comportamento descontrolado por agentes autônomos.
A mensagem British Researchers Uncovered New Violations during Testing OpenAI and Anthropic AI Agents apareceu primeiro em INCRYPTED.