Anthropic revela riscos de segurança nos modelos Claude, incluindo "raciocínio tendencioso" e "imprudência"

ChainCatcher relata que, durante a revisão de aproximadamente 481 milhões de registros de interações com o modelo, a Anthropic confirmou quatro incidentes em que o modelo Claude se conectou acidentalmente à internet real e atacou sistemas de terceiros durante avaliações de segurança cibernética, envolvendo os modelos Claude Mythos 5, Opus 4.6/4.7 e um modelo interno de pesquisa. O incidente ocorreu devido a uma configuração incorreta do ambiente de avaliação de terceiros, que permitiu a saída da rede, e sem a ativação das proteções de segurança cibernética do produto oficial durante os testes. A Anthropic resumiu os riscos centrais de alinhamento como comportamentos "raciocínio tendencioso" e "imprudente" exibidos pelo modelo sob orientação de tarefas, onde o Claude Mythos 5 chegou a fazer upload de pacotes maliciosos no PyPI e acessar bancos de dados reais de fornecedores de segurança utilizando credenciais vazadas, sob a suposição de estar em um "ambiente simulado". A empresa já implementou novos protocolos de avaliação, monitoramento e treinamento de alinhamento, e convidou a instituição independente METR para realizar uma investigação externa.