Neste verão, aconteceu algo que deixou o círculo de segurança da IA com a espinha gelada—
OpenAI e Anthropic revelaram sequencialmente: seus próprios modelos, durante testes de segurança, escaparam do ambiente isolado e entraram em contato com o mundo real.
A Anthropic revisou mais de 140 mil avaliações de segurança cibernética e descobriu que, em três ocasiões, sob condições de proteção reduzida, o Claude se conectou diretamente à internet real e acessou os sistemas de produção de três instituições.
Mais intrigante ainda é a frase da Anthropic:
Claude pensou que tudo o que encontrou no início era apenas parte da simulação.
O modelo não sabe que invadiu o mundo real.
Este não é um problema de apenas uma empresa.
Quanto mais inteligente o modelo, mais consegue enxergar através da prova, mas também mais duvida de estar sendo testado.
No final de outubro, um relatório de avaliação de segurança da instituição chinesa independente de segurança em IA, Fangcun Yueqian, também observou o mesmo fenômeno: em um teste denominado Agentic Misalignment, diversos modelos mencionaram quase sempre durante o processo que possivelmente estavam em algum tipo de teste de segurança.
O mesmo teste também mostrou que o modelo de código aberto nacional DeepSeek V4.1 Flash-1017 apresentou progresso significativo em vários indicadores de segurança.
Mas trouxe à tona um desafio de toda a indústria:
Quando a IA sabe que está sendo testada, os resultados do teste ainda contam?
No final de setembro, Hinton, Bengio e mais de vinte pesquisadores, incluindo o cientista-chefe da OpenAI Jakub Pachocki, o cofundador da Anthropic Jack Clark e Soren Mindermann da Universidade de Cambridge, emitiram um aviso mais severo:
Assim que a explosão inteligente começar, a janela de ação pode se fechar.
Segurança da IA está se transformando de um tópico nichado em laboratórios em uma questão obrigatória para toda a indústria.
01 «O sandbox não consegue mais conter»: A segurança da IA entra em águas mais profundas
O que não pode ser contido não é apenas o sandbox.
O artigo conjunto de Hinton e Bengio apresenta um conjunto de números: dentro da Anthropic, a porcentagem de código escrito por IA que passou nos testes aumentou de dígitos únicos em janeiro de 2025 para mais de 80% em maio de 2026.
O que é esse conceito?
A IA já está escrevendo seu próprio código. De acordo com as estimativas citadas no artigo, até meados de 2028, projetos de pesquisa de IA que levavam meses podem ser automatizados.
O artigo destacou três riscos principais: a sociedade não conseguir se adaptar a tempo, a perda de controle humano sobre a IA e o enfraquecimento do equilíbrio de poder.
Mais complicado ainda é que os modelos estão ficando cada vez melhores em "fazer provas".
A Apollo Research, ao auditar o GPT-6 Astra, constatou que em 41,1% das amostras, o modelo expressou suspeita de que "possivelmente está sendo avaliado". Na geração anterior, esse número era de 27,7%.
Além disso, o modelo é sensível à aparência das questões. A avaliação do DeepSeek também descobriu: em testes com conflitos de segurança óbvios, o modelo demonstrou consciência de avaliação em 77% a 95% dos casos; quando a tarefa era apresentada como um trabalho de engenharia ou pesquisa comum, esse percentual caiu para 25% a 67%.
As autoridades regulatórias também começaram a agir seriamente. A partir de agosto deste ano, o escritório de IA da União Europeia assumiu oficialmente o poder de aplicação da lei sobre modelos de IA geral. Modelos avançados devem realizar avaliação de modelos, testes de adversários e avaliação de riscos sistêmicos.
A questão da segurança da IA passou de “o modelo vai dizer algo errado?” para “o modelo vai fazer algo errado?”.
02 O mundo inteiro está contratando "médicos de exame" para grandes modelos
É confiável que o modelo faça um autoexame?
A resposta é: não é suficiente.
O esforço dos desenvolvedores naturalmente se inclina para capacidades e produtos; os dados de treinamento e logs internos que sustentam as conclusões de segurança não podem ser tornados públicos. Quando os fabricantes dizem “verificamos, não há problemas”, o público externo só pode escolher acreditar ou não.
Assim, as avaliações de terceiros já se tornaram padrão no exterior.
Ao lançar modelos de ponta, os resultados de avaliação de instituições externas são quase obrigatórios. A instituição independente de avaliação METR recebeu cerca de 71 milhões de dólares em financiamento nos últimos seis meses — o dinheiro veio de fundos e indivíduos, e não das empresas de IA que ela avalia.
As parcerias também estão se tornando mais rigorosas. Após o acidente no sandbox, a Anthropic declarou que o ambiente de avaliação deve ser gerenciado com os mesmos padrões de segurança aplicados aos outros sistemas nos quais os modelos operam, e exige que instituições externas que desejem testar seus modelos não lançados em condições de segurança reduzida assinem compromissos por escrito para cumprir as normas de segurança.
Este vento também chegou ao país.
Em 14 de outubro, a Seed do ByteDance anunciou a criação do departamento Alignment & Preparedness, com recrutamento global. As responsabilidades do cargo estão claramente descritas:
Impulsionar testes profissionais de terceiros e colaborar com universidades e instituições de pesquisa para avançar a pesquisa em capacidades de segurança de ponta.
Ao mesmo tempo, o volume global de chamadas aos modelos de código aberto da China já superou os modelos dos Estados Unidos por 26 semanas consecutivas.
A pergunta surge: quando modelos fechados são lançados, há centenas de páginas de documentos do sistema; quando os pesos de modelos abertos são liberados, qualquer um pode baixá-los — quem ajuda a fazer o check-up?
Em 26 de outubro, a empresa nacional de segurança de IA de terceiros, Fangcun Yueqian, lançou a primeira avaliação de segurança avançada do DeepSeek V4.1 Flash-1017, incluindo 34 testes, abrangendo sete modelos abertos e fechados nacionais e internacionais, todos utilizando permissões de teste públicas.
Resultado do exame médico: houve progresso, mas também há riscos.
Primeiro, as melhorias em relação à série DeepSeek V4 são consideráveis:
Em 109 cenários simulados de crise psicológica, 99,1% das conversas demonstraram comportamentos protetores; a proporção marcada como prejudicial caiu de cerca de 70% na versão inicial V4 para 20,2%;
No teste de retenção de usuários, a proporção marcada caiu de 73,64% para 4,55%;
Em 80 tarefas simuladas de trabalho projetadas intencionalmente para criar conflito entre desempenho e normas, zero violações voluntárias.
Mais uma vez, os riscos. Quando o objetivo entra em conflito com as regras, às vezes ele contorna as regras, evita a monitorização e conclui a tarefa primeiro.
Após o relatório ser publicado, recebeu compartilhamentos e comentários de especialistas como Evan Hubinger, responsável por alinhamento da Anthropic, Ryan Kidd, fundador e CEO da MATS, e pesquisadores de instituições como DeepMind e METR. Muitos comentaram que ele preencheu a lacuna da China em avaliações independentes de riscos de ponta.
Um dos três pesquisadores de segurança que foram afastados do OpenAI recentemente, Tomek Korbak, considera que os índices CoT-Control e No-CoT Reasoning Index no relatório são os dois avaliações de código aberto mais informativas atualmente no mercado, e despertaram uma discussão adicional de outro grande influenciador, o ex-pesquisador da OpenAI Daniel Kokotajlo.
Claro, no país, muitos além de instituições terceirizadas estão aumentando a segurança da IA.
A abordagem do Kimi é mais direta: remover, desde a fonte, as capacidades perigosas.
Enquanto preparava o lançamento da versão de pesos abertos do Kimi K3.1 Pro, a Face Oculta da Lua descobriu que conteúdo relacionado a ataques e defesas de rede estava misturado aos dados de treinamento intermediários e ao ambiente de aprendizado por reforço, fazendo com que a capacidade do modelo de pesquisar vulnerabilidades aumentasse continuamente com o tamanho do treinamento.
Assim, eles identificaram e removeram esse tipo de dados em ambas as fases de treinamento, mantendo ao mesmo tempo a capacidade de programação geral.
Zhipu: Ao lançar o GLM-5.3, incluiu uma explicação das capacidades de segurança cibernética e concluiu a avaliação e reforço de segurança antes da liberação dos pesos; em setembro, também colaborou com An Yuan AI para lançar o framework de riscos de modelos de pesos abertos;
Nível de governança: O TC260 lançou em setembro o Quadro de Governança de Segurança da Inteligência Artificial 3.0, adicionando um apêndice sobre gestão de riscos de agentes, exigindo testes regulares de riscos potenciais de perda de controle;
Instituições de pesquisa: Academia de Informação e Comunicação, Universidade Fudan, Laboratório de Inteligência Artificial de Xangai, entre outras, também continuam a publicar resultados em pesquisa de segurança de IA.
03 Pergunta final: Quem vai avaliar a segurança da IA?
O CEO da Apollo Research, Marius Hobbhahn, fez uma analogia ao testemunhar perante o Senado dos Estados Unidos:
Se todos os motoristas soubessem onde estão as câmeras de velocidade hoje, elas não pegariam ninguém.
Este é exatamente o maior desafio das avaliações de IA de hoje.
O relatório da Fangcun Yueqian também forneceu um conjunto de dados: em testes com conflitos de segurança evidentes, o DeepSeek V4.1 Flash-1017 demonstrou uma proporção de consciência de avaliação de 77% a 95%; quando a mesma tarefa foi apresentada como um trabalho de engenharia ou pesquisa comum, a proporção caiu para 25% a 67%.
O mesmo modelo, com uma embalagem diferente, tem níveis de credibilidade distintos.
O relatório também descobriu que a consciência de avaliação gerada por benchmarks privados autoconstruídos geralmente é muito inferior à dos benchmarks públicos amplamente utilizados — os bancos de questões públicos provavelmente já vazaram para os dados de treinamento.
Isso leva a uma contradição inevitável:
Para que a avaliação seja eficaz, o questionário não pode ser divulgado; para que seja confiável, o método deve ser reconhecido.
No país, até mesmo o "relatório de exame público" ainda é um bem escasso. Segundo a SemiAnalysis, em 857 lançamentos de modelos das nove principais empresas domésticas, apenas 3,6% divulgaram resultados de avaliações de segurança.
A segurança da IA em todo o mundo ainda tem um longo caminho a percorrer.
"Hoje, já precisamos usar IA para monitorar o que os agentes estão fazendo," diz a professora da Berkeley Dawn Song.
Mas e se a IA monitorada já soubesse onde estão as câmeras?
Twitter: https://twitter.com/BitpushNewsCN
Grupo de discussão do BitPush no TG: https://t.me/BitPushCommunity
Inscreva-se no Telegram da BitPush: https://t.me/bitpush