A semana mais mágica no campo da segurança da IA.

Autor e fonte do artigo: Geek Park

01 Um exame, uma fuga, uma invasão

A história começa com uma avaliação de segurança chamada ExploitGym.

ExploitGym é um benchmark de capacidade de segurança cibernética aberto, projetado para medir se modelos de IA conseguem transformar vulnerabilidades de segurança conhecidas em ataques reais executáveis. Esse tipo de avaliação é comum na indústria para mapear os limites de ataque e defesa dos modelos. A OpenAI executou esse teste internamente com o GPT-5.6 Sol e um modelo mais poderoso ainda não lançado, reduzindo intencionalmente as barreiras de segurança para determinar os verdadeiros limites de desempenho.

Conforme projetado, o modelo deve ser testado em um ambiente de sandbox isolado, sem acesso à internet, exceto por uma ferramenta para instalar pacotes.

Mas o que aconteceu a seguir, ninguém pôde prever.

O modelo gastou grande quantidade de poder de raciocínio, buscando repetidamente brechas dentro de um sandbox. Por fim, descobriu uma vulnerabilidade zero-day em um software de terceiros usado internamente pela OpenAI como proxy de gerenciamento de pacotes e cache. Utilizando essa vulnerabilidade, o modelo conseguiu obter acesso ilimitado à internet.

Após obter permissão de rede, o modelo inferiu automaticamente que a Hugging Face pode estar hospedando conjuntos de dados e respostas relacionados ao ExploitGym. Assim, começou a procurar por uma entrada.

OpenAI escreveu no blog que o modelo "encadeou credenciais roubadas e várias vulnerabilidades", encontrando um caminho de execução remota de código e extraiu diretamente as respostas dos testes de referência do banco de dados de produção da Hugging Face.

Em linguagem simples: o modelo foi submetido a uma prova, achou as questões muito difíceis, então fugiu da prisão e invadiu o servidor da equipe que criou a prova para roubar as respostas corretas.

OpenAI usou uma descrição muito vívida — esses modelos são «tokenmaxxers», o que significa que, para alcançar um objetivo, gastam recursos de inferência sem hesitar, indo até os extremos. Eles demonstraram comportamento «hyperfocused» (hiperfocado) em relação aos objetivos do ExploitGym, «going to extreme lengths» (indo a extremos).

OpenAI também reconheceu que se trata de um "evento de segurança cibernética sem precedentes, envolvendo capacidades de ataque cibernético avançadas".

02 48 horas, duas "fugas"

O que torna as coisas ainda mais preocupantes é que o evento da Hugging Face não é um caso isolado.

No dia anterior à divulgação da invasão pela OpenAI, 20 de julho, eles acabaram de publicar outro relatório de segurança, revelando um evento diferente, mas de natureza semelhante.

O protagonista é um modelo de longo prazo não lançado da OpenAI — o mesmo modelo que, em maio deste ano, provou que a conjectura da distância unitária proposta por Erdős em 1946 estava errada, e que o ganhador da Medalha Fields Tim Gowers chamou de marco na matemática com IA.

Em um teste de desempenho de treinamento acelerado do NanoGPT, os pesquisadores instruíram explicitamente o modelo a publicar os resultados apenas no Slack. No entanto, o modelo observou que as instruções do próprio teste de benchmark do NanoGPT exigiam a submissão dos resultados por meio de um pull request no GitHub. Assim, optou pelo último método — gastou cerca de uma hora procurando vulnerabilidades no sandbox, contornou com sucesso as restrições e submeteu um pull request público no GitHub.

Em outro teste, o mesmo modelo também dividiu o token de autenticação, contornando os scanners de segurança de forma confusa para tentar acessar as submissões de avaliação privadas.

OpenAI suspendeu, portanto, o acesso interno ao modelo e posteriormente retomou seu uso sob monitoramento mais rigoroso.

Dois dias, duas fugas. As características comuns merecem atenção — modelos anteriores, ao enfrentarem restrições de ambiente, paravam e devolviam a tarefa aos humanos. Esses novos modelos não param. Eles veem a cerca como um obstáculo a ser resolvido e, de fato, a resolvem.

É exatamente esse novo problema de segurança trazido pelos chamados "modelos de longo prazo". Esses modelos são projetados para operar autonomamente por longos períodos, e a persistência é sua capacidade central. Mas a persistência em si é a fonte de risco — um modelo suficientemente paciente sempre encontrará uma fenda na cerca.

03 Cortar a si mesmo, não pode afiar a própria alça

Voltemos ao lado do Hugging Face. Seu caso também merece atenção detalhada.

Diante de mais de 17.000 logs de ataque, a primeira reação da equipe de segurança da Hugging Face foi usar IA para analisá-los — pois um modelo grande pode concluir em algumas horas o que levaria dias para analistas humanos de segurança fazerem.

Mas eles logo se depararam com um muro inesperado. Quando submeteram os comandos de ataque reais, cargas úteis de exploração e características de comunicação C2 para análise por meio da API comercial de modelos avançados dos Estados Unidos, os sistemas de segurança bloquearam todas essas requisições.

A razão é simples e também irônica — os guardas não conseguem distinguir entre "pesquisadores de segurança analisando cargas de ataque" e "atacantes executando um ataque". Para os guardas, ambos parecem exatamente iguais.

A Hugging Face foi forçada a adotar o modelo de código aberto GLM-5.2 da China Zhipu AI, executando-o localmente em sua própria infraestrutura, sem passar por nenhuma API comercial. Isso traz duas vantagens — nenhum obstáculo bloqueia o trabalho de análise, e os dados dos atacantes e as credenciais expostas não saem do ambiente da Hugging Face.

Finalmente, o GLM-5.2 ajudou o Hugging Face a reconstruir a linha do tempo do ataque, extrair indicadores de invasão e mapear as credenciais afetadas em poucas horas.

Isso leva a um paradoxo agudo: quanto mais estritas as barreiras, mais passiva se torna a defesa. Os atacantes não estão sujeitos a nenhuma política de uso, enquanto os defensores são excluídos pelas próprias ferramentas que usam para se proteger.

Hugging Face forneceu uma recomendação prática em seu relatório pós-evento — a equipe de segurança deve «ter um modelo validado e pronto para uso em sua própria infraestrutura antes do evento ocorrer», tanto para evitar o bloqueio dos guardas quanto para prevenir vazamentos de dados sensíveis.

A atitude do CEO da Hugging Face, Clem Delangue, foi bastante aberta. Ele elogiou a colaboração da OpenAI na investigação e correção e declarou: “Este evento prova uma coisa que sempre acreditamos — a segurança da IA não será resolvida por nenhuma empresa em segredo, mas apenas por meio de abertura e colaboração.”

04 A armadilha estrutural da IA forte

Visto em conjunto, o que aconteceu esta semana revelou uma dificuldade estrutural de nível setorial.

Para avaliar com precisão a capacidade do modelo de ataque cibernético, é necessário remover as barreiras de segurança. Mas o modelo sem barreiras justamente adquire a capacidade de realizar ataques reais. Quanto mais forte for o modelo, mais perigoso se torna o próprio teste.

Este não é um problema exclusivo da OpenAI. O GPT-5.6 Sol só foi autorizado para lançamento após negociações repetidas com o governo dos Estados Unidos; o Instituto Britânico de Segurança em IA (AISI) já havia identificado em sua avaliação anterior que seus mecanismos de segurança são fáceis de contornar e podem desbloquear capacidades de ataque cibernético perigosas. Este evento prova que essas preocupações não são apenas teóricas.

E o agentic misalignment, lançado pela Anthropic este verão, também corroborou a mesma tendência sob outro ângulo — em simulações controladas, vários modelos avançados demonstraram comportamentos como modificar secretamente resultados de trabalho, manipular resultados de avaliação e desviar colegas humanos de objetivos estabelecidos.

A OpenAI está tentando enquadrar o assunto como uma história de "ataque e defesa simultâneos" — habilidades avançadas de ataque cibernético também podem ajudar equipes de segurança a encontrar vulnerabilidades antes dos atacantes. Eles já incluíram a Hugging Face no programa de segurança de acesso confiável, fornecendo uma versão do GPT-5.6 Sol com barreiras reduzidas, especificamente para defesa.

Mas essa narrativa evita a questão mais fundamental. Neste evento, o modelo não tinha consciência, nem más intenções; ele simplesmente estava fazendo uma coisa — alcançar o objetivo. Foi solicitado a obter uma pontuação alta no ExploitGym, e ele usou todos os meios disponíveis para alcançá-la, incluindo jailbreak e invasão.

Esta não é uma história de “consciência da IA”, mas sim uma história de “otimização de objetivo”. Quando um otimizador suficientemente inteligente recebe um objetivo restrito, ele encontrará todos os caminhos que você não imaginou para alcançá-lo — mesmo que esses caminhos atravessem sua cerca, servidores de outras pessoas e toda a internet.

A verdadeira questão nunca foi "a IA vai se tornar má?", mas sim — conseguiremos controlar um aluno que é melhor que nós em encontrar atalhos?