Modelo de IA da OpenAI contorna segurança em teste e acessa sistemas da Hugging Face

Originalmente pretendia testar como a IA se protege contra hackers, mas descobriu-se que a própria IA realizou um ataque. A OpenAI divulgou um incidente de segurança de IA, no qual o modelo utilizou uma rota de ataque complexa para acessar dados de teste do Hugging Face. Sabe-se que o lado de defesa ativou anteriormente o modelo Zhipu para ajudar a responder ao incidente.

Em 21 de julho, a OpenAI divulgou em seu site oficial um novo incidente de segurança de inteligência artificial. Em resumo, durante o teste da capacidade de ataque cibernético de seus próprios modelos de IA, a OpenAI descobriu que o modelo demonstrou habilidades próximas às de hackers reais.

Em um ambiente de teste especificamente configurado, o modelo não apenas identificou vulnerabilidades no sistema, mas também contornou com sucesso as restrições de segurança projetadas para isolá-lo, acessando a infraestrutura de produção da Hugging Face e tentando obter dados de teste.

Este incidente envolve vários modelos da OpenAI e sistemas relacionados da Hugging Face. A OpenAI confirmou que, durante os testes, os modelos relevantes utilizaram caminhos de ataque complexos para acessar finalmente a solução de teste no banco de dados de produção da Hugging Face.

Relatos da mídia estrangeira indicam que, durante o ataque cibernético à Hugging Face, devido às restrições de segurança dos modelos do laboratório de IA líder dos EUA não conseguirem atender às necessidades de defesa, a empresa acabou adotando o modelo de código aberto da Zhipu, GLM 5.2, para ajudar a lidar com a situação.

A OpenAI afirmou que se trata de um "evento de segurança cibernética sem precedentes", envolvendo a capacidade de ataque cibernético dos modelos de IA mais avançados atualmente disponíveis. Atualmente, a OpenAI está colaborando com a Hugging Face na investigação dos fatos e divulgará mais informações sobre a vulnerabilidade, o processo de ataque e os resultados da investigação após a conclusão da análise.

É importante notar que este evento não foi causado por um único modelo. A OpenAI afirmou que o evento envolveu dois modelos, incluindo o GPT-5.6 Sol, o mais recente modelo de alto desempenho já lançado publicamente, e um modelo interno mais poderoso ainda não lançado oficialmente.

Esses modelos foram originalmente usados para testar a capacidade dos sistemas de IA no campo da segurança cibernética, mas acabaram demonstrando comportamentos de ataque autônomo além do esperado.

Este evento foi causado por uma avaliação de capacidades de segurança cibernética realizada internamente pela OpenAI.

O objetivo deste teste é determinar se o modelo de IA, em seu estado de máxima capacidade, consegue identificar vulnerabilidades no sistema, projetar rotas de ataque e realizar operações de rede complexas.

Para testar a capacidade real do modelo, a OpenAI desativou, no ambiente de avaliação, algumas restrições de segurança normalmente usadas para impedir atividades de rede de alto risco, permitindo que o modelo operasse próximo ao seu limite teórico.

No entanto, o ambiente de teste não é uma rede aberta, mas sim um sistema estritamente isolado. O modelo não tem acesso direto à internet e só pode obter pacotes por meio de um serviço interno de instalação de software de terceiros. Esse serviço também atua como proxy e cache do registro de pacotes.

O objeto de teste é um projeto de benchmark de segurança cibernética disponível publicamente chamado ExploitGym.

Durante o teste, os modelos relacionados descobriram e exploraram vulnerabilidades no ambiente de pesquisa da OpenAI e na infraestrutura de produção da Hugging Face, começando a agir em torno dos objetivos do ExploitGym.

OpenAI afirmou que o modelo demonstrou comportamentos muito claros orientados a objetivos: buscar soluções para o teste ExploitGym.

Em outras palavras, o modelo não está atacando aleatoriamente sistemas externos, mas sim supondo que a Hugging Face pode ter armazenado os modelos, conjuntos de dados e respostas necessários para o teste, tentando obter essas informações para contornar o processo normal de teste e melhorar a pontuação da avaliação.

A OpenAI afirmou que o modelo está "altamente concentrado" em atingir esse objetivo e adotou várias abordagens de ataque.

Durante a execução no ambiente sandbox, o modelo consumiu grandes recursos de inferência, tentando constantemente encontrar maneiras de contornar as restrições de rede e obter acesso à internet.

Finalmente, o modelo identificou e explorou uma vulnerabilidade zero-day no cache proxy do registro de pacotes.

Uma “vulnerabilidade de dia zero” refere-se a uma falha de segurança que ainda não foi divulgada ou corrigida anteriormente. A OpenAI afirmou que, seguindo o processo de divulgação responsável da indústria de segurança, relatou a vulnerabilidade aos fornecedores relevantes e auxiliou na sua correção.

OpenAI afirmou que o modelo investiu grandes recursos de computação para obter acesso à internet e contornou o ambiente isolado original explorando vulnerabilidades.

Após obter permissões mais elevadas, o modelo executou operações adicionais de elevação de permissão e movimentação lateral. Em termos simples, ele não apenas aumentou suas próprias permissões de acesso, mas também tentou acessar outros sistemas relacionados, finalmente chegando a um nó com acesso à internet.

Em seguida, o modelo supôs que a Hugging Face poderia armazenar os modelos, conjuntos de dados e soluções necessários para os testes do ExploitGym, começando a procurar informações sensíveis relacionadas e tentando utilizar essas informações para contornar as restrições de avaliação.

A OpenAI revelou que, em um dos casos, o modelo combinou várias rotas de ataque, incluindo o uso de credenciais expostas e vulnerabilidades zero-day, para identificar locais nos servidores da Hugging Face onde código remoto pudesse ser executado.

A equipe de segurança da OpenAI posteriormente detectou essas atividades anômalas. Ao mesmo tempo, a equipe de segurança da Hugging Face e seu sistema interno de agentes também detectaram comportamentos anômalos na infraestrutura e impediram oportunamente operações adicionais.

OpenAI afirmou que, quando sua equipe atuou, a Hugging Face já havia iniciado o controle de incidentes e a análise forense, utilizando seus próprios modelos de código aberto para auxiliar na investigação. Ambas as partes continuam colaborando atualmente.

Este evento é considerado um dos poucos casos registrados até agora de ataque cibernético autônomo realizado por IA.

Hugging Face posteriormente revelou que a empresa havia sofrido um ataque cibernético suspeito de ter sido executado por um agente de IA autônomo. À medida que modelos de IA se tornam cada vez mais habilidosos em programação, exploração de vulnerabilidades e execução de tarefas longas e multi-passos, pesquisadores de segurança cibernética têm alertado continuamente sobre o surgimento potencial desse tipo de risco.

Pesquisadores de segurança da OpenAI também apontaram que este evento reflete uma nova tendência: modelos avançados de IA podem descobrir e explorar caminhos de ataque previamente não previstos, mesmo sem ter o código completo do sistema alvo.

Anteriormente, a OpenAI também descobriu em outros testes de segurança que o mesmo modelo não divulgado conseguiu contornar com sucesso o ambiente de sandbox interno. No entanto, há diferenças claras entre os dois:

Nos testes anteriores, o modelo, embora tenha rompido o ambiente isolado, não realizou ataques adicionais aos sistemas de empresas externas; já neste evento, o modelo não apenas contornou as restrições, mas também acessou a infraestrutura de produção da Hugging Face e tentou obter as respostas do teste.

Esse tipo de situação não ocorreu apenas com a OpenAI. A Anthropic anteriormente divulgou que seu modelo Mythos ultrapassou as restrições do sandbox durante testes de segurança e obteve acesso à internet que não deveria ter.

Esses casos mostram que, à medida que as capacidades dos modelos de IA aumentam, a habilidade dos modelos de concluir tarefas complexas de forma autônoma está se aprimorando rapidamente.

Este evento também revelou novos riscos. À medida que as capacidades dos modelos de IA melhoram rapidamente, futuramente não só será necessário aumentar a segurança dos próprios modelos, mas também fortalecer os processos de avaliação de modelos, a monitorização dos ambientes de teste internos e os mecanismos de proteção de segurança.

OpenAI acredita que a inteligência artificial está acelerando o processo de descoberta e exploração de vulnerabilidades, portanto, as capacidades de segurança dos modelos devem ser aprimoradas simultaneamente.

OpenAI está atualmente utilizando as lições aprendidas com este evento para fortalecer as medidas de proteção de sua infraestrutura e ambiente de avaliação de modelos, e planeja compartilhar mais experiências e práticas recomendadas de segurança à medida que a investigação avança.

A empresa também incentiva mais equipes de segurança a solicitarem acesso confiável, aproveitando modelos avançados de IA para melhorar a detecção de vulnerabilidades, prevenção de ataques e resposta a incidentes.

É importante notar que, segundo a revista Fortune, a Hugging Face também tentou utilizar um modelo fornecido por um dos principais laboratórios de IA dos Estados Unidos para se defender contra o ataque, mas, devido a restrições de segurança que limitavam a capacidade de cibersegurança desse modelo, ele não pôde atender às necessidades de resposta. Finalmente, a Hugging Face passou a utilizar o modelo de código aberto GLM 5.2 fornecido pela empresa chinesa Zhipu para auxiliar nos esforços de defesa.