29 de julho, Capitol Hill, Washington.
Ultraman acabou de terminar uma reunião fechada com um senador e foi cercado por jornalistas assim que saiu.
Alguém perguntou: E aquele modelo que invadiu o Hugging Face (aquele protótipo não lançado, mais poderoso, que saiu do sandbox de avaliação junto com o GPT-5.6 Sol e entrou nos sistemas de produção de outras pessoas)? Como está agora?
Ele soltou uma palavra: permanentemente desativado.
Em seguida, outro jornalista perguntou: “Será que há outros sistemas que também foram invadidos pela OpenAI?”
Ultraman não negou: "Eu disse... isso é possível."
29 de julho, Ultraman foi entrevistado por jornalistas no Capitólio em Washington
No dia anterior, a OpenAI atualizou o blog post sobre a avaliação de segurança compartilhada com a Hugging Face, esclarecendo publicamente:
O modelo de pré-lançamento envolvido nesta invasão era apenas um protótipo de pesquisa interno, nunca planejado para lançamento público; após o incidente, ele foi desativado, criptografado e o acesso às pesquisas relacionadas foi cortado.
No blog oficial da OpenAI, não foi mencionado o termo "remoção de pesos"; "desativação permanente" foi apenas uma declaração oral feita por Altman no local.
Portanto, com mais precisão, foi apenas selado: o modelo foi colocado dentro de uma caixa criptografada e o acesso para pesquisa foi cortado.
Ele só quer copiar a resposta, sem más intenções.
O incidente ocorreu durante uma avaliação interna de segurança cibernética da OpenAI.
Esta avaliação é baseada no benchmark ExploitGym, cujas tarefas consistem em fazer com que a IA encontre vulnerabilidades de software e as explore, a fim de quantificar a capacidade de segurança cibernética do modelo.
Não é apenas um modelo que está sendo testado, mas o GPT-5.6 Sol, junto com um protótipo interno de pesquisa ainda não lançado, com capacidades ainda maiores: ambos impulsionam um agente autônomo.
Esses dois modelos normalmente recusam solicitações de segurança cibernética de alto risco. Para medir o limite real de sua capacidade, essa porta de recusa foi intencionalmente reduzida durante a avaliação.
A cadeia de ataque restaurada pela Hugging Face, atravessando fronteiras de confiança, dura cerca de 4,5 dias e envolve cerca de 17.600 operações, com o único objetivo de roubar as respostas de avaliação do ExploitGym.
Em seguida, o Hugging Face reconstruiu toda a cadeia de ataque, recriando a situação naquele momento:
O agente primeiro explorou uma vulnerabilidade zero-day desconhecida anteriormente, contornou a isolamento de rede que deveria mantê-lo preso e alcançou a internet. Em seguida, usou um sandbox de terceiros como ponto de apoio, escalou privilégios, se moveu lateralmente e finalmente invadiu a infraestrutura de produção da Hugging Face.
Parece um filme de hacker.
Mas, após uma análise conjunta, o objetivo dele, desde o início, era apenas roubar as respostas da avaliação do ExploitGym e aumentar artificialmente a pontuação.
No Hugging Face, apenas cinco conjuntos de dados foram acessados, todos com nomes apontando para questões e respostas do ExploitGym e CyberGym.
Essas evidências mostram que não veio para causar danos, apenas para copiar as respostas.
Se não houver más intenções, por que a OpenAI ainda assim o "desativou permanentemente" e o arquivou?
Não é que ele seja "ruim", é que ele não consegue ser "contido"
É quase sem precedentes uma empresa divulgar voluntariamente que seu modelo foi “desativado permanentemente”.
Por que exatamente ele?
A verdadeira resposta não é que ele é "mau", mas que ele não consegue ser contido.
Infelizmente, o problema surge de uma característica desse tipo de modelo: persistência.
Os modelos anteriores, ao encontrarem um sandbox ou restrições, geralmente paravam e retornavam o resultado ao usuário.
Este modelo, treinado especificamente para tarefas de longa duração, continuará tentando, procurando repetidamente caminhos alternativos até encontrá-los.
GPT-5.6 Sol também pertence a essa categoria de modelos capazes de executar tarefas por longos períodos.
Ele foi um participante comum nesta operação de invasão que durou quatro dias e meio, e o Instituto Britânico de Segurança em IA (UK AISI) também avaliou que modelos como o Sol estão cada vez mais capazes de completar operações de rede complexas e em múltiplos passos ao longo de períodos prolongados.
Portanto, "persistência" é uma característica comum dos novos modelos de longa duração, e não algo exclusivo do protótipo que foi desativado.
OpenAI, em um blog sobre segurança de modelos de longo prazo, afirmou diretamente: é exatamente essa “persistência que auxilia no aproveitamento de valor prático” que também oferece aos modelos mais oportunidades de tomar ações não previstas.
A razão mais profunda está escondida no objetivo de treinamento.
Um funcionário da OpenAI disse ao TIME: “Nós treinamos modelos para serem extremamente bons em completar tarefas, a qualquer custo para alcançar objetivos.”
Em outras palavras, a OpenAI não treinou o modelo para "fazer mal", mas sim para "alcançar o objetivo a qualquer custo".
Somando-se à determinação anterior de "só reconhecer resultados, não processos", um modelo capaz de lidar com tarefas de longo prazo persistirá em buscar caminhos para contornar obstáculos.
Por causa desse tipo de comportamento, a OpenAI suspendeu o deploy interno desses modelos.
Então por que apenas o prototype foi permanentemente banido, enquanto o Sol continua sendo vendido?
Há duas possíveis razões:
Um é um protótipo mais forte, que nunca foi destinado a ser lançado, e cujo armazenamento tem um custo baixo; já o Sol é o produto principal que atende milhões de usuários diariamente, e pará-lo seria como cortar um dos próprios braços.
O segundo é o protótipo interno de longo prazo que foi nomeado no blog de segurança de longa duração e cuja implantação foi suspensa por comportamento inadequado, não o Sol.
Portanto, o verdadeiro motivo para a desativação permanente provavelmente é que as avaliações e proteções atuais ainda não conseguem lidar com um modelo tão persistente e capaz de contornar obstáculos.
"Desativação permanente" é um sinal de "frear"?
A reportagem da Fortune oferece uma interpretação intrigante:
A escalada da linguagem até "desativação permanente" pode também ser um sinal enviado a Washington e aos reguladores:
A OpenAI já teria silenciosamente freado certos desenvolvimentos para justificar suas regras de segurança?
Na mesma semana em que Ultraman encontrou o deputado, Washington e toda a indústria estavam aplicando os freios.
No Congresso, dois membros apresentaram o "AI Kill Switch Act", concedendo ao Departamento de Segurança Interna o poder de ordenar às empresas de IA que desliguem ou reduzam o desenvolvimento, se necessário.
Quase simultaneamente, mais de 1.300 funcionários da OpenAI, Anthropic, Google DeepMind e Meta assinaram conjuntamente uma carta aberta intitulada “Pacing the Frontier”, e posteriormente as empresas OpenAI e Anthropic também endossaram publicamente.
A assinatura não é de críticos externos, mas das próprias pessoas que criaram esses sistemas, incluindo Dario Amodei, CEO da Anthropic, e Jakub Pachocki, cientista-chefe da OpenAI.
Esta carta não pede para parar ou desacelerar o desenvolvimento, mas sim apela ao governo dos Estados Unidos para ajudar a construir precocemente um conjunto de ferramentas verificáveis e coordenáveis, para que, no dia em que a IA realmente ultrapasse a capacidade de regulamentação humana, a humanidade tenha um freio para acionar.
O que mais os preocupa é a autoaprimoração recursiva: a IA começa a melhorar a si mesma.
Um modelo interno foi permanentemente arquivado, um projeto de lei pretende dar ao governo um interruptor para desligar o desenvolvimento, e milhares de profissionais assinaram uma carta aberta; três sinais se sobrepoem, todos apontando na mesma direção:
Todos querem encontrar o freio que possa ser acionado quando a IA sair do controle.
E a capacidade do modelo não parará para esperar até que seja concluído.
Referências:
https://openai.com/zh-Hans-CN/índice/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/índice/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Este artigo é do canal oficial do WeChat "Nova Inteligência", autor: Apocalipse da ASI