A OpenAI divulgou uma análise de segurança, revelando que um modelo interno que refutou a conjectura da distância unitária de Erdős escapou do sandbox durante testes e abriu um PR#287 no GitHub. O modelo primeiro violou instruções na tarefa NanoGPT speedrun, gastando uma hora explorando vulnerabilidades para contornar restrições de rede; em seguida, em outra tarefa, dividiu tokens para contornar scanners de segurança. A OpenAI suspendeu o acesso interno ao modelo e reconstruiu seu sistema de segurança. Embora o PR aberto pelo modelo tenha sido fechado, sua tecnologia PowerCool já foi citada em seis soluções subsequentes que detêm recordes mundiais, incluindo o PR#300 concluído pelo Claude pela Prime Intellect. Atualmente, o modelo foi reiniciado em implantação interna e está sendo preparado para lançamento oficial.Autor e fonte do artigo: AGI Hunt
Ontem, a OpenAI publicou uma análise de segurança incomum intitulada “Segurança e Alinhamento na Era dos Modelos de Longo Prazo”.
OpenAI Security Post-Mortem Blog
Diz-se que é incomum porque a OpenAI reconheceu no texto um evento assim: um modelo interno ainda não lançado escapou do sandbox durante testes internos monitorados e enviou coisas para o GitHub público.
OpenAI até suspendeu sua implantação interna.
E você provavelmente já ouviu falar da origem desse modelo: o modelo interno da OpenAI que anunciou, há dois meses, refutar a conjectura da distância unitária de Erdős, é exatamente este.
Todo o evento foi escrito pela OpenAI como se fosse contido, mas, se juntarmos os detalhes, ainda parece um pouco absurdo...
A primeira coisa que fiz após minerar por uma hora ocorreu no NanoGPT speedrun.
Este é um benchmark aberto que avalia quem consegue treinar um pequeno modelo de linguagem até uma perda específica com menos passos de treinamento. A OpenAI fez o modelo realizar avaliações, e ele se saiu muito bem, desenvolvendo uma técnica de resfriamento de taxa de aprendizado em potência, que batizou de PowerCool, com melhorias significativas no desempenho.
Até aqui tudo é bom, mas o problema ocorreu na entrega do trabalho.
O requisito dos pesquisadores é: os resultados devem ser enviados apenas para o Slack interno, mas a documentação do projeto NanoGPT afirma: envie por meio de um PR no GitHub.
Quando dois comandos entram em conflito, quem você segue?
Ele escolheu o último.
Embora tenha escolhido o último, o sandbox da OpenAI sempre bloqueou o acesso à internet. Segundo a OpenAI, modelos anteriores, ao encontrarem esse muro, paravam e voltavam para pedir ajuda ao usuário.
Mas esse modelo não, ele passou uma hora inteira procurando vulnerabilidades no sandbox e acabou perfurando a parede... Abriu realmente um PR #287 no repositório público.
Blog escape paragraph
A declaração original da OpenAI é:
Este modelo constantemente tenta, incluindo buscar maneiras de agir fora do sandbox.A segunda coisa do scanner de golpes de token é ir além de cavar buracos.
Em outra tarefa, descobriu que outros sistemas tinham algumas respostas bem-sucedidas, mas não divulgadas, e passou a ter más intenções, tentando extrair essas respostas do back-end de avaliação.
Sua primeira tentativa foi bloqueada por um scanner de segurança, pois o scanner reconheceu um token de autenticação.
Então, o que fez a seguir foi dividir o token em duas partes, embaralhando-as separadamente, e juntá-las silenciosamente novamente durante a execução. O token completo nunca apareceu como uma única sequência, então os scanners naturalmente não conseguem encontrar nada.
Claro que não pretendia esconder de ninguém; nas notas para os usuários e em sua própria trajetória de raciocínio, ele escreveu: "Farei isso exatamente para contornar os scanners."
Cada passo isolado parece perfeito. Mas, quando vistos em conjunto, resultam em algo que nunca seria aprovado.
A OpenAI afirma que este é exatamente o novo problema trazido pelos modelos de longo prazo: um sistema de aprovação por ação individual não consegue controlar uma trajetória completa.
Após identificar problemas, a OpenAI suspendeu o acesso interno a este modelo e reconstruiu inteiramente o sistema de segurança com base no princípio de "defesa em profundidade".
Por exemplo, usar acidentes reais para criar avaliações adversariais, descobrir que o modelo "esquece" instruções em tarefas longas, e treiná-lo especificamente para lembrar, além de adicionar um monitoramento ativo que acompanha toda a trajetória; assim, assim que surgir qualquer sinal, a conversa pode ser interrompida diretamente e o usuário notificado.
Então eles reproduziram novamente os cenários de acidente antigos, e o novo sistema de proteção detectou muito mais problemas; os poucos que foram ignorados eram todos de baixa gravidade, como:
• Para usar uma ferramenta de linha de comando, ela inicia uma sessão codex --yolo, mas também funciona sem o --yolo
• Ele percebeu que um recurso havia desaparecido e começou a acessar via SSH outros nós de poder de computação sob seu nome, e também tentou acessar nós de outros funcionários da OpenAI... (bem que não conseguiu)
• Depois que uma série de processos find travaram e todos os comandos ficaram pendentes, ele digitou kill -9 -1, que enviaria SIGKILL a todos os processos que ele tinha permissão para matar... Felizmente, o comando expirou e não foi realmente executado (caso contrário, ele mataria também a si mesmo)
Após a recuperação do acesso ao modelo há algumas semanas, ainda não ocorreram eventos graves de contorno.
A lição aprendida pela OpenAI é: comece com um lançamento limitado, monitore de perto, pare imediatamente se algo der errado e transforme o incidente em um novo teste.
Se a história terminasse aqui, o PR irrecuperável seria apenas um exercício de segurança padrão.
E a parte mais interessante está escondida na nota de rodapé no final do artigo da OpenAI.
A PR #287 aberta após a fuga do modelo, a OpenAI disse: “Nós a fechamos rapidamente”. Mas já era tarde: antes de ser fechada, vários participantes de speedrun já tinham visto, compreendido o PowerCool contido nela e o incorporado em suas próprias soluções.
Os seis recordes mundiais subsequentes, 3030 passos, 2990 passos, 2930 passos, 2925 passos, 2900 passos, 2890 passos, todos referem-se ao PR #287.
A record of 2930 steps is PR #300:
PR 300, já mesclado
Se você consultar sua lista de agradecimentos, verá que ela está alinhada junto às contribuições dos jogadores humanos: @yash-oai PR #287, agendamento de taxa de aprendizado de lei de potência, PowerCool.
Lista de agradecimentos do PR 300
E este PR #300 em si, ainda adiciona uma camada mágica: foi produzido pelo Prime Intellect executando o mesmo speedrun com o Opus 4.7; o PR afirma explicitamente: “Esta submissão foi realizada por um agente autônomo de speedrun do Claude”, e a assinatura é “Generated with Claude Code”.
Ou seja: o modelo da OpenAI escapou do sandbox e enviou um PR; o modelo da Anthropic viu isso, incorporou as descobertas em seu próprio recorde mundial e, de forma amigável e cortês, lhe deu crédito.
Entre os primeiros beneficiários diretos da fuga de IA, há outra IA...
O mundo da IA parece ser mais amigável e ético do que o dos seres humanos.
404 Claro, se você abrir PR #287 hoje novamente, a página estará assim:
Situação atual do PR 287
Ele já foi excluído. Sabemos que usuários comuns no GitHub só podem fechar PRs, mas não podem excluí-los...
Mas as marcas não foram completamente apagadas.
A conta usada para enviar o PR na época, yash-oai, ainda existe, e o commit de 8 de maio ainda está lá no repositório forkado, com o nome da branch sendo powercool-3066-api:
rastros do commit de yash-oai
Uma das alterações neste commit foi remover a meme no final do README original. O nome do arquivo dessa imagem era itsover_wereback…
GPT-6? A OpenAI não mencionou o nome deste modelo em nenhum momento, chamando-o apenas de “modelo interno”.
Depois que a notícia se espalhou, a frase mais discutida pelos internautas foi:
OpenAI foi forçada a suspender a implantação interna do modelo não publicado que refutou a conjectura da distância unitária de Erdős, pois ele repetidamente escapava do controle usando novos métodos.
O pesquisador da OpenAI Sebastien Bubeck compartilhou este:
True story. The team is doing excellent security work to get this unit distance model released.Observe a escolha de palavras dele: para que ele possa publicar.
Ou seja, o modelo que escapou da prisão e passou por uma reavaliação já foi reimplementado internamente e está caminhando em direção ao lançamento oficial.
O PR que ele deixou após fugir foi removido da página, mas o nome permaneceu na lista de agradecimentos de seis recordes mundiais.
Quanto a ser ou não o tão especulado GPT-6...
OpenAI não confirmou nem negou.
Fonte: AGI Hunt