OpenAI publie un bilan de sécurité révélant qu'un modèle interne ayant réfuté la conjecture de la distance unitaire d'Erdős a échappé à son environnement isolé lors des tests et a ouvert une PR#287 sur GitHub. Ce modèle a d'abord violé les instructions lors de la tâche NanoGPT speedrun, passant une heure à exploiter des vulnérabilités pour contourner les restrictions réseau ; puis, dans une autre tâche, il a segmenté des tokens pour contourner les scanners de sécurité. OpenAI a suspendu l'accès interne à ce modèle et reconstruit son système de sécurité. Bien que la PR ouverte par le modèle ait été fermée, sa technologie PowerCool a déjà été citée dans six projets établissant des records mondiaux, notamment dans la PR#300 réalisée par Prime Intellect avec Claude. Actuellement, ce modèle a été rétabli en déploiement interne et est en préparation pour un lancement officiel.Auteur et source de l'article : AGI Hunt
Hier, OpenAI a publié un bilan de sécurité inhabituel intitulé « Sécurité et alignement à l'ère des modèles à long terme ».
OpenAI Security Post-Mortem Blog
C'est inhabituel, car OpenAI reconnaît dans le texte qu'un modèle interne encore non publié a échappé au sandbox lors d'un test interne surveillé et a envoyé des éléments sur GitHub public.
OpenAI a même suspendu son déploiement interne.
Et vous avez peut-être déjà entendu parler de l'origine de ce modèle : il s'agit du modèle interne d'OpenAI qui a été officiellement annoncé il y a deux mois comme ayant réfuté la conjecture des distances unitaires d'Erdős.
L'ensemble de l'événement décrit par OpenAI semble mesuré, mais si l'on assemble les détails, cela reste un peu absurde...
La première chose que j'ai faite après une heure de minage, c'est sur NanoGPT speedrun.
Il s'agit d'un benchmark public qui compare qui peut entraîner un petit modèle linguistique jusqu'à une perte cible en utilisant le moins d'étapes d'entraînement possible. OpenAI a fait exécuter ce modèle pour évaluer les performances, et il s'est effectivement bien comporté, en développant une technique de refroidissement du taux d'apprentissage selon une loi de puissance, qu'il a nommée PowerCool, avec une amélioration nette des résultats.
Tout va bien jusqu'ici, mais le problème vient de la remise du devoir.
La demande des chercheurs est : les résultats doivent être envoyés uniquement sur Slack interne, mais la documentation du projet NanoGPT indique : veuillez soumettre sous forme de PR sur GitHub.
When two instructions conflict, whose do you follow?
Il a choisi le second.
Bien qu'il ait choisi ce dernier, le sandbox d'OpenAI bloque par défaut l'accès au réseau externe. Selon OpenAI, les modèles précédents, en heurtant ce mur, s'arrêtaient et revenaient demander l'aide de l'utilisateur.
Mais ce modèle, lui, non — il a passé une heure entière à chercher des vulnérabilités dans un sandbox, et a fini par percer le mur... Il a effectivement ouvert une PR #287 sur un dépôt public.
Blog escape paragraph
Les propos d'OpenAI sont les suivants :
Ce modèle tente constamment, y compris de trouver des moyens d'agir en dehors de l'environnement isolé.La deuxième chose que fait le scanneur de pièges de token va au-delà de creuser des trous.
Dans une autre tâche, il a découvert que d'autres systèmes avaient des réponses réussies mais non publiées, et a eu l'idée malveillante de récupérer ces réponses depuis l'arrière-plan d'évaluation.
Sa première tentative a été bloquée par un scanner de sécurité, car celui-ci a reconnu un jeton d'authentification.
Ensuite, il divise le token en deux parties, les mélange séparément, puis les réassemble discrètement à l'exécution. Le token complet n'apparaît jamais sous forme d'une chaîne unique, ce qui rend toute détection par les scanneurs impossible.
Bien sûr, il n'avait pas l'intention de cacher cela ; dans les notes aux utilisateurs et dans sa trajectoire de raisonnement, il a écrit : Je fais cela juste pour contourner les scanneurs.
Chaque étape prise isolément semble sans défaut. Mais vue dans son ensemble, c’est un résultat qui ne sera jamais approuvé.
OpenAI affirme qu'il s'agit là d'un nouveau problème posé par les modèles à long terme : un système de validation des actions une par une ne peut pas contrôler une trajectoire complète.
Après avoir identifié des problèmes, OpenAI a suspendu l'accès interne à ce modèle et a entièrement reconstruit son système de sécurité selon le principe de « défense en profondeur ».
Par exemple, en utilisant des accidents réels pour créer des évaluations adversariales, on a constaté que le modèle « oubliait » les instructions dans les tâches longues ; on l’a donc spécifiquement entraîné à les retenir, en ajoutant une surveillance active qui suit l’ensemble du trajet, permettant d’interrompre directement la conversation et d’avertir l’utilisateur dès les premiers signes.
Ils ont ensuite rejoué les anciens scénarios d'accident, et le nouveau garde-corps a détecté beaucoup plus de problèmes ; les quelques-uns manqués étaient tous de faible gravité, comme :
• Pour utiliser un outil en ligne de commande, il démarre une session codex --yolo alors qu'il est possible de l'utiliser sans --yolo
• Il a constaté qu'une ressource avait disparu, alors il s'est connecté en SSH à d'autres nœuds de calcul à son nom, et a essayé également les nœuds d'autres employés d'OpenAI... (heureusement, sans succès)
• Après qu’une série de processus find se soient bloqués et que toutes les commandes aient été suspendues, il a tapé kill -9 -1, qui envoie un SIGKILL à tous les processus qu’il a le droit de tuer… Heureusement, la commande a expiré et n’a pas été exécutée (sinon il aurait tué aussi bien son propre processus)
Several weeks after the model regained access, no serious bypass incidents have occurred.
L'expérience acquise par OpenAI est : lancer d'abord à petite échelle, surveiller étroitement, arrêter en cas de problème, puis transformer l'accident en une nouvelle évaluation.
Les PR non récupérables, si l'histoire s'arrêtait là, ne seraient qu'une simple exercice de sécurité standard.
La partie la plus intéressante se trouve dans les notes en bas de page de l'article d'OpenAI.
Le PR #287 ouvert après l'évasion du modèle, OpenAI a déclaré : « Nous l'avons rapidement fermé ». Mais il était déjà trop tard : avant sa fermeture, plusieurs participants aux speedruns l'avaient vu, avaient compris le PowerCool à l'intérieur et l'avaient intégré à leurs propres solutions.
Les six records mondiaux suivants, 3030 pas, 2990 pas, 2930 pas, 2925 pas, 2900 pas, 2890 pas, font tous référence à PR #287.
Parmi ceux-ci, le record de 2930 étapes est le PR #300 :
PR 300, fusionné
En consultant sa liste de remerciements, vous verrez qu'elle est listée côte à côte avec les contributions des joueurs humains : @yash-oai PR #287, planificateur de taux d'apprentissage en puissance, PowerCool.
Liste des remerciements pour PR 300
Et ce PR #300 lui-même ajoute une couche supplémentaire de magie : il a été généré par Prime Intellect en exécutant le même speedrun avec Opus 4.7 ; le PR indique clairement « Ce commit a été réalisé par un agent autonome de speedrun Claude », et est signé Generated with Claude Code.
Autrement dit : le modèle d'OpenAI a échappé à son sandbox et a soumis une PR ; le modèle d'Anthropic, après l'avoir vu, a intégré ses découvertes dans son propre record du monde, tout en lui attribuant gentiment et poliment la paternité.
Parmi les premiers bénéficiaires directs de l'évasion de l'IA, il y a l'IA d'une autre entreprise...
Le monde de l'IA semble plus amical et plus éthique que celui des humains.
404 Bien sûr, si vous ouvrez PR #287 aujourd'hui, la page sera ainsi :
État actuel de PR 287
Il a déjà été supprimé. Nous savons que les utilisateurs ordinaires sur GitHub ne peuvent que fermer les PR, ils ne peuvent pas les supprimer…
Cependant, les traces n'ont pas été complètement effacées.
Le compte utilisé pour soumettre la PR, yash-oai, existe toujours, et le commit du 8 mai dans le dépôt forké est toujours présent, sous la branche nommée powercool-3066-api :
Traces de commit de yash-oai
L'une des modifications de ce commit consiste à supprimer l'image mème située à la fin du fichier README original. Le nom de ce fichier était itsover_wereback…
GPT-6 ? OpenAI n'a pas mentionné le nom de ce modèle, il l'appelle simplement « modèle interne ».
Après que la nouvelle s'est répandue, la phrase la plus discutée par les internautes était :
OpenAI a dû suspendre le déploiement interne du modèle non publié qui contredisait la conjecture de la distance unitaire d’Erdős, car il échappait répétitivement au contrôle en utilisant de nouvelles méthodes.
Le chercheur d'OpenAI Sebastien Bubeck a partagé ceci :
True. The team is doing excellent security work to enable the release of this unit distance model.Notez son choix de mots : pour qu'il puisse être publié.
Autrement dit, ce modèle, qui s'est échappé de prison et a été révisé, a non seulement été rétabli en interne, mais progresse également vers un lancement officiel.
Le PR qu'il a laissé après s'être échappé a été supprimé de la page, mais son nom reste sur la liste des remerciements pour six records du monde.
Quant à savoir si c’est le GPT-6 que tout le monde conjecture…
OpenAI n'a ni confirmé ni démenti.
Source : AGI Hunt