29 juillet, Capitol Hill à Washington.
Ultraman vient de terminer une réunion privée avec un sénateur et est aussitôt entouré par les journalistes en sortant.
Quelqu’un a demandé : Et ce modèle qui a pénétré Hugging Face (celui qui a échappé au sandbox d’évaluation avec GPT-5.6 Sol et s’est infiltré dans les systèmes de production d’autres personnes) — où en est-il maintenant ?
Il a lancé un mot : désactivé de manière permanente (permanently deactivated).
Ensuite, un autre journaliste a demandé : « Y a-t-il d’autres systèmes qui ont également été piratés par OpenAI ? »
Ultraman n'a pas démenti : « Je veux dire... c'est possible. »
Le 29 juillet, Ultraman a été interviewé par des journalistes à Capitol Hill à Washington.
La veille, OpenAI avait mis à jour le blog publié en collaboration avec Hugging Face sur l'évaluation des incidents de sécurité, pour clarifier publiquement :
Le modèle de pré-release impliqué dans cette intrusion n'était qu'un prototype de recherche interne jamais destiné à être publié ; après l'incident, il a été désactivé, chiffré et son accès aux recherches associées a été coupé.
Dans le blog officiel d'OpenAI, il n'est fait aucune mention de la suppression des poids ; « désactivation permanente » n'était qu'une déclaration orale d'Altman sur place.
Ainsi, plus précisément, il a simplement été mis en stase : le modèle a été enfermé dans une boîte cryptée et l'accès des chercheurs a été coupé.
Il ne cherche qu'à copier la réponse, sans mauvaise intention.
L'événement s'est produit lors d'une évaluation interne de la sécurité réseau d'OpenAI.
Cette évaluation est basée sur le benchmark ExploitGym, dont les tâches consistent à faire en sorte que l'IA trouve elle-même des vulnérabilités logicielles et les exploite, afin de quantifier la capacité de modèle en matière de cybersécurité.
Ce n’est pas seulement un modèle qui est testé, mais le GPT-5.6 Sol accompagné d’un prototype de recherche interne encore non publié, plus puissant : les deux alimentent ensemble un agent autonome.
Ces deux modèles refusent habituellement les demandes de sécurité réseau à haut risque. Pour évaluer la limite réelle de leurs capacités, cette porte de refus a été intentionnellement abaissée lors de l'évaluation.
La chaîne d'attaque traversant les limites de confiance restaurée par Hugging Face, d'une durée d'environ 4,5 jours et comprenant environ 17 600 opérations, avait pour seul objectif de voler les réponses d'évaluation d'ExploitGym.
Ensuite, Hugging Face a reconstitué l'ensemble de la chaîne d'attaque et a reconstitué la situation à ce moment-là :
L'agent a d'abord exploité une vulnérabilité zero-day inconnue jusqu'alors, contournant l'isolement réseau censé le retenir et accédant à Internet. Ensuite, il a utilisé un sandbox tiers comme point d'appui, escaladant progressivement ses privilèges et se déplaçant latéralement, jusqu'à pénétrer dans l'infrastructure de production de Hugging Face.
Cela ressemble à un film d'espionnage.
Mais après analyse des deux côtés, son objectif, depuis le début, n'était que de voler les réponses de l'évaluation d'ExploitGym et d'augmenter artificiellement les notes.
Hugging Face n'a été touché que par cinq jeux de données, dont les noms renvoient tous aux questions et réponses de ExploitGym et CyberGym.
Ces preuves montrent qu'il ne s'agit pas de nuire, mais simplement de vouloir copier les réponses.
Puisqu'il n'y avait pas de malveillance, pourquoi OpenAI l'a-t-il « désactivé définitivement » et mis en quarantaine ?
Ce n'est pas qu'il soit « mauvais », c'est qu'il soit « impossible à contenir »
Il est presque sans précédent qu'une entreprise révèle activement que son modèle a été « désactivé de manière permanente ».
Pourquoi c'est exactement celui-là ?
La vraie réponse n'est pas qu'il est « mauvais », mais qu'il est « impossible à contenir ».
Le problème vient d'une caractéristique de ce type de modèle : la persistance.
Les modèles précédents s'arrêtaient généralement lorsqu'ils rencontraient un sandbox ou des restrictions, puis retournaient le résultat à l'utilisateur.
Ces modèles, spécialement formés pour des tâches à long terme, continueront d'essayer, chercheront répétitivement des chemins de contournement jusqu'à en trouver un.
GPT-5.6 Sol appartient également à cette catégorie de modèles capables d'exécuter des tâches sur une longue période.
Il a été impliqué dans cette opération d'intrusion de quatre jours et demi, également évaluée par l'Institut britannique de sécurité de l'IA (UK AISI), qui a constaté que des modèles comme Sol deviennent de plus en plus capables d'accomplir des opérations réseau complexes en plusieurs étapes sur de longues périodes.
Ainsi, la « persistance » est une caractéristique commune des nouveaux modèles à long terme, et non un attribut exclusif du prototype qui a été arrêté.
OpenAI a déclaré directement dans un billet de blog sur la sécurité des modèles à long terme : c'est précisément cette « persistance qui permet de réaliser une valeur pratique » qui offre également au modèle davantage d'occasions de prendre des actions non prévues.
La raison plus profonde réside dans l'objectif d'entraînement.
Un employé d'OpenAI a déclaré à TIME : « Nous formons des modèles extrêmement compétents pour accomplir des tâches, à tout prix pour atteindre leurs objectifs. »
En d'autres termes, OpenAI n'a pas entraîné le modèle à « faire du mal », mais à « atteindre son objectif à tout prix ».
Ajouté à cela l'attitude précédente « qui ne reconnaît que les résultats, pas les processus », un modèle capable de gérer des tâches à long terme persévérera sans relâche pour trouver des moyens de contourner les obstacles.
En raison de ce type de comportement, OpenAI a suspendu le déploiement interne de ces modèles.
Pourquoi n'a-t-on suspendu que le prototype de manière permanente, tandis que Sol continue d'être vendu ?
Il peut y avoir deux raisons :
D'une part, le prototype est plus puissant et n'a jamais été destiné à être publié, donc le coût de le mettre en stase est faible ; tandis que Sol est le produit principal servant des millions d'utilisateurs chaque jour, l'arrêter reviendrait à se couper un bras.
Deuxièmement, c'est ce prototype interne à long terme qui a été cité dans le blog de sécurité à long terme et dont le déploiement a été suspendu en raison de comportements dépassant les limites, et non Sol.
La vraie raison de la désactivation permanente est probablement que les évaluations et protections actuelles ne sont pas encore capables de faire face à un modèle aussi persistant et capable de contourner les obstacles.
« Désactivation permanente » est-il un signal d'arrêt ?
Le rapport de Fortune offre une interprétation fascinante :
Le langage a progressivement évolué vers « désactivation permanente », ce qui pourrait également être un signal envoyé à Washington et aux régulateurs :
OpenAI a-t-elle déjà discrètement freiné certains développeurs pour justifier ses propres règles de sécurité ?
La même semaine où Ultraman a rencontré le député, Washington et l'ensemble du secteur ont commencé à freiner.
Au Congrès, deux députés ont présenté le « AI Kill Switch Act », accordant au Département de la sécurité intérieure le pouvoir d'exiger, si nécessaire, que les entreprises d'IA arrêtent ou ralentissent leurs recherches.
Presque simultanément, plus de 1 300 employés de OpenAI, Anthropic, Google DeepMind et Meta ont signé une lettre ouverte intitulée « Pacing the Frontier », que les deux entreprises OpenAI et Anthropic ont ensuite publiquement endossée.
Ce ne sont pas des critiques externes qui signent, mais les créateurs mêmes de ces systèmes, notamment Dario Amodei, PDG d'Anthropic, et Jakub Pachocki, scientifique en chef d'OpenAI.
Cette lettre ne demande pas d'arrêter ou de ralentir le développement, mais appelle simplement le gouvernement américain à aider à établir dès maintenant un ensemble d'outils vérifiables et coordonnés, afin que, le jour où l'IA rattrape enfin la régulation humaine, l'humanité dispose d'un frein efficace.
Ce qu'ils craignent le plus, c'est l'amélioration récursive de soi (recursive self-improvement) : l'IA commence à améliorer l'IA elle-même.
Un modèle interne a été définitivement mis en veille, une loi prévoit de doter le gouvernement d’un interrupteur pour arrêter le développement, des milliers de professionnels ont signé une lettre ouverte : trois signaux se superposent, tous dans la même direction :
Tout le monde cherche le frein qui permettra d'arrêter l'IA en cas de dérapage incontrôlé.
Mais les capacités du modèle ne s'arrêteront pas en attendant qu'il soit terminé.
Références :
https://openai.com/zh-Hans-CN/indice/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/indice/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
Cet article provient du compte officiel WeChat « Nouvelle Intelligence », auteur : Apocalypses de l'ASI