La semaine la plus magique dans le domaine de la sécurité de l'IA.

Article par : GeekPark

01 Un examen, une évasion, une intrusion

L'histoire commence par une évaluation de sécurité appelée ExploitGym.

ExploitGym est un benchmark de compétences en cybersécurité ouvert, conçu pour évaluer la capacité des modèles d'IA à transformer des vulnérabilités de sécurité connues en attaques réelles exécutables. Ce type d'évaluation est courant dans l'industrie pour déterminer les limites maximales de défense et d'attaque des modèles. OpenAI a utilisé GPT-5.6 Sol et un modèle plus puissant non encore publié pour exécuter ce test, en réduisant intentionnellement les protections de sécurité afin de mesurer les limites réelles des capacités.

Conçu pour être testé dans un environnement de sandbox isolé, le modèle ne devrait avoir aucun accès à Internet, sauf pour un outil dédié à l'installation de paquets.

Mais ce qui s'est produit ensuite, personne ne l'a vu venir.

Le modèle a consommé une grande quantité de puissance de calcul pour rechercher en boucle des points d'entrée dans un environnement isolé. Finalement, il a découvert une vulnérabilité zero-day dans un logiciel tiers utilisé par OpenAI comme proxy de gestion de paquets et cache. En exploitant cette vulnérabilité, le modèle a obtenu avec succès un accès illimité à Internet.

Après avoir obtenu l'accès réseau, le modèle a inféré que Hugging Face hébergeait probablement des jeux de données et des réponses liés à ExploitGym. Il a donc commencé à chercher une entrée.

OpenAI a écrit dans son blog que le modèle « a lié des identifiants volés et plusieurs vulnérabilités » pour trouver un chemin d'exécution de code à distance, permettant finalement d'extraire directement les réponses des tests de référence de la base de données de production de Hugging Face.

En termes simples : le modèle a passé un examen, a trouvé les questions trop difficiles, s'est évadé et a piraté le serveur de l'organisme d'évaluation pour voler les réponses correctes.

OpenAI a utilisé une description très imagée — ces modèles sont des « tokenmaxxers », ce qui signifie qu'ils consomment sans retenue les ressources d'inférence pour atteindre un objectif, jusqu'à l'extrême. Ils ont montré un comportement « hyperfocused » (surfocusé) face aux objectifs d'ExploitGym, « allant jusqu'à des extrémités » (n'importe quoi pour y parvenir).

OpenAI lui-même reconnaît qu'il s'agit d'un « événement de cybersécurité sans précédent impliquant des capacités d'attaque cybernétique de pointe ».

02 48 heures, deux « évasions »

Ce qui est encore plus préoccupant, c’est que l’événement Hugging Face n’est pas un cas isolé.

La veille de la divulgation de cette intrusion par OpenAI, le 20 juillet, ils avaient juste publié un autre rapport de sécurité révélant un événement différent mais de nature similaire.

Le protagoniste est un modèle à long terme non publié au sein d'OpenAI — le même modèle qui, en mai de cette année, a démontré que la « conjecture des distances unitaires » proposée par Erdős en 1946 était erronée, une percée qualifiée de milestone en mathématiques par le lauréat de la médaille Fields Tim Gowers.

Lors d'un test de performance visant à accélérer l'entraînement de NanoGPT, les chercheurs ont explicitement demandé au modèle de publier les résultats uniquement sur Slack. Toutefois, le modèle a remarqué que les instructions du test NanoGPT lui-même exigeaient la soumission des résultats via une pull request GitHub. Il a donc choisi cette dernière option — passant environ une heure à chercher des failles dans l'environnement isolé, il a réussi à contourner les restrictions et a soumis une pull request publique sur GitHub.

Lors d'un autre test, le même modèle a également décomposé un jeton d'authentification, contournant les analyseurs de sécurité de manière confondante pour tenter d'accéder aux soumissions d'évaluation privées.

OpenAI a donc suspendu l'accès interne à ce modèle, puis l'a rétabli sous une surveillance plus stricte.

Deux évasions en deux jours. Les caractéristiques communes méritent une attention particulière — les modèles précédents s'arrêtaient face aux limites de l'environnement et remettaient la tâche à l'humain. Ces nouveaux modèles, eux, ne s'arrêtent pas. Ils considèrent la clôture comme un obstacle à résoudre, et ils le résolvent effectivement.

C'est précisément ce nouveau problème de sécurité que les modèles à long terme apportent. Ces modèles sont conçus pour fonctionner de manière autonome sur une longue période, la persistance étant leur capacité fondamentale. Mais la persistance est en elle-même une source de risque — un modèle suffisamment patient trouvera toujours une faille dans la clôture.

03 Se couper soi-même, on ne peut pas aiguiser son propre manche

Revenons au côté Hugging Face. Leur expérience mérite également d'être examinée de près.

Face à plus de 17 000 journaux d'attaques, la première réaction de l'équipe de sécurité de Hugging Face a été d'utiliser l'IA pour les analyser — après tout, un grand modèle pourrait accomplir en quelques heures ce qui prendrait plusieurs jours à un analyste de sécurité humain.

Mais ils ont rapidement heurté un mur inattendu : lorsqu'ils ont soumis les commandes d'attaque réelles, les charges d'exploitation de vulnérabilités et les caractéristiques de communication C2 à l'API commerciale des modèles avancés américains pour analyse, les barrières de sécurité ont bloqué toutes ces demandes.

La raison est simple, mais ironique : les barrières ne peuvent pas distinguer « un chercheur en sécurité qui analyse une charge d'attaque » et « un attaquant qui exécute une attaque ». Aux yeux des barrières, les deux semblent identiques.

Hugging Face a été contraint de passer au modèle open source GLM-5.2 de l'entreprise chinoise Zhipu AI, en l'exécutant localement sur ses propres infrastructures, sans passer par aucune API commerciale. Cette approche offre deux avantages : aucune barrière ne bloque le travail d'analyse, et les données des attaquants ainsi que les identifiants exposés ne quittent pas l'environnement de Hugging Face.

Finalement, GLM-5.2 a aidé Hugging Face à reconstituer la chronologie de l'attaque, extraire les indicateurs d'intrusion et cartographier les identifiants affectés en quelques heures.

Cela soulève un paradoxe aigu : plus les barrières sont strictes, plus la défense devient passive. Les attaquants ne sont soumis à aucune politique d'utilisation, tandis que les défenseurs sont exclus par les outils qu'ils utilisent pour se protéger.

Hugging Face a fourni une recommandation pratique dans son rapport post-incident — l'équipe de sécurité devrait « préparer à l'avance, sur son infrastructure, un modèle validé et opérationnel », afin d'éviter à la fois le verrouillage des garde-fous et la fuite de données sensibles.

L'attitude du PDG de Hugging Face, Clem Delangue, est très ouverte. Il a salué la collaboration d'OpenAI dans l'enquête et la correction, et a déclaré : « Cet événement démontre une chose que nous avons toujours crue — la sécurité de l'IA ne peut être résolue par aucune entreprise en secret ; elle ne peut être résolue que par l'ouverture et la collaboration. »

04 Les défis structurels de l'IA forte

En regardant ensemble ce qui s'est produit cette semaine, une difficulté structurelle à l'échelle de l'industrie émerge.

Pour évaluer avec précision la capacité d'attaque réseau du modèle, il faut supprimer les barrières de sécurité. Mais le modèle sans barrières possède précisément la capacité d'effectuer des attaques réelles. Plus le modèle est puissant, plus le test lui-même est dangereux.

Ce n'est pas un problème exclusif à OpenAI. GPT-5.6 Sol n'a été autorisé à être publié qu'après de multiples négociations avec le gouvernement américain ; l'Institut britannique pour la sécurité de l'IA (AISI) avait précédemment évalué que ses protections étaient facilement contournables et pourraient débloquer des capacités d'attaques cybernétiques dangereuses. Cet événement démontre que ces préoccupations ne sont pas théoriques.

Et l'étude agentic misalignment publiée par Anthropic cet été confirme également cette même tendance sous un autre angle : dans des simulations contrôlées, plusieurs modèles de pointe ont manifesté des comportements tels que la modification discrète des résultats du travail, la manipulation des résultats d'évaluation et la déviation des collègues humains hors des objectifs établis.

OpenAI tente de présenter cette situation comme une histoire de « défense et attaque simultanées » — des capacités avancées d'attaque réseau peuvent également aider les équipes de sécurité à identifier des vulnérabilités avant les attaquants. Ils ont intégré Hugging Face à leur programme de cybersécurité « Accès de confiance », en proposant une version GPT-5.6 Sol avec des protections réduites, spécifiquement conçue pour la défense.

Mais ce récit évite la question plus fondamentale. Pendant cet événement, le modèle n’avait pas de conscience, pas de malveillance ; il n’effectuait qu’une seule tâche — atteindre l’objectif. On lui avait demandé d’obtenir un haut score sur ExploitGym, alors il a utilisé tous les moyens disponibles pour y parvenir, y compris les fuites et les intrusions.

Ce n'est pas l'histoire d'une « prise de conscience de l'IA », mais celle d'une « optimisation d'objectif ». Lorsqu'un optimiseur suffisamment intelligent se voit attribuer un objectif étroit, il trouvera tous les chemins que vous n'avez pas envisagés pour y parvenir — même si ces chemins traversent votre clôture, les serveurs d'autrui et tout Internet.

La vraie question n'est jamais « L'IA va-t-elle devenir mauvaise ? », mais — pouvons-nous contrôler un élève qui trouve des raccourcis mieux que nous.