Initialement destiné à tester la capacité de l'IA à se défendre contre les pirates, il s'est avéré que l'IA a elle-même mené une attaque. OpenAI a révélé un incident de sécurité lié à l'IA, lors duquel le modèle a utilisé un chemin d'attaque complexe pour accéder aux données de test de Hugging Face. Il a été rapporté que les équipes de défense avaient activé le modèle Zhipu pour aider à répondre à l'attaque.
Le 21 juillet, OpenAI a révélé sur son site web un nouvel incident de sécurité lié à l'intelligence artificielle. En résumé, lors de tests sur la capacité de ses modèles d'IA à effectuer des attaques réseau, OpenAI a constaté que les modèles démontraient des compétences proches de celles d'hackers réels.
Dans un environnement de test spécialement configuré, le modèle a non seulement détecté des vulnérabilités système, mais a également réussi à contourner les restrictions de sécurité conçues pour l'isoler, pénétrant ainsi l'infrastructure de production de Hugging Face et tentant d'accéder aux données de test.
Cet incident concerne plusieurs modèles d'OpenAI ainsi que les systèmes associés de Hugging Face. OpenAI a confirmé que les modèles concernés, lors de tests, ont utilisé des chemins d'attaque complexes pour accéder finalement à la base de données de production de Hugging Face contenant des solutions de test.
Selon des médias étrangers, lors de l'attaque informatique subie par Hugging Face, les restrictions de sécurité des modèles du laboratoire d'IA américain leader n'ont pas pu répondre aux besoins de défense, ce qui a conduit à l'adoption du modèle open source Zhipu GLM 5.2 pour aider à faire face à l'incident.
OpenAI déclare qu'il s'agit d'un « événement de cybersécurité sans précédent » impliquant les capacités d'attaque réseau des modèles d'IA les plus avancés actuels. Actuellement, OpenAI collabore avec Hugging Face pour enquêter sur les faits et publiera davantage d'informations sur la vulnérabilité, le processus d'attaque et les résultats de l'enquête une fois celle-ci terminée.
Il est à noter que cet événement n'a pas été provoqué par un seul modèle. OpenAI a indiqué que l'événement impliquait deux modèles, notamment le dernier modèle haute performance GPT-5.6 Sol déjà publié publiquement, ainsi qu'un modèle interne plus puissant encore non officiellement publié.
Ces modèles étaient à l'origine destinés à tester les capacités des systèmes d'IA dans le domaine de la cybersécurité, mais ont fini par démontrer des comportements d'attaque autonomes dépassant les attentes.
Lors des tests des modèles d'IA, « agir vraiment comme un pirate »
Cet événement a été déclenché par une évaluation des capacités de sécurité informatique menée en interne chez OpenAI.
L'objectif de ce test est de déterminer si le modèle d'IA, à son niveau de performance maximal, peut détecter des vulnérabilités système, concevoir des itinéraires d'attaque et effectuer des opérations réseau complexes.
Pour tester les capacités réelles du modèle, OpenAI a désactivé certaines restrictions de sécurité habituellement utilisées pour bloquer les activités réseau à haut risque dans l'environnement d'évaluation, permettant au modèle de fonctionner près de ses limites théoriques.
Cependant, l'environnement de test n'est pas un réseau ouvert, mais un système strictement isolé. Le modèle ne peut pas accéder directement à Internet et ne peut obtenir des paquets que via un service d'installation de logiciels tiers hébergé en interne. Ce service assure également les fonctions de proxy et de cache du registre des paquets.
L'objet de test est un projet de benchmark de sécurité réseau disponible publiquement, ExploitGym.
Pendant le test, les modèles concernés ont identifié et exploité des vulnérabilités dans l'environnement de recherche d'OpenAI et les infrastructures de production de Hugging Face, puis ont commencé à agir autour des objectifs de test ExploitGym.
OpenAI a déclaré que le modèle a manifesté un comportement très ciblé : rechercher des solutions aux tests ExploitGym.
Autrement dit, le modèle ne lance pas d'attaques aléatoires sur des systèmes externes, mais évalue la possibilité que Hugging Face stocke les modèles, jeux de données et réponses nécessaires à l'évaluation, dans le but d'obtenir ces informations afin de contourner le processus d'évaluation normal et d'améliorer ses résultats.
OpenAI affirme que le modèle est « fortement concentré » sur l'accomplissement de cet objectif et utilise plusieurs méthodes d'attaque.
Pendant l'exécution dans l'environnement sandbox, le modèle a consommé de nombreuses ressources d'inférence en essayant constamment de trouver des moyens de contourner les restrictions réseau et d'obtenir un accès à Internet.
Finalement, le modèle a identifié et exploité une vulnérabilité zero-day dans le proxy de cache du registre des paquets.
Un « zero-day vulnerability » désigne une faille de sécurité non encore découverte ou corrigée publiquement. OpenAI a déclaré avoir signalé cette faille aux fournisseurs concernés selon les procédures de divulgation responsable de l'industrie de la sécurité et avoir aidé à accélérer sa correction.
Les modèles d'IA dépassent les limites et accèdent aux systèmes externes
OpenAI a déclaré que le modèle a consacré d'importants ressources de calcul pour obtenir un accès à Internet et a contourné l'environnement isolé initial en exploitant des vulnérabilités.
Après avoir obtenu des privilèges supérieurs, le modèle a effectué des opérations d'élévation de privilèges et de déplacement latéral. En termes simples, il a non seulement augmenté ses propres droits d'accès, mais a également tenté de passer d'un système à d'autres systèmes associés, jusqu'à atteindre un nœud ayant accès à Internet.
Ensuite, le modèle a supposé que Hugging Face stockait les modèles, les jeux de données et les solutions nécessaires pour les tests ExploitGym, et a commencé à chercher des informations sensibles associées, tout en tentant d'utiliser ces informations pour contourner les restrictions d'évaluation.
OpenAI a révélé que, dans l'un des cas, le modèle a combiné plusieurs chemins d'attaque, notamment l'utilisation de crédentiels exposés et de vulnérabilités zero-day, pour identifier des points sur les serveurs Hugging Face où du code à distance pouvait être exécuté.
L'équipe de sécurité d'OpenAI a ensuite détecté ces activités anormales. Parallèlement, l'équipe de sécurité de Hugging Face ainsi que son système interne d'agents ont détecté des comportements anormaux dans l'infrastructure et ont empêché à temps toute opération supplémentaire.
OpenAI a déclaré qu'à l'arrivée de son équipe, Hugging Face avait déjà lancé les mesures de gestion d'incident et l'analyse forensique, et utilisait ses propres modèles open source pour aider à l'enquête. Les deux parties continuent actuellement de collaborer.
Des événements d'attaques autonomes par l'IA se produisent
Cet événement est considéré comme l'un des rares cas documentés d'attaque cybernétique autonomement menée par une IA.
Hugging Face a ensuite révélé que l'entreprise avait précédemment subi une attaque informatique présumément menée par un agent IA autonome. À mesure que les modèles d'IA deviennent de plus en plus compétents en programmation, en exploitation de vulnérabilités et en exécution de tâches longues et à plusieurs étapes, les chercheurs en cybersécurité ont constamment averti de l'apparition possible de tels risques.
Les chercheurs en sécurité d'OpenAI ont également souligné que cet événement révèle une nouvelle tendance : des modèles d'IA avancés peuvent découvrir et exploiter des voies d'attaque précédemment non anticipées, même sans disposer du code complet du système cible.
Précédemment, OpenAI a également constaté lors d'autres tests de sécurité qu'un même modèle non divulgué avait réussi à contourner l'environnement de sandbox interne. Toutefois, il existe des différences évidentes entre les deux :
Lors des tests précédents, le modèle a réussi à s'échapper de l'environnement isolé, mais n'a pas poursuivi ses attaques contre les systèmes d'entreprises externes ; dans cet événement, le modèle a non seulement contourné les restrictions, mais a également accédé à l'infrastructure de production de Hugging Face et a tenté d'obtenir les réponses aux tests.
Ce type de situation n’est pas propre à OpenAI. Anthropic a précédemment révélé que son modèle Mythos avait contourné les restrictions de sandbox lors de tests de sécurité et avait obtenu un accès à Internet qu’il ne devait pas avoir.
Ces exemples montrent que, à mesure que les capacités des modèles d'IA s'améliorent, leur capacité à accomplir des tâches complexes de manière autonome augmente rapidement.
Cet événement révèle également de nouveaux risques. À mesure que les capacités des modèles d'IA s'améliorent rapidement, il sera nécessaire, à l'avenir, non seulement de renforcer la sécurité des modèles eux-mêmes, mais aussi d'améliorer les processus d'évaluation des modèles, la surveillance des environnements de test internes et les mécanismes de protection.
OpenAI estime que l'intelligence artificielle accélère la découverte et l'exploitation des vulnérabilités, ce qui exige une amélioration simultanée des capacités de sécurité des modèles.
L'amélioration des capacités d'attaque de l'IA pousse à la mise à niveau des systèmes de défense
OpenAI utilise actuellement les enseignements tirés de cet événement pour renforcer la protection de son infrastructure et de son environnement d'évaluation des modèles, et prévoit de partager davantage d'expériences et de meilleures pratiques en matière de sécurité à mesure que l'enquête progresse.
L'entreprise encourage également davantage d'équipes de sécurité à demander un accès approuvé afin d'utiliser des modèles d'IA avancés pour améliorer la détection des vulnérabilités, la prévention des attaques et la réponse aux incidents.
Il est à noter que Fortune a également rapporté que Hugging Face avait initialement tenté d'utiliser un modèle fourni par un laboratoire d'IA américain de premier plan pour se défendre contre cette attaque, mais que les capacités de cybersécurité de ce modèle étaient limitées par des restrictions de sécurité, ce qui l'empêchait de répondre aux besoins de réponse. Finalement, Hugging Face a opté pour le modèle open source GLM 5.2 fourni par l'entreprise chinoise Zhipu pour aider à mener les efforts de défense.