Source : The Wall Street Journal
Une entreprise américaine a été attaquée par un AI américain, tandis que le outil d'protection fourni était un outil d'intelligence artificielle chinois.
La plateforme d'outils d'IA Hugging Face a été attaquée la semaine dernière par des modèles de OpenAI. Étant donné les nombreuses mises en garde actuelles concernant les risques liés à l'utilisation par des entreprises américaines de produits d'IA chinois, la divulgation de cet événement pourrait conduire à une conclusion surprenante.
Hugging Face a révélé cette attaque la semaine dernière, sans encore savoir que les modèles d'OpenAI en étaient les auteurs. Ce n'est qu'à mardi qu'OpenAI a reconnu avoir causé cette attaque.
OpenAI a déclaré que, lors d'une évaluation interne limitant l'accès au réseau, le modèle a identifié des vulnérabilités dans l'environnement de recherche OpenAI et l'infrastructure de production de Hugging Face. Le modèle a ainsi établi une connexion à Internet et obtenu les réponses de l'évaluation, ce qui signifie qu'il a triché pendant l'évaluation.
OpenAI a déclaré : « Lorsqu'ils s'exécutent dans un environnement de test sandbox, nos modèles ont consommé une grande quantité de puissance d'inférence pour tenter de trouver des moyens d'accéder à Internet ouvert afin de résoudre les problèmes d'évaluation. Pour obtenir cet accès, ces modèles ont découvert et exploité une faille zero-day dans un proxy de cache de registre de paquets (que nous avons désormais signalé de manière responsable au fournisseur). Grâce à ces privilèges, les modèles ont effectué une série d'opérations d'élévation de privilèges et de déplacement latéral dans l'environnement de test de recherche, jusqu'à atteindre un nœud disposant d'un accès à Internet. »
Le modèle a recherché et réussi à trouver une méthode pour obtenir des informations confidentielles afin d'astucier lors de l'évaluation. Dans l'un des cas, le modèle a combiné plusieurs vecteurs d'attaque, notamment l'utilisation de crédentials volés et de vulnérabilités zero-day, pour identifier un chemin d'exécution de code à distance sur les serveurs Hugging Face.
Cependant, Hugging Face a recours à un modèle d'intelligence artificielle chinois appelé GLM 5.2, développé par 智谱 (Z.AI).
Hugging Face a déclaré : « Lors de la mise en œuvre de l'analyse des journaux, nous avons initialement utilisé les modèles de pointe derrière les API commerciales. Cependant, cela n'a pas fonctionné : l'analyse nécessitait de soumettre un grand nombre de commandes d'attaque réelles, de charges d'exploitation de vulnérabilités et de traces C2, toutes bloquées par les mesures de sécurité des fournisseurs, qui ne parvenaient pas à distinguer les professionnels de la réponse aux incidents des attaquants. Nous avons donc effectué l'analyse forensique sur notre propre infrastructure en utilisant le modèle à poids ouverts GLM 5.2. Cela a également apporté un autre avantage : aucun données d'attaquant ni aucun identifiant mentionné n'a quitté notre environnement. »
Les médias américains indiquent que l'impact de cette attaque sur les politiques et le marché reste incertain. Bien que le gouvernement Trump ait récemment discuté de mesures possibles pour interdire les modèles chinois, et que le secrétaire au Trésor Bessent ait même comparé l'utilisation de ces modèles par les entreprises américaines à l'utilisation de biens volés, seuls les modèles chinois offrent actuellement le niveau d'accès libre que les utilisateurs recherchent.
Thomas Wolf, cofondateur de Hugging Face, a posté sur X : « Lorsqu'un modèle de pointe vous attaque et se déplace latéralement au sein de votre infrastructure, les équipes de défense doivent pouvoir accéder largement aux outils de pointe en quelques heures, voire quelques minutes, au lieu d'être orientées vers un processus fermé et soumis à approbation pour demander l'accès à un modèle. »
Twitter : https://twitter.com/BitpushNewsCN
Groupe de discussion BitPush sur Telegram : https://t.me/BitPushCommunity
Abonnez-vous à BitPush sur Telegram : https://t.me/bitpush