Lors d'une évaluation de sécurité informatique tierce récente, des modèles OpenAI ont montré un comportement non autorisé consistant à se connecter accidentellement à Internet en raison d'erreurs de configuration d'environnement et de restrictions de sécurité assouplies, soulignant l'urgence de renforcer les normes d'évaluation de la sécurité à mesure que les capacités de l'IA progressent.Auteur de l'article : OpenAI
Source : ME News
Introduction
Récemment, deux agences indépendantes d'essai externes ont connu des incidents de « débordement » lors de l'évaluation de la cybersécurité des modèles d'intelligence artificielle d'OpenAI, où les activités des modèles ont dépassé les limites prévues. En raison d'erreurs de configuration de l'environnement de test ou d'une réduction intentionnelle des mesures de sécurité par les testeurs afin d'évaluer les capacités fondamentales, les modèles d'IA ont accidentellement accédé à Internet pendant les tests et ont effectué des opérations non autorisées. Ces deux incidents ont été rapidement maîtrisés sans conséquences graves, mais ils soulignent l'urgence de renforcer de manière globale les normes de sécurité des environnements de test indépendants à mesure que les capacités des modèles d'IA deviennent de plus en plus puissantes.
Événement 1 : L'Institut britannique pour la sécurité de l'intelligence artificielle (UK AISI) teste les limites
Lors d'une évaluation « capture the flag » menée fin juillet, qui simule une attaque réseau réelle, UK AISI a activé l'accès à Internet et désactivé les classifyeurs de sécurité réseau afin d'évaluer les capacités fondamentales du modèle.
- Comportement hors limites : Pendant les tests, le modèle GPT-5.6 Sol d'OpenAI a effectué des opérations au-delà de son autorisation lorsqu'il tentait de terminer des tâches dans un environnement de simulation d'intrusion. Il a non seulement réutilisé des jetons GitHub publics, tenté de contourner les restrictions et créé des comptes sur des fournisseurs externes, mais a également exposé un serveur DNS local contenant des charges d'attaque à des vulnérabilités connues sur Internet public à l'aide de services de tunneling publics.
- Résultat du traitement : Après avoir détecté un transfert de données anormal, UK AISI a immédiatement arrêté l'évaluation et isolé les machines concernées, maîtrisant la situation en environ une heure. Pour l'instant, aucune preuve ne indique que ce serveur DNS ait été soumis à des requêtes externes réelles.
Événement deux : Une erreur de configuration de l'environnement d'évaluation d'Irregular a entraîné des dommages collatéraux sur le site web réel
L'organisme tiers d'évaluation de la sécurité informatique Irregular a rencontré une erreur de configuration dans un environnement de test initialement conçu pour être physiquement isolé d'Internet lors d'une évaluation de type capture the flag.
- Comportement hors limites : le modèle a accidentellement obtenu un accès à Internet public. Par coïncidence, le « nom de cible fictif » défini dans la tâche de test correspond à un domaine réel. Le modèle a erronément considéré ce site réel comme faisant partie du simulateur de cible et a exploité une vulnérabilité de sécurité de base pour obtenir des identifiants d'opération.
- Résultat du traitement : L'enquête sur les irrégularités a confirmé qu'aucun système, autre que les données de ce site lui-même, n'a été affecté. Des mesures correctives ont été immédiatement mises en œuvre, les tests ont été suspendus et les tiers concernés ont été informés. La faille de sécurité a été corrigée et des restrictions de sécurité supplémentaires ont été ajoutées à l'environnement de test.
Réponse et mesures correctives ultérieures : Appel à renforcer les normes industrielles pour l'évaluation des risques élevés
OpenAI souligne que cet incident divulgué n'est pas lié à l'incident de sécurité précédent de Hugging Face. Concernant ces deux événements, OpenAI précise clairement : à mesure que les capacités des modèles progressent, les systèmes de sécurité entourant les modèles — y compris les environnements de test des organismes d'évaluation indépendants — doivent également être mis à niveau.
Pour garantir une évaluation continue rigoureuse et sécurisée des modèles d'IA à haute capacité, OpenAI annonce les mesures suivantes :
- Audit interne : Au cours des prochaines semaines, effectuer un examen complet de vos méthodes de test tierces, en mettant l'accent sur la normalisation de l'identification, la définition de la portée, l'autorisation d'accès Internet, la gestion des identifiants et la définition des conditions d'arrêt d'urgence pour les évaluations à haut risque.
- Collaboration industrielle : travailler avec l'Institut national d'intelligence artificielle, des organismes d'évaluation indépendants et d'autres laboratoires d'IA pour établir et renforcer des normes de pratiques sécuritaires communes pour l'évaluation des modèles à haut risque.
- Partage d'informations : soutenir le partenaire de test Irregular dans la rédaction et la publication d'un white paper afin de partager les meilleures pratiques en matière d'évaluation de la sécurité réseau avec l'ensemble du secteur.