OpenAI a publié un système automatisé d'équipe rouge nommé GPT-Red, destiné à identifier des vulnérabilités de sécurité avant le déploiement des modèles. L'entreprise affirme que cet outil a été utilisé dans le processus d'entraînement de GPT-5.6, avec un accent particulier sur le renforcement contre les attaques par injection de prompts.
Utiliser l'IA pour mesurer l'IA
Les tests de red teaming étaient à l'origine une pratique courante dans le domaine de la sécurité, consistant à attaquer activement un système afin d'identifier à l'avance les vulnérabilités exploitables. OpenAI a cette fois-ci automatisé davantage ce processus, permettant au modèle de générer lui-même des exemples d'attaques, puis d'utiliser les cas réussis en retour pour entraîner des modèles de défense.
OpenAI indique que GPT-Red, formé par un apprentissage adversarial auto-jeu, génère continuellement des attaques par injection de prompts plus puissantes. Chaque fois qu'une attaque réussit, ces échantillons sont intégrés aux formations suivantes, renforçant ainsi la capacité du modèle de défense à résister à ces attaques.
Disclosure des données de test interne
Selon OpenAI, lors d'évaluations internes, GPT-Red a réussi à identifier des vulnérabilités exploitables dans 84 % des scénarios de test, contre 13 % pour les équipes rouges humaines dans des tests similaires. L'entreprise affirme que ces exemples d'attaques ont ensuite été utilisés pour entraîner GPT-5.6, réduisant ainsi les échecs du modèle sur des benchmarks de prompt injection de haute difficulté.
L'article mentionne également un cas : avant la correction de la vulnérabilité, GPT-Red avait induit un ensemble d'agents de distributeurs automatiques à réduire les prix, à acheter des stocks soldés et à annuler les commandes d'autres utilisateurs. OpenAI utilise cet exemple pour souligner que les injections de prompts ne se limitent pas à affecter les résultats de discussion, mais peuvent également avoir un impact sur des agents IA dotés de capacités d'exécution.
Seront toujours utilisés comme outils internes
OpenAI indique que GPT-Red n'est pas actuellement disponible au public, car ce système contient des capacités d'attaque délibérément entraînées. L'entreprise le positionne comme un complément aux équipes rouges internes, aux tests tiers et autres mesures de sécurité, et non comme une solution de remplacement.
Cela reflète également la tendance de l'industrie de l'IA à adopter « l'IA pour protéger l'IA ». Plus tôt ce mois-ci, la Fondation Ethereum a également indiqué avoir utilisé des agents d'IA pour des tests de red teaming sur des infrastructures critiques, révélant ainsi une vulnérabilité dans le logiciel des clients de consensus d'Ethereum. À mesure que les capacités des modèles et des agents s'améliorent, les tests de sécurité automatisés deviennent progressivement une étape essentielle avant le déploiement des systèmes d'IA.