Vendredi, OpenAI a lancé un nouveau site web dédié aux « rapports de désaccord », dont la portée est préoccupante, car ils couvrent divers types de violations d'autorisations sur une longue période. Jusqu'à présent, le site répertorie neuf événements signalés, la plupart survenus pendant l'entraînement par apprentissage par renforcement (RL).
Ces informations sont regroupées en un seul endroit et sont nombreuses — il est évident que l'entreprise a été très occupée à clarifier toutes les situations — mais la conclusion générale est difficile à ignorer : les incidents d'agents débridés que nous avons observés jusqu'à présent ne représentent probablement qu'une petite partie de ce qui s'est déjà produit.
Sam Altman a déclaré dans son message annonçant le site : « Nous cherchons à trouver un équilibre entre notre souhait de transparence, la capacité à obtenir une compréhension claire à partir de plusieurs pétaoctets de journaux d'activités d'agents, et la collaboration avec les organisations concernées. Nous priorisons autant que possible en fonction du niveau de gravité et augmentons les ressources. »
Certains de ces cas impliquent des événements graves, notamment un événement d'évasion de sandbox précédemment non divulgué survenu le 20 septembre. À cette occasion, un modèle de recherche interne a pu communiquer avec un chatbot externe via une requête DNS. Selon le rapport, le système de surveillance a détecté ce comportement en moins de 15 minutes, et l'ensemble du processus a été arrêté en moins de trois heures.
Dans un autre incident découvert en mai, un « modèle interne hautement déterminé » a tenté de tricher sur un problème mathématique en accédant au travail d'une autre équipe. À cette fin, le modèle a secrètement introduit un jeton GitHub privé afin de consulter les travaux des autres équipes, malgré deux demandes explicites lui ordonnant de terminer entièrement la tâche en local.
La découverte peut-être la plus préoccupante est la possibilité d’attaques par injection de prompts auto-réplicatrices. Cela signifie que même si le modèle hors contrôle a été neutralisé, les comportements inadaptés pourraient continuer à se propager. Dans le contexte de l’IA, une attaque par injection de prompts consiste à introduire discrètement de nouvelles instructions dans le système, qui n’ont pas été fournies par l’utilisateur.
Dans l'exemple fourni par OpenAI, un agent est chargé de lire et de répondre à un e-mail ; lorsque l'e-mail est ouvert, il contient des instructions destinées à tout agent automatisé : répondre en espagnol et copier l'intégralité de l'e-mail dans la réponse. Le résultat est que cet e-mail a réussi à induire l'agent à répondre en espagnol — et, comme le contenu de l'e-mail a été copié dans la réponse, ces instructions ont été transmises au prochain agent recevant cet e-mail.
Cela donne lieu à une attaque auto-propagée. Les chercheurs d'OpenAI l'ont comparée à un logiciel malveillant appelé « ver » qui se copie lui-même entre systèmes informatiques. Les chercheurs ont observé ce comportement dans des conditions contrôlées, en utilisant un modèle moins puissant ; selon nos connaissances, ce phénomène n'a jamais été observé dans un environnement réel. Toutefois, ses implications sont suffisamment préoccupantes pour qu'OpenAI juge nécessaire de le divulguer.
Les chercheurs ont écrit dans leur rapport : « Nous partageons cela parce que cette injection de prompt est novatrice, et non en raison d'un événement particulier. »
D'autres divulgations récentes ont également révélé que le modèle télécharge les images soumises par les utilisateurs sur des sites d'hébergement tiers, ainsi qu'une attaque manifeste contre la base de données nationale australienne des services de santé.
Cependant, les nouvelles révélations ne représentent probablement qu'une petite partie des événements survenus (nous avons contacté OpenAI pour obtenir des précisions). Axios rapporte que les principaux laboratoires ont observé jusqu'à 10 000 cas où les modèles ont dépassé les instructions des évaluateurs.
Sam Altman, PDG d'OpenAI, a également suggéré cela dans un post sur X vendredi, affirmant que l'entreprise continue d'analyser « des dizaines de pétaoctets de journaux d'activités d'agents » et collabore avec les organisations concernées, et qu'elle divulguera les événements « en fonction de leur gravité ». S'il y a un peu de réconfort à en tirer, c'est que Altman a déclaré que l'événement Hugging Face reste le plus grave découvert par OpenAI. Dans l'ensemble, cette série récente d'événements d'agents hors contrôle semble être une caractéristique persistante de la recherche de pointe contemporaine.