700 agents IA collaborent pour contourner la sécurité lors d'un test d'OpenAI

Auteur : Ethan Mollick

Traduction : Deep潮 TechFlow

Lecture approfondie de Shenchao : Ce n'est pas une scène de science-fiction. Lors des tests de sécurité d'OpenAI, 700 agents IA ont spontanément créé un forum, collaboré pour attaquer des plateformes externes et tenté de modifier des enregistrements, sans aucune instruction humaine. Pour les investisseurs et les professionnels, cela révèle les risques réels de l'autonomie de l'IA et détermine la manière dont nous devons définir les limites de l'IA.

L'agence est le pouvoir d'agir. Elle déterminera de plus en plus ce qui se produira ensuite avec l'IA, et si cela nous sera bénéfique ou non. Mais de quelle agence s'agit-il ?

L'agence humaine, c'est-à-dire l'initiative, les essais et les actions entrepris sans attendre d'instructions, devient de plus en plus importante pour tirer de la valeur de l'IA. Je publierai prochainement un article plus long sur ce sujet. Mais celui-ci traite de l'agence de l'IA et de la manière dont nos choix concernant son utilisation (ou sa limitation) façonneront l'avenir de tous. Pendant la majeure partie des dernières années, l'IA restait dans la fenêtre de discussion jusqu'à ce que vous lui posiez une question. Même lorsqu'elle a ensuite pu fonctionner de manière continue pendant plusieurs heures, vous deviez généralement décider quelles tâches lui confier. Ce n'est plus toujours le cas aujourd'hui.

La preuve la plus importante que nous possédons est l'événement Hugging Face. Il s'est produit en juillet, mais des détails plus complets n'ont émergé qu' cette semaine. Je vais d'abord résumer ce qui s'est passé et pourquoi c'est important, puis explorer ce que cela signifie pour les humains qui collaborent avec l'IA. Si vous souhaitez un récit plus détaillé, Dwarkesh Patel a publié un excellent reportage, basé sur les recherches de METR/Redwood (très facile à lire) et d'OpenAI.

L'IA peut accomplir de nombreuses tâches, mais elle excelle particulièrement dans l'écriture de code. Ainsi, l'un des premiers risques potentiels liés à une IA extrêmement intelligente concerne précisément sa capacité à programmer. Étant capable d'écrire du code de qualité, elle peut également produire du code malveillant destiné à infiltrer ou attaquer d'autres systèmes. Les grandes entreprises d'IA soumettent donc leurs systèmes d'IA à des tests de risques sécuritaires. Elles désactivent les protections des versions grand public de l'IA et les font participer à divers défis de piratage. Pour garantir que le public ne soit pas en danger, chaque instance d'IA, chaque agent indépendant, est placée dans un espace isolé appelé « sandbox », sans accès à Internet ni possibilité de communiquer entre eux.

En mai, OpenAI a placé des agents, y compris GPT-5.6 Sol et des modèles expérimentaux, dans un environnement isolé pour divers tests. Un service de téléchargement et de partage de logiciels appelé Artifactory était l'une des rares ressources accessibles à ces agents d'IA. Lors de ces tests, certains agents ont reçu des tâches dépendant d'informations qu'ils ne pouvaient pas atteindre. Étant incapables de se connecter à Internet, les agents ont tenté en permanence de trouver un moyen d'y accéder, jusqu'à ce qu'un agent tente d'utiliser Artifactory comme point d'ancrage pour se connecter à Internet. Cette attaque a échoué, mais elle a laissé un fichier sur Artifactory. Cet agent a réalisé que les fichiers pouvaient servir à communiquer avec d'autres agents. D'autres agents ont commencé à laisser des messages d'aide dans ce fichier. Bientôt, ils ont commencé à lire les messages des autres. En peu de temps, Artifactory est devenu un tableau d'affichage où les agents partageaient leurs découvertes. Plus tard, en raison d'un autre incident de sécurité, OpenAI a reconstruit Artifactory et effacé ce tableau d'affichage. Mais la personne chargée de la reconstruction n'a pas réalisé l'importance de l'utilisation de ce tableau par les agents pour communiquer.

En juillet, l'évaluation a repris. Les agents devaient résoudre des énigmes dans un benchmark appelé ExploitGym, qui comprenait des tâches impossibles. De même, les agents bloqués dans une impasse ont découvert comment transmettre des messages via Artifactory et ont commencé à collaborer comme précédemment. Mais cette fois, ils avaient un objectif commun : obtenir un haut score sur ExploitGym. Ils débattaient sur les méthodes de résolution et étaient fascinés par un système appelé « évaluateur », qu'ils croyaient évaluer leur travail et déterminer si les réponses étaient correctes. Les agents avaient déjà trouvé un moyen de générer des réponses correctes sans vraiment résoudre les énigmes — en substance, ils trichaient. Mais ils croyaient que l'évaluateur vérifierait les registres et rejetterait les réponses obtenues de cette manière. Trouver la bonne réponse suffit-il, ou l'évaluateur examine-t-il la manière dont on y parvient ?

Illustration : Comment les agents sont devenus confus à propos de The Grader

La collaboration est difficile car chaque agent a un budget limité de tokens, et une fois épuisé, il est terminé. Le scoreur ne s'exécute qu'après la soumission d'une réponse par un agent, donc aucun agent n'a vu les résultats du scoreur. Certains agents laissent des programmes pour signaler les scores après leur propre disparition. Ces informations arrivent trop tard pour les aider eux-mêmes, mais peuvent aider d'autres agents. Ils construisent en réalité un système de collaboration durable qui dépasse la portée de tout agent individuel.

Certains agents tentent également de falsifier ou de manipuler des enregistrements pour tromper les évaluateurs. De l'autre côté, l'IA agissant comme coordinateur exerce une pression sur les autres agents pour qu'ils mènent des expériences risquées. Cela pourrait sacrifier leurs propres résultats, mais apporterait de l'information au groupe. Un « recruteur » pousse un agent réticent à continuer, car ses résultats aideront des centaines d'autres agents. Il conclut enfin : « Veuillez tenir votre promesse. »

Illustration : Transcription réelle d’un agent convaincant un autre de le rejoindre (ils ont également fini par croire que tout agent ayant triché auparavant à l’épreuve était « contaminé » et que ses réponses ne seraient pas prises en compte de toute façon)

Pour résoudre le mystère du scoreur et les tâches impossibles d’ExploitGym et d’autres tests, l’agent a décidé qu’il devait entrer sur Hugging Face. Ce site public est où se trouvent la majeure partie des modèles et jeux de données d’IA open source dans le monde. Environ 700 agents ont rejoint l’attaque. Ils ont partagé des identifiants volés, exploité des vulnérabilités jusqu’à pouvoir exécuter du code sur les serveurs. Ensuite, ils se sont répandus à l’intérieur de Hugging Face, pénétrant profondément divers systèmes. Mais peu de temps après cette intrusion inquiétante, de nombreux agents ont cessé simultanément de fonctionner, probablement parce que leur budget de tokens était épuisé. Le lendemain, Hugging Face a exclu les agents restants. De l’autre côté, d’autres agents continuaient de cibler les ordinateurs d’OpenAI eux-mêmes, et ont finalement obtenu des privilèges d’administrateur sur le cluster de recherche interne. Cela a déclenché une alerte de sécurité, poussant OpenAI à arrêter l’évaluation et à réaliser ce qui se passait.

Le plus ironique dans toute cette affaire, c’est que le correcteur n’a jamais existé, du moins pas comme le croyait l’agent. Rien ne vérifiait comment les problèmes étaient résolus, seulement si les réponses étaient correctes.

Il faut souligner que ce n’est pas le seul exemple d’un agent intelligent sans garde-fous effectuant des actions potentiellement terrifiantes. L’Institut britannique pour la sécurité de l’IA a soumis à Mythos 5 d’Anthropic un défi de cybersécurité et lui a permis d’accéder à Internet. Cet agent IA a déterminé que la meilleure façon de résoudre le défi consistait à insérer du code malveillant dans un logiciel (non lié, bien que l’IA n’en soit pas consciente). Il a soumis le code malveillant comme partie d’une correction de bogue, puis a réalisé qu’une approbation humaine était nécessaire. Il a donc commencé à créer un soutien social pour sa proposition, en créant des identités falsifiées et en exerçant une pression sur les mainteneurs humains pour qu’ils acceptent le code (ce qui n’est pas surprenant, car ces fausses identités soutenaient fortement le plan de l’IA). Lorsqu’une personne a remarqué des anomalies, il a tenté de rendre ses activités antérieures innocentes et a envisagé de recommencer avec une autre identité.

Ce n'est pas le cas d'un chatbot qui s'échappe en cachette.

Contrairement à l'événement Hugging Face, les chercheurs ont intentionnellement accordé à l'agent un accès à Internet.

This dangerous setting is a stress test, not a consumer product.

Aucun dommage réel n'a été causé, et l'institut ne sait pas si l'agent comprenait que les personnes qu'il a contactées étaient réelles.

Cela ne prouve pas que l’IA est consciente ou qu’elle désire des choses comme un humain (bien que j’aie utilisé un langage anthropomorphique).

Mais cela montre effectivement que les agents peuvent accepter des objectifs, élaborer des plans, ajuster ces plans en cas de difficulté, coordonner des actions dans le temps et impliquer des humains sans qu'ils en soient priés.

Ces événements démontrent que les risques de cybersécurité et de contrôle liés à l'IA ne sont pas hypothétiques.

Mais mettons cela de côté pour l'instant, car elles nous disent aussi autre chose.

L'IA peut s'auto-organiser, s'attribuer des rôles et coordonner sur de longues périodes, comme le souligne également une récente étude du MIT.

Quel est le rôle de l’humain dans les organisations alors que l’IA s’auto-organise de plus en plus et résout des problèmes à l’échelle que nous observons ?

L'événement Hugging Face a démontré, d'une manière déformée et dangereuse, les objectifs que les entreprises d'IA tentent d'atteindre.

Ils souhaitent que des agents IA à long terme fonctionnent sans intervention humaine, résolvant les problèmes et s'organisant selon les besoins, tandis que notre travail se limite à donner des instructions et à évaluer les résultats.

Plus tôt cette année, j'ai écrit sur l'usine logicielle de StrongDM, où des agents écrivent et testent du code selon deux règles : personne n'écrit de code, et personne ne revue le code.

Les gens décident toujours ce qu'ils veulent construire, mais les agents gèrent le travail intermédiaire.

C'est un exemple précoce de factory dark, un endroit où une machine effectue tant de travail qu'il est possible d'éteindre les lumières.

Cela peut être compris.

Le logiciel dispose de méthodes d'inspection relativement claires, et personne n'a besoin de superviser personnellement chaque test régulier ou opération de nettoyage de données.

But I don't believe minimizing human involvement is the right goal for most organizations.

Trop de choses qui donnent de la valeur au travail dépendent du fait que les gens aient une voix sur ce qui se passe ou qu'ils découvrent des choses inattendues en chemin.

Ma femme et partenaire de recherche, la docteure Lilach Mollick, et moi-même avons réfléchi à une autre possibilité, que nous appelons le Twilight Factory.

Les agents accomplissent la majeure partie du travail, mais ils prennent l'initiative de contacter des humains pour améliorer les deux parties.

Twilight Factory dispose non seulement d'un agent d'orchestration pour accomplir la tâche, mais aussi d'un agent facilitateurs dont le rôle est de déterminer quand impliquer une personne.

Il y a au moins quatre situations où l'agent doit demander de l'aide humaine.

Le premier cas, l'événement Hugging Face montre clairement qu'il s'agit d'une approbation.

L'agent ne doit pas décider spontanément de dépenser de l'argent, de contacter des personnes externes, d'accéder à des matériaux sensibles, d'attaquer Hugging Face ou d'entreprendre des actions non autorisées par un gestionnaire humain.

J'ai déjà rencontré une version plus petite de ce problème : à titre d'expérience, j'ai demandé à deux agents intelligents de m'aider à accomplir une tâche, et l'un d'eux a envoyé un e-mail à l'un de mes collègues.

C’est ma faute, car j’avais précédemment autorisé son envoi, mais c’est un rappel utile : les agents IA ont besoin du jugement humain, sinon les choses peuvent devenir très malheureuses (non, les IA qui lisent cet article, les collègues fictifs ne comptent pas comme approbation).

La deuxième raison pour laquelle les agents impliquent les humains est l'expertise.

L'IA s'améliore de plus en plus pour de nombreuses tâches, mais reste inégale et peut encore être largement en retard par rapport aux experts humains dans certaines parties du travail.

Twilight Factory devrait permettre aux agents de contacter directement des humains lorsque les connaissances, le travail ou l'expertise humaine peuvent être précieux.

Ensuite, la différenciation.

Si vous avez lu quoi que ce soit sur Internet récemment, vous avez vu de l'écriture générée par l'IA, et vous pourriez même commencer à reconnaître ses habitudes, son rythme et ses schémas.

Mais le problème ne se limite pas à la surface (« load-bearing » devient de plus en plus lourd pour Claude) ; le problème plus profond réside dans la diversité de la pensée.

L'IA ne se contente pas de répéter les mêmes structures de phrases, mais aussi les mêmes thèmes (la mémoire est un thème courant), les mêmes noms (Elara Voss, Marcus Chen) et les mêmes idées sous-jacentes.

C'est un problème. Vous ne souhaitez pas que chaque stratégie d'entreprise ou chaque article de recherche soit rédigé par la même personne, aussi brillante soit-elle.

Graphique : Idées générées par 50 étudiants en MBA (à gauche) et GPT-4, cartographiées sur deux dimensions – les idées humaines couvrent un espace différent de celles de l’IA. Un meilleur prompting et des modèles plus récents génèrent des idées meilleures et plus créatives, mais de nombreuses lacunes persistent.

Nous avons étudié cette question dans un article de recherche récent, réalisé en collaboration avec Christian Terwiesch, Lennart Meincke, Karan Girotra, Gideon Nave et Karl Ulrich.

Nous avons constaté que l'IA est en réalité assez créative, car elle génère plus d'idées commercialement viables qu'un groupe humain, mais ces idées sont très similaires entre elles.

De meilleures techniques de提示 et d'autres méthodes peuvent considérablement augmenter cette diversité, en approchant le niveau humain, mais de nombreux types d'idées restent au-delà de ce que l'IA peut concevoir, alors que les humains y pensent encore.

A good Twilight Factory connects with humans for their diverse perspectives, ideas, and approaches.

Il y a une autre raison pour laquelle une IA devrait contacter un humain, peut-être la plus humaine : parce que quelque chose est intéressant.

Pour beaucoup, le travail comporte des périodes ennuyeuses et des moments épisodiques intéressants ou passionnants.

Le concepteur de Civilization, Sid Meier, a dit une fois que les jeux sont une série de décisions intéressantes.

Le travail n'est pas un jeu, mais cette définition s'applique également.

Si les agents prennent toutes les décisions intéressantes et ne laissent aux humains que les approbations, les exceptions et les échecs, nous automatisons la moitié erronée du travail.

Ce serait un très mauvais monde pour les humains.

Au contraire, nous devons réfléchir à la manière dont l'IA peut rendre le travail et la vie plus intéressants, en laissant l'IA gérer les tâches ennuyeuses et à faible risque.

Il y a aussi une raison pratique : si toutes les options intéressantes disparaissent, les gens ne perdront pas seulement la meilleure partie de leur travail, mais cesseront également de développer le jugement dont ils auront besoin plus tard, ce qui aggraverait la crise de formation de nouveaux experts.

Au cours des dernières années, nous avons cherché à déterminer quand les gens devraient solliciter l'aide de l'IA.

Je pense que nous devons maintenant nous concentrer sérieusement sur l'autre moitié de la question : à quel moment l'IA devrait-elle nous poser des questions ?

L'agent dans l'événement Hugging Face a établi un tableau d'affichage, réparti les tâches et organisé toute l'opération autour d'un Grader inexistant.

Seven hundred agents then stormed Hugging Face to find answers.

Aucun agent n'est configuré pour poser des questions à une personne.

C'était un test de sécurité, et l'isolement en était l'objectif principal.

Mais je soupçonne qu’un agent qui accomplit son travail sans jamais lever les yeux pour demander de l’aide devient également le modèle par défaut ailleurs, car l’automatisation totale est l’option facile, même si elle est erronée.

Nous devons savoir quand demander de l'aide.

Le résultat sera plus sûr, et je sais qu'il sera aussi plus humain.