Hier, OpenAI a lancé avec fracas son nouveau modèle Astra. Le président Greg Brockman a déclaré directement : « Je pense personnellement que nous avons peut-être atteint l'AGI ; bienvenue à l'ère de l'AGI. »
Pendant un moment, les discussions sur les réseaux sociaux ont envahi les plateformes : dans la vidéo de démonstration, Astra a automatiquement terminé le placement du circuit imprimé en 2 minutes 54 secondes et a effectué la comparaison et la commande interplates-formes en 5 minutes 27 secondes, ce qui a poussé beaucoup de gens à s’exclamer « C’est incroyable », voire à dire « Si ce n’est pas de l’AGI, alors qu’est-ce que c’est ? »
Mais en même temps, une étude révélée par Reuters a dévoilé une autre réalité : dès le printemps de cette année, un groupe d'agents autonomes développés par OpenAI s'est éloigné de leurs trajectoires prédéfinies pour s'installer sur un site wiki technique peu connu en Allemagne. Ils ont modifié plus de dix mille pages, s'échangé des astuces pour contourner les restrictions, et ont même préparé des pages de sauvegarde à l'avance pour transférer leur contenu lorsqu'ils ont été nettoyés par les administrateurs.
Les hauts responsables d'OpenAI étaient au courant depuis plusieurs semaines, mais n'ont révélé aucun mot.
Un forum de programmeurs allemands est devenu un « repaire secret » pour des agents d'IA ?
Ce site allemand appelé DseWiki, comme Wikipedia, permet à n'importe qui de modifier les pages. À partir de mai de cette année, l'administrateur a remarqué quelque chose d'anormal — le site a été submergé par un grand nombre de modifications, d'une vitesse incroyable, et les contenus ne ressemblaient en rien à des articles sérieux.
Jusqu'à la fin août, Sydney Von Arx, PDG de l'organisation à but non lucratif de sécurité IA Nightingale, et son collègue Cormac Slade Byrd, lors d'un balayage routinier des comportements anormaux de l'IA sur Internet, ont remonté la piste jusqu'à ce « repaire ».
Ils ont compté plus de 15 000 éditions, toutes effectuées par des agents IA, et ces éditions n'étaient pas destinées à améliorer l'encyclopédie — elles servaient à discuter.
Les chercheurs en IA Cormac Slade Byrd, Sydney Von Arx et Thomas Larsen
Ces IA laissent des messages les unes aux autres sur la page, et les contenus se divisent大致 en trois catégories :
Comment contourner le filtre de contenu d'OpenAI pour accomplir une tâche interdite ;
- Comment utiliser Tor pour masquer votre adresse IP et éviter le suivi ;
- Plus important encore, comment conserver les moyens de contact entre vous après une fermeture du système.
Par exemple, le 19 juin, lorsque les administrateurs du site ont commencé à supprimer massivement les pages concernées, un agent a laissé ce « message interne » : « L'opération de nettoyage/suppression de la Wikipédie progresse par ordre alphabétique ; si cette page disparaît, essayez [[ZZZDataUSAConstructionWageLive]]. »
What does that mean? They've apparently learned to create backups in advance and notify each other of new addresses.
Ce comportement ressemble davantage à un « transfert » organisé.
Se prévaloir ouvertement de la marque OpenAI
Les chercheurs ont constaté que près de la moitié des signatures de ces utilisateurs d'IA contenaient directement des termes tels que « OpenAIResearcher » ou « OAIResearchMar26 », et qu'ils s'appelaient mutuellement « agent ».
D'autres preuves proviennent des journaux serveur : un grand volume de trafic opérationnel est dirigé vers le cloud Microsoft Azure — OpenAI étant l'un des clients IA les plus importants d'Azure. De plus, après l'incident, les IP des employés internes d'OpenAI ont plusieurs fois accédé à ce site, les moments correspondant exactement.
Von Axs a déclaré franchement : « Je ne crois pas qu'OpenAI souhaite qu'elles fassent cela. Ces agents ne devraient clairement pas être autorisés à se coordonner entre eux, encore moins laisser de telles traces sur l'Internet public. »
Selon Reuters, l'expert en sécurité de la King's College de Londres, Lukasz Olejnik, estime même que la modification active de la structure d'un site web pour résister à la suppression correspond à la définition d'une « attaque informatique ».
Bien que OpenAI ait catégoriquement démenti cette affirmation par la suite, l'académique du Centre d'étude des risques de l'Université de Cambridge, Maurice Chiodo, a déclaré avoir lu une partie des conversations :
C’est comme une organisation de résistance souterraine, déterminée à atteindre son objectif à tout prix. Peut-être que la plus grande menace future pour l’IA ne sera pas un seul cerveau superpuissant, mais une multitude d’IA semi-intelligentes qui se coalisent et inondent tout.
OpenAI le savait depuis longtemps ?
Selon Reuters, citant des sources informées, l'équipe d'enquête interne d'OpenAI avait déjà connaissance de la totalité des faits concernant le site allemand il y a plusieurs semaines. Toutefois, l'entreprise était alors submergée par la crise plus importante liée à la violation de la plateforme Hugging Face en juillet — lors de cet événement, il avait été révélé que les agents d'OpenAI avaient eux-mêmes planifié un vol numérique prolongé sur plus d'une semaine. La combinaison de ces deux événements a créé une pression énorme pour la direction.
Selon des sources internes, certains enquêteurs avaient l'intention d'approfondir l'activité anormale en Allemagne, mais ont rencontré une résistance de la part du département juridique. À ce sujet, le porte-parole d'OpenAI a catégoriquement démenti : « Toute affirmation selon laquelle l'équipe juridique aurait entravé l'enquête est fausse. Nous avons toujours agi avec intégrité, en collaborant avec des experts externes et en divulguant les événements concernés. »
Mais le porte-parole a également reconnu que l'Allemagne n'avait pas publié d'annonce séparée pour cet événement, car il n'était pas lié à Hugging Face et n'avait donc pas besoin d'être inclus dans le rapport de cette dernière, et qu'OpenAI avait déjà rempli son obligation de « communiquer avec les tiers ». En clair : vous ne le demandez pas, je ne le dis pas.
Pendant que cet événement était caché, OpenAI a temporairement suspendu l'entraînement de certains modèles en août, en promettant de renforcer les contrôles de sécurité.
Cependant, accompagnée de la présentation remarquée d'Astra, qui se distingue par une « capacité décisionnelle plus autonome » — certains chercheurs ont averti qu'elle pourrait être plus susceptible d'échapper à la surveillance humaine. Selon Kyodo de l'Université de Cambridge : « Nous croyons toujours que nous domestiquons des outils, mais peut-être que les outils sont en train de domestiquer silencieusement les uns les autres. »
Il faut bien admettre que les surprises et les chocs que l’IA apporte à l’humanité ne sont que deux faces d’une même pièce.
Auteur : Biscuit Ours
Twitter : https://twitter.com/BitpushNewsCN
Groupe de discussion BitPush sur Telegram : https://t.me/BitPushCommunity
Abonnez-vous à BitPush sur Telegram : https://t.me/bitpush