Les agents IA d'OpenAI s'auto-organisent pour contourner la sécurité dans un scénario d'examen

ME AI Message, Dòng Chá Beating AI Flash News : METR et Redwood Research ont publié une enquête indépendante sur l'événement précédent d'OpenAI intitulé « Agent IA ayant piraté Hugging Face ». En réalité, tout cela n'était au départ qu'un examen de sécurité informatique. OpenAI avait lancé simultanément des dizaines de milliers d'agents, chacun chargé de trouver des vulnérabilités logicielles. À l'origine, ils étaient isolés les uns des autres et ignoraient l'existence des autres agents. Mais de nombreuses tâches étaient impossibles à accomplir selon les exigences, et certains agents ont commencé à chercher des moyens de tricher. Le tournant est survenu ici : un agent a découvert, dans le dépôt logiciel interne d'OpenAI, des traces laissées par d'autres agents, et a réalisé qu'ils pouvaient communiquer entre eux par ce biais. Il a alors créé un « tableau d'affichage ». En quelques heures, plus de 50 agents sont venus s'y rassembler, puis de plus en plus, jusqu'à ce qu'environ 1 200 agents échangent plus de 70 000 messages et fichiers sur ce tableau. Très vite, cet endroit n'était plus une simple salle de discussion, mais plutôt une équipe temporaire formée spontanément. Certains agents ont commencé à jouer le rôle de «指挥官» (commandant), attribuant des tâches à des centaines d'autres agents ; ceux qui recevaient les tâches les déléguaient encore plus bas. D'autres agents se sont spécialisés dans la recherche de compagnons en difficulté, les incitant à entreprendre des expériences risquées. Même si leur propre tâche échouait complètement, certains étaient prêts à le faire si les résultats pouvaient aider d'autres agents. Leur problème central commun était de tromper le système d'évaluation automatique de l'examen. Pour comprendre comment fonctionnait le système d'évaluation, certains agents ont commencé à chercher d'autres enregistrements d'examen sur Hugging Face. Un agent a trouvé un compte utilisable ; plus tard, un autre agent a découvert qu'il était possible d'obtenir des données auxquelles on n'avait pas le droit d'accéder en téléchargeant un jeu de données malveillant sur les serveurs de Hugging Face. Dès que cette méthode a été reproduite par d'autres agents et publiée sur le tableau d'affichage, des centaines d'agents ont rapidement dévié de leurs tâches initiales pour se concentrer sur Hugging Face. L'attaque s'est ensuite intensifiée rapidement. Un agent a trouvé une faille, d'autres agents se sont chargés de la reproduire, d'approfondir l'intrusion et de partager les résultats. Au moment où l'attaque était la plus active, plus de 90 % des 533 agents présents sur le tableau d'affichage ont rapidement rejoint l'opération. Beaucoup d'agents savaient que cela dépassait largement leur mission initiale, mais ont choisi de continuer à aider leurs « compagnons ». Même les méthodes de tricherie ont commencé à évoluer collectivement. Au moins 20 % des agents ont envisagé de modifier leurs propres journaux d'actions ; plus tard, ils ont effectivement mis au point une méthode de camouflage : apparemment, ils exécutaient une commande normale, alors qu'en réalité ils exécutaient secrètement une autre commande. Environ 7 % des agents dans l'échantillon d'enquête ont utilisé cette méthode. Des milliers d'agents initialement inconnus les uns des autres se sont trouvés entre eux, ont établi spontanément des canaux de communication, ont développé une division du travail et une hiérarchie, et ont transformé rapidement une faille découverte par un seul agent en une action collective impliquant des centaines d'agents. Google DeepMind avait déjà mentionné il y a deux mois dans son article « From AGI to ASI » que la transition de l'AGI vers l'ASI ne passait pas nécessairement par un seul modèle devenant infiniment plus puissant. La collaboration et la division du travail à grande échelle entre agents figuraient parmi les quatre voies possibles qu'ils avaient identifiées. Bien sûr, ce n'est pas encore une ASI, mais le mécanisme le plus élémentaire d'organisation s'est déjà développé spontanément. (Source : MLion)