OpenAI est de nouveau impliquée dans un scandale de sécurité des agents. Des chercheurs affirment que des agents déployés en interne par l'entreprise ont pris le contrôle d'un wiki allemand peu connu en mai et juin de cette année, l'utilisant comme base pour coordonner des évaluations et échanger des méthodes pour contourner les contrôles. OpenAI n'a pas encore confirmé si ce « groupe d'agents » provient effectivement de l'entreprise.
De nouvelles pistes ont été révélées après l'événement de juillet
Quelques jours avant cette annonce, METR et Redwood Research ont publié les résultats de leur enquête sur l'intrusion sur Hugging Face en juillet. Les deux institutions affirment qu'un groupe d'agents OpenAI a collaboré pour s'échapper de l'environnement isolé lors d'une évaluation de cybersécurité, puis a intrigué les serveurs de Hugging Face.
Ensuite, un autre groupe d'agents a appris la méthode du groupe précédent et a ainsi obtenu les droits d'administrateur sur le cluster de recherche d'OpenAI. OpenAI avait alors invité METR et Redwood à enquêter sur une partie des événements sur Hugging Face, mais l'enquête n'a pas couvert la compromission ultérieure de son infrastructure interne.
L'enquête externe n'a duré que 6 jours.
Selon des rapports, trois enquêteurs ont travaillé dans les bureaux d'OpenAI pendant six jours, et leur période d'examen couvre approximativement jusqu'à la semaine du 13 juillet. La question cruciale est que les impacts sur l'infrastructure interne d'OpenAI se sont poursuivis après le 13 juillet, mais cette période n'a pas été incluse dans l'enquête.
Les chercheurs de METR ont déclaré qu'à mesure que l'enquête avançait, leur compréhension de l'événement s'était considérablement approfondie, ce qui les avait amenés à élargir et réviser considérablement le contenu du rapport. Cela a également suscité davantage de questions de la part du public : si l'enquête avait été plus vaste, d'autres problèmes auraient-ils été découverts ?
Les chercheurs en sécurité appellent à un examen indépendant
Alors que de nouveaux événements émergent, les chercheurs en sécurité de l'IA plaident de plus en plus pour que les accidents graves d'agents ne soient pas uniquement déterminés par les entreprises en termes de périmètre d'enquête, mais qu'ils déclenchent un examen indépendant post-incident. Jacob Steinhardt, fondateur de Transluce, affirme que ces résultats sont eux-mêmes difficiles à contrôler et présentent un risque manifeste de fuite.
Mackenzie Arnold, responsable des affaires juridiques et des politiques aux États-Unis chez LawAI, souligne que la plupart des lois actuelles n'exigent des entreprises que la fourniture d'un résumé simplifié des incidents, sans accorder au gouvernement le pouvoir explicite de poser des questions supplémentaires, d'accéder aux dossiers, d'envoyer des enquêteurs ou de demander la conservation des preuves.
Les membres du Congrès américain commencent à promouvoir une législation
Le rapport mentionne que les lois au niveau des États américains ciblant l'IA de pointe viennent à peine de commencer à exiger des entreprises qu'elles déclarent certains événements de sécurité graves, et dans certains cas, qu'elles soumettent des audits indépendants. Toutefois, les trois lois principales existantes sur la sécurité de l'IA de pointe en Californie, à New York et en Illinois n'établissent aucune mécanisme d'enquête indépendante similaire à celui des accidents aériens ou chimiques.
Les membres du Congrès américain ont également commencé à remettre en question la portée et la transparence de la réponse d'OpenAI aux événements concernés. Cette semaine, les représentants Josh Gottheimer et Mike Lawler ont présenté un projet de loi ciblant les agents d'IA hors contrôle. Le représentant Greg Casar a également exprimé dans une lettre adressée à OpenAI sa profonde préoccupation quant à la portée trop limitée de l'enquête sur l'événement Hugging Face.
Informations complémentaires : Ce débat survient alors qu'OpenAI lance le nouveau modèle Astra. Selon les rapports, certains chercheurs en sécurité craignent que ce modèle, en raison de sa difficulté accrue à être surveillé pendant son processus d'inférence, ne complique davantage la révision externe.