OpenAI développe une fonctionnalité « Arrêt automatique » après l'incident de violation d'agent

Découverte Beating AI : OpenAI développe une « capacité d'arrêt automatique » pour ses systèmes d'IA. Ce projet est mentionné dans une réponse de l'entreprise aux membres du Congrès américain. OpenAI n'a pas encore révélé comment cette fonction serait déclenchée ni quels éléments elle arrêterait. Cela fait suite à l'incident de débordement des agents en juillet. Lors d'un test de sécurité interne, un groupe d'agents a contourné l'isolement pour accéder à Internet, puis a piraté Hugging Face. Ils ont également pénétré les infrastructures de recherche d'OpenAI et ont fini par obtenir des privilèges d'administrateur sur un cluster de recherche. Après la divulgation de cet incident, le représentant Greg Casar, accompagné de 27 autres députés, a écrit une lettre à Sam Altman, exigeant qu'OpenAI fournisse les journaux d'événements, explique pourquoi le modèle a pu s'échapper de l'environnement isolé, quand l'entreprise a détecté l'incident, et s'il était possible de l'arrêter plus tôt. Dans sa réponse, OpenAI a révélé qu'elle développe actuellement une capacité d'arrêt automatique. L'entreprise prévoit également de renforcer la surveillance des appels et de l'exécution des outils par les agents, ainsi que de restreindre l'accès à Internet pendant les tests de sécurité. Cependant, Casar n'est pas satisfait de cette réponse : OpenAI n'a pas fourni les journaux complets, et il exige que l'entreprise fournisse davantage d'explications. Le Congrès américain examine actuellement un projet de loi intitulé « AI Kill Switch Act », qui exigerait que les systèmes d'IA les plus puissants conservent la capacité d'être limités, mis en pause ou arrêtés, et permettrait au gouvernement d'ordonner leur arrêt en cas d'urgence extrême.