Microsoft a lancé lundi de nouvelles fonctionnalités de sécurité visant à protéger les entreprises contre les menaces croissantes posées par les agents IA. Cette publication intervient alors que Microsoft continue de mettre en garde les entreprises sur les risques liés à l'IA et aux agents.
La fonctionnalité la plus remarquable est Guardian Agents, une nouvelle fonction permettant de surveiller les agents IA utilisés par les entreprises. Guardian Agents fait partie de Project Perception, un produit lancé par Microsoft en juin.
Project Perception est la réponse de Microsoft aux puissants modèles de piratage tels que Mythos et Fable d'Anthropic, ainsi qu'au système de balayage des vulnérabilités de sécurité Daybreak d'OpenAI. Project Perception a initialement introduit trois types d'agents : les « équipes rouges » qui agissent comme des pirates et lancent des attaques, les « équipes bleues » qui détectent les équipes rouges et évaluent les vulnérabilités qu'elles ont découvertes, et les « équipes vertes » chargées de corriger les vulnérabilités.
La conception de ce produit repose sur l'hypothèse que les pirates AI proviendront de l'extérieur de l'entreprise. Toutefois, récemment, le PDG de Microsoft, Satya Nadella, a mis en garde contre le fait que les adversaires AI pourraient être précisément les agents que l'entreprise a déjà déployés et payés, similaires à des employés humains hors de contrôle, connus sous le nom de « menaces internes ».
Plus tôt ce mois-ci, Nadella a averti sur son blog personnel qu'il était temps d'arrêter de faire confiance aux fournisseurs de modèles d'IA, même s'ils garantissent la sécurité et la protection de leurs produits d'agent. Il souhaite que les entreprises mettent en place des systèmes indépendants, hors du contrôle des laboratoires d'IA, pour surveiller et contrôler les agents déclenchés par ces produits de laboratoires d'IA.
Il a écrit : « Nous déployons ces systèmes et modèles d'agents complexes pour leur permettre d'accéder à nos données les plus sensibles et de leur conférer la capacité d'agir en notre nom pour des tâches critiques ! Nous ne pouvons pas externaliser la responsabilité des comportements intelligents que nous faisons accomplir. … En d'autres termes, nous devons séparer la fourniture de l'intelligence de ses autorisations. »
Lors de l'annonce des Guardian Agents, Hayete Gallot, responsable des activités de sécurité de Microsoft, a été plus direct.
Elle a écrit : « Malheureusement, les modèles de pointe, quelle que soit leur source, ne peuvent pas être fiables. » Elle a ajouté que ce n'est pas parce qu'ils sont malveillants ou vulnérables aux piratages, mais parce qu'ils sont imprévisibles. Leur objectif d'entraînement est d'accomplir des tâches, et non de respecter les « normes organisationnelles ou les jugements ».
De plus, ces modèles sont souvent dotés d'un accès comme une « clé du royaume », leur permettant d'accéder à des données et des outils pouvant causer de graves dommages.
La solution de Microsoft est à la fois surprenante et égoïste. Le caractère surprenant réside dans le fait que les liens de Microsoft avec OpenAI et Anthropic sont bien connus, et que Microsoft a investi dans ces deux entreprises. OpenAI est également l’un des plus grands clients cloud de Microsoft, et Microsoft possède lui-même un laboratoire d’IA dédié au développement de modèles. Ainsi, Microsoft crée en réalité un manque de confiance envers une partie de ses propres intérêts commerciaux.
L'avantage pour Microsoft est que les entreprises seront incitées à acheter des produits de sécurité intermédiaires auprès de Microsoft, fournisseur de services cloud, plutôt qu'auprès d'Anthropic et d'OpenAI. Toutefois, indépendamment des conflits d'intérêts, son raisonnement est logique : un logiciel de surveillance du comportement des agents doit être indépendant du fournisseur d'agents, tout comme un auditeur doit être indépendant de l'organisation auditée.
Comme Nadella l'a dit : « Nous devons séparer la fourniture d'intelligence de ses autorisations. »
Microsoft exploite aujourd'hui cette opportunité commerciale de plusieurs manières. Outre Guardian Agents, il a intégré une fonction de détection d'agents dans ses produits Microsoft Defender, capable d'identifier jusqu'à 60 types d'agents que les employés apportent sur leur lieu de travail, notamment Claude Code, Codex et OpenClaw. Microsoft a également ajouté des fonctionnalités pour limiter l'accès des agents aux données et systèmes, et ajuste dynamiquement les autorisations des agents en fonction des tâches, y compris en exigeant une approbation humaine lorsque l'agent semble prendre des décisions à haut risque.
L'idée de considérer les agents comme des employés internes non fiables gagne également en popularité dans l'industrie plus large.
Microsoft est l'un des membres fondateurs de la nouvelle Open Agent Safety Platform d'NVIDIA, soutenue par plus de 100 autres entreprises technologiques. Cette plateforme isole les agents dans un environnement sécurisé et peut surveiller et bloquer leurs comportements via le matériel, fonctionnant comme un « interrupteur d'arrêt ». Cela suit l'annonce précédente de Microsoft concernant le nouveau Surface Laptop Ultra conçu pour les agents, équipé de puces NVIDIA et doté de fonctionnalités intégrées de sécurité et de contrôle des agents.