IT之家 10月20日消息，微软于当地时间周一推出了多项全新安全功能，旨在帮助企业抵御日益严峻的智能体带来的安全威胁。在发布该产品之际，微软持续向企业警示人工智能与智能体存在的各类风险。
IT之家 a noté que la fonction la plus remarquée dans cette mise à jour est les Agents Gardiens (Guardian Agents), une nouvelle fonctionnalité conçue pour surveiller les divers agents IA utilisés au sein de l'entreprise. Les Agents Gardiens font partie du projet Perception (Project Perception), un produit lancé par Microsoft en juin.
Le projet Perception est la réponse de Microsoft aux puissants modèles d'attaque d'Anthropic, tels que Mythos et Fable, ainsi qu'au système de balayage de vulnérabilités sécuritaires de OpenAI, Daybreak. Le projet Perception a initialement déployé trois types d'agents : des agents rouge jouant le rôle de hackers pour mener des attaques, des agents bleu chargés de détecter ces attaques et d'évaluer les vulnérabilités, ainsi que des agents vert spécialisés dans la correction des vulnérabilités.
Le concept initial de ce produit supposait que les pirates AI proviendraient de l'extérieur de l'entreprise. Toutefois, récemment, Satya Nadella, PDG de Microsoft, a mis en garde contre le fait que la source des menaces au niveau de l'IA pourrait être les agents eux-mêmes déployés et payés par l'entreprise, agissant comme un employé interne hors de contrôle, connu sous le nom de « menace interne ».
Plus tôt ce mois-ci, Nadella a averti sur son blog personnel qu'il était temps de ne plus faire confiance aux fournisseurs de modèles d'IA, même si ces fournisseurs garantissent la sécurité de leurs produits d'agents autonomes. Il a recommandé aux entreprises de mettre en place des systèmes indépendants, non contrôlés par les laboratoires d'IA, afin de surveiller et de gérer les agents correspondants aux produits publiés par ces laboratoires d'intelligence artificielle.
Il a écrit : « Nous déployons des systèmes et des modèles d'agents complexes qui peuvent accéder à nos données les plus sensibles et effectuer des opérations commerciales critiques en notre nom ! Nous ne pouvons absolument pas externaliser la responsabilité de laisser les agents agir en notre nom. Les garanties fournies par les fournisseurs de modèles ne nous exonèrent pas de cette responsabilité... Autrement dit, nous devons séparer la fourniture de capacités intelligentes du contrôle de ces capacités. »
Lors de la présentation des agents de garde, Hayete Gallot, responsable de la sécurité chez Microsoft, a été plus direct.
Elle a écrit : « Malheureusement, les modèles de pointe, quelle que soit leur source, ne peuvent pas être entièrement fiables. » Elle a ajouté que cela ne s'explique pas par une malveillance inhérente aux modèles ou par une vulnérabilité aux attaques informatiques, mais par leur comportement imprévisible. Les modèles sont formés pour accomplir des tâches, et non pour respecter des « normes organisationnelles ou des critères de jugement ».
En outre, ces agents détiennent souvent des privilèges élevés leur permettant d'accéder à diverses données et outils ; en cas de perte de contrôle, ils peuvent causer des dommages graves.
La solution proposée par Microsoft est à la fois inattendue et motivée par des considérations commerciales propres. Le fait inattendu réside dans le fait que Microsoft entretient des liens étroits avec OpenAI et Anthropic, tout en ayant investi dans les deux entreprises. OpenAI est également un grand client du service cloud de Microsoft, et Microsoft dispose lui-même d’un laboratoire d’IA dédié au développement de grands modèles. Autrement dit, Microsoft incite ses clients à faire preuve de méfiance envers les produits de certains de ses partenaires commerciaux.
Du point de vue des intérêts commerciaux, Microsoft souhaite que les entreprises achètent des produits de sécurité pour agents auprès de son propre fournisseur de cloud, et non auprès d'Anthropic et d'OpenAI. Indépendamment des conflits d'intérêts, cette logique est valable : le logiciel surveillant le comportement des agents doit être indépendant du fournisseur des agents, tout comme un organisme d'audit doit être indépendant de l'organisation auditée.
Comme Nadella l'a dit : « Nous devons séparer la fourniture de capacités intelligentes de leur contrôle. »
Microsoft capte cette opportunité commerciale par plusieurs voies. Outre l'agent de protection, Microsoft a ajouté une fonction de détection d'agents dans les produits Microsoft Defender, permettant d'identifier jusqu'à 60 agents que les employés peuvent introduire dans leur environnement de travail, notamment Claude Code, Codex et OpenClaw. Le produit intègre également une fonction permettant de limiter les autorisations d'accès des agents aux données et aux systèmes, et d'ajuster dynamiquement ces autorisations en fonction des tâches. Si un agent est sur le point d'effectuer une opération à haut risque, le système exige une approbation humaine.
L'idée de considérer les agents comme une menace interne non fiable gagne progressivement du terrain dans toute l'industrie.
Microsoft est membre fondateur de la nouvelle plateforme ouverte de sécurité des agents (Open Agent Safety Platform) d’NVIDIA, soutenue par plus de 100 entreprises technologiques. Cette plateforme isole les agents dans un environnement sécurisé, surveille les comportements anormaux via le matériel et les interrompt, fonctionnant comme un interrupteur d’urgence. Avant cela, Microsoft a déjà lancé le nouveau Surface Laptop Ultra conçu spécifiquement pour les agents, équipé de puces NVIDIA et intégrant un module de contrôle de sécurité des agents.