Microsoft lanzó nuevas funciones de seguridad el lunes para proteger a las empresas contra la creciente amenaza de agentes de IA. Este lanzamiento se produce mientras Microsoft continúa alertando a las empresas sobre los riesgos asociados con la IA y los agentes.
La función más destacada es Guardian Agents, una nueva función para monitorear los agentes de IA utilizados por las empresas. Guardian Agents forma parte de Project Perception, un producto lanzado por Microsoft en junio.
Project Perception es la respuesta de Microsoft a modelos de hacking potentes como Mythos y Fable de Anthropic, y al sistema de escaneo de vulnerabilidades de seguridad Daybreak de OpenAI. Project Perception lanzó inicialmente tres tipos de agentes: el "equipo rojo", que actúa como hacker y lleva a cabo ataques; el "equipo azul", que detecta al equipo rojo y evalúa las vulnerabilidades que descubre; y el "equipo verde", encargado de reparar las vulnerabilidades.
El diseño de este producto se basa en la suposición de que los hackers de IA vendrán desde fuera de la empresa. Sin embargo, recientemente, el CEO de Microsoft, Satya Nadella, ha advertido que los enemigos de IA podrían ser precisamente los agentes que la empresa ya ha implementado y pagado, similares a empleados humanos fuera de control, conocidos como “amenazas internas”.
A principios de este mes, Nadella advirtió en su blog personal que llegó el momento de dejar de confiar en los proveedores de modelos de IA, incluso si ofrecen garantías de seguridad y protección para sus productos de agentes. Él desea que las empresas establezcan sistemas independientes no controlados por los laboratorios de IA para monitorear y controlar los agentes iniciados por estos productos de laboratorios de IA.
Él escribió: "Estamos implementando estos sistemas y modelos de agentes complejos para que accedan a nuestros datos más sensibles y les otorguemos la capacidad de tomar acciones críticas en nuestro nombre. No podemos externalizar la responsabilidad de los comportamientos inteligentes que realizan en nuestro nombre. ... En otras palabras, necesitamos separar la provisión de inteligencia de sus permisos."
Al anunciar Guardian Agents, Hayete Gallot, director de negocios de seguridad de Microsoft, fue más directo.
Ella escribió: "Desafortunadamente, los modelos de vanguardia, independientemente de su origen, no pueden ser confiados." Ella añadió que esto no se debe a que tengan intenciones maliciosas o sean fáciles de hackear, sino a que son impredecibles. Su objetivo de entrenamiento es completar tareas, no seguir "normas organizativas o juicios".
Además, estos modelos suelen tener permisos como las "llaves del reino", lo que les permite acceder a datos y herramientas que podrían causar daños graves.
La solución de Microsoft es sorprendente y también egoísta. Lo sorprendente es que Microsoft tiene relaciones bien conocidas con OpenAI y Anthropic, y ha invertido en ambas empresas. OpenAI es también uno de los mayores clientes en la nube de Microsoft, y Microsoft tiene su propio laboratorio de IA que desarrolla modelos. Por lo tanto, Microsoft está, en realidad, sembrando desconfianza en parte de sus propios intereses comerciales.
La ventaja para Microsoft es que desea que las empresas compren productos de seguridad de agente de ella, como proveedora de servicios en la nube, en lugar de hacerlo directamente a Anthropic y OpenAI. Sin embargo, aparte del conflicto de intereses, su lógica es razonable: el software que monitorea el comportamiento de los agentes debe ser independiente del proveedor de agentes, al igual que los auditores deben ser independientes de las organizaciones auditadas.
As Nadella said: "We need to separate the supply of intelligence from its authority."
Microsoft ahora está aprovechando esta oportunidad comercial de múltiples formas. Además de Guardian Agents, ha incorporado funciones de detección de agentes en los productos Microsoft Defender, capaces de identificar hasta 60 agentes diferentes que los empleados pueden traer a su lugar de trabajo, incluyendo Claude Code, Codex y OpenClaw. Microsoft también ha añadido funciones para restringir el acceso de los agentes a datos y sistemas, y ajusta dinámicamente los permisos de los agentes según la tarea, incluyendo la solicitud de aprobación humana cuando los agentes parecen estar tomando decisiones de alto riesgo.
La idea de considerar a los agentes como empleados internos no confiables también está ganando popularidad en la industria en general.
Microsoft es uno de los miembros fundadores de la nueva Open Agent Safety Platform de NVIDIA, una plataforma respaldada por más de 100 otras empresas tecnológicas. Esta plataforma aísla los agentes en entornos seguros y puede monitorear y bloquear sus acciones mediante hardware, funcionando de manera similar a un "interruptor de apagado". Esto sigue al anuncio previo de Microsoft sobre el lanzamiento de la nueva Surface Laptop Ultra, una PC diseñada para agentes con chips de NVIDIA y funciones integradas de seguridad y control de agentes.