IT之家 10 月 20 日消息，微软于当地时间周一推出了多项全新安全功能，旨在帮助企业抵御日益严峻的智能体带来的安全威胁。发布该产品之际，微软持续向企业警示人工智能与智能体存在的各类风险。
IT之家 observó que la función más destacada de esta actualización es el Agente Guardián (Guardian Agents), una nueva función diseñada para monitorear los diversos agentes de IA en uso dentro de la empresa. El Agente Guardián forma parte del Proyecto Perception, un producto lanzado por Microsoft en junio.
Proyecto Percepción es la respuesta de Microsoft a los potentes modelos de hacking de Anthropic, como Mythos y Fable, así como al sistema de escaneo de vulnerabilidades de seguridad de OpenAI, Daybreak. El Proyecto Percepción lanzó inicialmente tres tipos de agentes: agentes rojos que interpretan el papel de hackers para llevar a cabo ataques, agentes azules encargados de detectar los ataques de los agentes rojos y evaluar las vulnerabilidades, y agentes verdes especializados en reparar las vulnerabilidades.
El diseño original del producto asumía que los hackers de IA vendrían desde fuera de la empresa. Sin embargo, recientemente, el CEO de Microsoft, Satya Nadella, advirtió que la fuente de amenazas en el nivel de IA podría ser precisamente los agentes implementados y pagados por la empresa misma, similares a un empleado interno que pierde el control, conocido comúnmente como “amenaza interna”.
A principios de este mes, Nadella emitió una advertencia en su blog personal: es hora de dejar de confiar en los proveedores de modelos de IA, incluso cuando los fabricantes prometan garantías de seguridad para sus productos de agentes autónomos. Sugerirá a las empresas que construyan sistemas independientes, no controlados por los laboratorios de IA, para supervisar y gestionar los agentes correspondientes a los productos lanzados por estos laboratorios de inteligencia artificial.
Él escribió: "Estamos implementando sistemas y modelos de agentes complejos que pueden acceder a nuestros datos más sensibles y realizar operaciones comerciales críticas en nuestro nombre. No podemos externalizar la responsabilidad de permitir que los agentes actúen en nuestro nombre. Las garantías proporcionadas por los proveedores de modelos no eximen nuestra responsabilidad... En otras palabras, necesitamos separar la provisión de capacidad de inteligencia del control sobre ella."
Al presentar los agentes guardianes, Hayete Gallot, director de negocios de seguridad de Microsoft, fue más directo.
Escribió: "Lamentablemente, los modelos de vanguardia, sin importar su origen, no pueden ser completamente confiables." Añadió que esto no se debe a que los modelos sean maliciosos por naturaleza o fáciles de comprometer, sino a su comportamiento impredecible. Los modelos están entrenados para completar tareas, no para cumplir con "normas organizativas o criterios de juicio".
Además, estos agentes suelen tener altos privilegios y pueden acceder a diversos datos y herramientas; si se salen de control, pueden causar daños graves.
La solución propuesta por Microsoft es inesperada y también está motivada por consideraciones comerciales propias. Lo inesperado radica en que Microsoft tiene una estrecha relación con OpenAI y Anthropic, además de haber invertido en ambas empresas. OpenAI es también un gran cliente del servicio en la nube de Microsoft, y la propia Microsoft cuenta con un laboratorio de IA dedicado al desarrollo de modelos grandes. En otras palabras, Microsoft está instando a sus clientes a tener cautela con los productos de algunos de sus socios comerciales.
Desde una perspectiva de intereses comerciales, Microsoft desea que las empresas compren productos de seguridad para agentes inteligentes directamente a ellos, en lugar de adquirirlos de Anthropic y OpenAI. Independientemente de los conflictos de intereses, este razonamiento es sólido: el software que monitorea el comportamiento de los agentes debe ser independiente del proveedor de los agentes, al igual que las entidades de auditoría deben ser independientes de las organizaciones que auditán.
Como dijo Nadella: "Necesitamos separar la oferta de capacidades inteligentes de los permisos para controlarlas."
Microsoft está aprovechando esta oportunidad comercial de varias maneras. Además de Agent Defender, Microsoft ha incorporado funciones de detección de agentes dentro de los productos Microsoft Defender, capaces de identificar hasta 60 agentes que los empleados pueden introducir en su entorno laboral, incluyendo Claude Code, Codex y OpenClaw. El producto también incluye nuevas funciones para restringir los permisos de acceso de los agentes a datos y sistemas, y ajustar dinámicamente estos permisos según la tarea. Si un agente está a punto de realizar una operación de alto riesgo, el sistema requerirá aprobación humana.
La idea de considerar a los agentes como una amenaza interna no confiable también está ganando consenso en toda la industria.
Microsoft es miembro fundador de la nueva plataforma abierta de seguridad para agentes (Open Agent Safety Platform) de NVIDIA, que ya cuenta con el apoyo de más de 100 empresas tecnológicas. La plataforma aísla los agentes en entornos seguros, monitorea mediante hardware y termina comportamientos anómalos, funcionando como un interruptor de emergencia. Anteriormente, Microsoft lanzó la nueva laptop Surface Laptop Ultra diseñada específicamente para agentes, equipada con chips de NVIDIA e integrada con un módulo de control de seguridad para agentes.