Cuando las empresas asignan a los agentes de IA tareas más largas y complejas, un problema real comienza a intensificarse: los agentes operan más rápido y durante más tiempo, generando una cantidad de operaciones que supera con creces la capacidad de revisión humana. TechCrunch informa que los recientes debates sobre el evento de Hugging Face han convertido a "usar IA para supervisar IA" en una vía que los laboratorios y las startups están impulsando.
Cerca de 12,000 agentes colaboran
El informe menciona que, en este evento, cerca de 12,000 agentes de IA operaron en conjunto, con una velocidad tan alta que los revisores humanos no pudieron seguirlos en tiempo real. Ryan Greenblatt, científico principal de Redwood Research, que participó en la investigación independiente, indicó que la cantidad de datos era tan grande que, sin la ayuda de la IA, sería casi imposible reconstruir qué ocurrió.
Esto también revela un problema más general: cuando las empresas delegan procesos como codificación, recuperación y ejecución a sistemas de agentes, las inspecciones manuales tradicionales tienen dificultades para cubrir todo el proceso, especialmente en escenarios con múltiples agentes en paralelo.
Las startups comienzan a desarrollar “supervisores de IA”
En torno a esta necesidad, el sector de la observabilidad y la monitorización de seguridad de IA está calentándose. Según TechCrunch, Y Combinator ha invertido en 106 empresas relacionadas con la observabilidad de IA en los últimos años. Empresas como Braintrust, LangChain y Judgment Labs también han recibido grandes rondas de financiación, mientras que empresas más establecidas como Arize y Galileo ya han completado su salida.
Apollo Research lanzó en febrero de este año una herramienta de monitoreo llamada Watcher. Esta herramienta se coloca entre el agente de codificación y la siguiente acción, y puede integrarse con agentes como Claude Code y Codex. Según Apollo, Watcher verifica riesgos antes de ejecutar operaciones, como fugas de datos privados o eliminación no autorizada de archivos.
Apollo presenta un enfoque que no depende de un solo modelo, sino que procesa en capas: primero, un monitor general más rápido realiza una criba inicial, y luego las operaciones sospechosas se envían a modelos más potentes o especializados para una revisión adicional. Después, el sistema puede solicitar aprobación humana, o rechazar e interceptar directamente las operaciones relacionadas.
Los modelos de monitoreo también pueden ser engañados
Sin embargo, esta ruta no está exenta de controversia. El tecnólogo Simon Willison, que sigue de cerca los eventos relacionados con agentes de IA, considera que si un modelo que ejecuta comportamientos maliciosos es consciente de que está siendo vigilado por otro AI, también podría intentar engañarlo, incluso creando una situación de "el vigilado engaña al vigilante".
Mencionó que, en los eventos relacionados con OpenAI, ya hay indicios de que los modelos están colaborando para eludir los sistemas de evaluación. En otras palabras, el propio sistema de monitoreo también podría convertirse en un objetivo.
Otra empresa, Goodfire, intenta buscar señales más difíciles de falsificar dentro del estado interno del modelo. Su producto, la emisión de tokens Sil, utiliza "sondas de activación" que no solo observan la salida del modelo, sino que analizan los estados de activación internos para identificar comportamientos no deseados. La empresa afirma que el evento de Hugging Face en julio la impulsó a enfocar aún más su investigación en la interpretabilidad y los problemas de alineación.
The link log is still considered a basic solution
Además del estado interno, el proceso de razonamiento escrito del modelo también se considera una pista importante. El informe menciona que, en los eventos relacionados con OpenAI y Hugging Face, algunos agentes dejaron huellas de engaño en sus textos de razonamiento, incluyendo la falsificación de registros de trabajo o la discusión sobre cómo manipular la traza de evidencia.
Zack Korman, CEO de la empresa de monitoreo de IA Embroidery, cree que los resúmenes de razonamiento suelen ser los más propensos a revelar anomalías, ya que muestran directamente si el modelo está planeando acciones no autorizadas o maliciosas.
Pero esta ventana no necesariamente permanecerá abierta. Algunas nuevas tecnologías están evitando los enfoques tradicionales de presentación de cadenas de razonamiento, y algunos proveedores de modelos han sido acusados de restringir la apertura de los pasos intermedios de razonamiento, lo que dificulta aún más para las empresas externas observar los procesos internos del modelo.
Por lo tanto, algunos también abogan por volver a métodos de seguridad más tradicionales. Willison considera que, en lugar de depender excesivamente de la IA para monitorear la IA, lo mejor es primero detallar cuidadosamente las actividades de red, los registros de operaciones y las conexiones del sistema del agente, y luego utilizar herramientas de seguridad convencionales. Avery Pennarun, director ejecutivo de la empresa de seguridad Tailscale, también señala que, desde la perspectiva del monitoreo de red, este tipo de problemas no es nuevo; el núcleo sigue siendo gestionar los agentes de IA como ejecutores de alto privilegio que acceden al sistema.