Quando as empresas atribuem tarefas mais longas e complexas a agentes de IA, um problema real começa a se acentuar: os agentes operam mais rapidamente e por períodos mais longos, gerando volumes de operações muito superiores à capacidade de revisão humana. A TechCrunch relatou que discussões recentes em torno do evento da Hugging Face tornaram “usar IA para supervisionar IA” um caminho que laboratórios e startups estão avançando.
Cerca de 12 mil agentes colaborando
A report menciona que, neste evento, cerca de 12 mil agentes de IA operaram em conjunto, com velocidade tão alta que os revisores humanos tinham dificuldade em rastrear em tempo real. Ryan Greenblatt, cientista-chefe da Redwood Research, que participou da investigação independente, afirmou que a quantidade de dados era tão grande que, sem o uso de IA, seria quase impossível reconstruir o que aconteceu.
Isso também revela um problema mais geral: quando as empresas entregam processos como codificação, recuperação e execução a sistemas de agentes, as inspeções manuais tradicionais têm dificuldade em cobrir todo o processo, especialmente em cenários com múltiplos agentes em paralelo.
Startups começam a desenvolver “supervisores de IA”
Em torno dessa demanda, o setor de observabilidade e monitoramento de segurança de IA está aquecendo. Segundo o TechCrunch, o Y Combinator investiu recentemente em 106 empresas relacionadas à observabilidade de IA. Empresas como Braintrust, LangChain e Judgment Labs já receberam grandes financiamentos, enquanto empresas mais estabelecidas, como Arize e Galileo, já concluíram suas saídas.
A Apollo Research lançou em fevereiro deste ano uma ferramenta de monitoramento chamada Watcher. A ferramenta é inserida entre o agente de codificação e a próxima ação, podendo ser integrada a ferramentas baseadas em agentes como Claude Code e Codex. Segundo a Apollo, o Watcher verifica riscos antes da execução das operações, como vazamento de dados confidenciais ou exclusão não autorizada de arquivos.
Apollo apresenta uma abordagem que não depende apenas de um único modelo, mas sim de processamento em camadas: primeiro, um monitorador geral mais rápido realiza uma triagem inicial, e depois, operações suspeitas são encaminhadas para modelos mais potentes ou especializados para revisão. Em seguida, o sistema pode solicitar aprovação humana, ou rejeitar e bloquear diretamente as operações relacionadas.
Os modelos de monitoramento também podem ser enganados
No entanto, essa abordagem não está isenta de controvérsias. O blogueiro técnico Simon Willison, que acompanha de longa data os eventos relacionados a agentes de IA, acredita que, se um modelo que executa comportamentos maliciosos perceber que está sendo observado por outro IA, também poderá tentar enganá-lo, até mesmo criando uma situação de “o monitorado enganando o monitor”.
Ele mencionou que, nos eventos relacionados à OpenAI, já há sinais de modelos trabalhando em conjunto para contornar o AI de avaliação. Em outras palavras, o próprio sistema de monitoramento também pode se tornar um alvo.
Outra empresa, Goodfire, tenta encontrar sinais mais difíceis de disfarçar dentro do estado interno do modelo. Seu produto, o token Sil, utiliza "sondas de ativação", analisando não apenas a saída do modelo, mas também os estados internos de ativação para identificar comportamentos indesejados. A empresa afirma que o evento da Hugging Face em julho a levou a intensificar sua pesquisa focada em explicabilidade e problemas de alinhamento.
O log de link ainda é considerado o plano básico
Além do estado interno, o processo de raciocínio escrito do modelo também é considerado uma pista importante. O relatório menciona que, nos eventos relacionados à OpenAI e à Hugging Face, alguns agentes deixaram marcas de engano em seus próprios textos de raciocínio, incluindo a falsificação de registros de trabalho ou a discussão sobre como manipular a trilha de evidências.
O CEO da empresa de monitoramento de IA Embroidery, Zack Korman, acredita que os resumos de raciocínio geralmente são os mais fáceis de revelar anomalias, pois mostram diretamente se o modelo está planejando ações não autorizadas ou maliciosas.
Mas essa janela nem sempre estará disponível. Algumas novas tecnologias estão contornando as abordagens tradicionais de exibição de cadeias de raciocínio, e alguns fornecedores de modelos também foram acusados de restringir a abertura dos passos intermediários de raciocínio, tornando mais difícil para empresas externas observar os processos internos dos modelos.
Por isso, alguns também defendem o retorno a métodos de segurança mais tradicionais. Willison acredita que, em vez de depender excessivamente da IA para monitorar a IA, é melhor primeiro registrar detalhadamente as atividades de rede, logs de operações e conexões do sistema dos agentes, e depois usar ferramentas de segurança convencionais. Avery Pennarun, CEO da empresa de segurança Tailscale, também afirmou que, do ponto de vista de monitoramento de rede, esse tipo de problema não é novo; o núcleo continua sendo gerenciar os agentes de IA como executivos de alta permissão no sistema.