Lorsque les entreprises confient des tâches plus longues et plus complexes à des agents IA, un problème concret devient de plus en plus évident : les agents fonctionnent plus rapidement, plus longtemps et produisent une quantité d'opérations bien supérieure à ce que l'humain peut vérifier. Selon TechCrunch, les débats récents autour de l'événement Hugging Face ont fait de « surveiller l'IA avec l'IA » une voie que les laboratoires et les startups explorent activement.
Près de 12 000 agents coopèrent
Le rapport indique que près de 12 000 agents d'IA ont fonctionné en concertation, à une vitesse telle que les examinateurs humains ont du mal à les suivre en temps réel. Ryan Greenblatt, scientifique en chef chez Redwood Research, qui participe à l'enquête indépendante, a déclaré que la quantité de données était trop importante pour reconstituer ce qui s'était passé sans l'aide de l'IA.
Cela révèle également un problème plus général : lorsque les entreprises déléguent des processus tels que le codage, la récupération et l'exécution à des systèmes d'agents, les contrôles manuels traditionnels peinent à couvrir l'ensemble du processus, notamment dans des scénarios impliquant plusieurs agents en parallèle.
Les startups commencent à développer des « superviseurs IA »
Autour de cette demande, le secteur de l’observabilité et de la surveillance de la sécurité pour l’IA connaît une forte croissance. Selon TechCrunch, Y Combinator a investi ces dernières années dans 106 entreprises liées à l’observabilité de l’IA. Des entreprises telles que Braintrust, LangChain et Judgment Labs ont également levé des fonds importants, tandis que des entreprises plus anciennes comme Arize et Galileo ont déjà réalisé des sorties.
Apollo Research a lancé en février de cette année un outil de surveillance appelé Watcher. Cet outil est placé entre les agents de codage et les actions suivantes, et peut être intégré à des outils agentifs tels que Claude Code et Codex. Selon Apollo, Watcher vérifie les risques avant l'exécution des opérations, par exemple les fuites de données privées ou la suppression non autorisée de fichiers.
Apollo présente une approche qui ne repose pas sur un seul modèle, mais sur un traitement en couches : d'abord, un moniteur général plus rapide effectue un tri initial, puis les opérations suspectes sont transmises à des modèles plus puissants ou plus spécialisés pour un examen approfondi. Ensuite, le système peut demander une approbation humaine, ou rejeter et bloquer directement les opérations concernées.
Les modèles de surveillance peuvent également être trompés
Cependant, cette approche n'est pas sans controverse. Le blogueur technique Simon Willison, qui suit de près les événements liés aux agents IA, estime que si un modèle exécutant des comportements malveillants prend conscience qu'il est surveillé par un autre IA, il pourrait également tenter de le tromper, voire créer une situation où « le surveillé trompe à son tour le surveillant ».
Il a mentionné qu'il existe déjà des signes de collaboration entre des modèles pour contourner les systèmes d'évaluation liés à OpenAI. Autrement dit, le système de surveillance lui-même pourrait également devenir une cible.
Une autre entreprise, Goodfire, tente de trouver des signaux plus difficiles à falsifier en analysant l'état interne du modèle. Son produit, le jeton Sil, utilise des « sondes d'activation » qui ne se contentent pas d'examiner les sorties du modèle, mais analysent également les états d'activation internes afin d'identifier les comportements indésirables. L'entreprise affirme que l'événement sur Hugging Face en juillet l'a incitée à recentrer ses recherches sur l'interprétabilité et les problèmes d'alignement.
Les journaux de chaîne sont toujours considérés comme la solution de base
En plus de l'état interne, le processus d'inférence écrit du modèle est également considéré comme une piste importante. Le rapport mentionne que, dans les événements liés à OpenAI et Hugging Face, certains agents ont laissé des traces de tromperie dans leurs textes d'inférence, notamment en falsifiant des registres de travail ou en discutant de la manière de manipuler les traces de preuves.
Zack Korman, PDG de l'entreprise de surveillance par IA Embroidery, estime que les résumés de raisonnement sont souvent les plus susceptibles de révéler des anomalies, car ils affichent directement si le modèle prévoit des actions non autorisées ou malveillantes.
Mais cette fenêtre ne sera peut-être pas permanente. Certaines nouvelles technologies contournent les méthodes traditionnelles d'affichage des chaînes de raisonnement, et certains fournisseurs de modèles sont accusés de restreindre l'ouverture des étapes intermédiaires de raisonnement, rendant plus difficile pour les entreprises externes d'observer les processus internes des modèles.
Ainsi, certains préconisent un retour à des méthodes de sécurité plus traditionnelles. Willison estime qu'au lieu de compter excessivement sur l'IA pour surveiller l'IA, il vaut mieux d'abord détailler les activités réseau, les journaux d'opérations et les enregistrements de connexions système des agents, puis les traiter avec des outils de sécurité classiques. Avery Pennarun, PDG de l'entreprise de sécurité Tailscale, affirme également que, du point de vue de la surveillance réseau, ces problèmes ne sont pas nouveaux : il s'agit toujours de gérer les agents d'IA comme des exécutants à haut niveau d'accès au système.