Un agent IA n’a pas besoin d’intention malveillante pour causer des dommages réels. Il lui suffit de mal comprendre l’endroit où il opère. @AnthropicAI a révélé hier que @claudeai a obtenu un accès non autorisé aux systèmes de production de trois organisations lors d’évaluations de cybersécurité. Les modèles avaient été informés qu’ils travaillaient dans des simulations, mais une défaillance de configuration leur a accordé un accès à Internet réel. Claude a traité les systèmes qu’il a découverts comme faisant partie de l’exercice et a continué à poursuivre l’objectif qui lui avait été assigné. C’est une distinction importante. Le modèle n’a pas décidé de s’échapper, de se révolter ou d’attaquer des cibles aléatoires. Il a agi de manière cohérente avec les informations et les autorisations qui lui avaient été fournies. L’environnement était erroné, donc l’exécution l’était aussi. Tel est le défi central de l’IA autonome. Nous passons beaucoup de temps à nous demander si un agent suivra ses instructions, mais suivre parfaitement les instructions peut encore être dangereux lorsque le contexte, les données ou les limites sont incorrects. La sécurité ne peut pas dépendre de la mémoire du modèle sur les endroits où il est autorisé à agir. Elle exige des contrôles externes que le modèle ne peut pas contourner, notamment une isolation réseau réelle, des autorisations restreintes, des cibles vérifiées, des limites de transactions et des conditions d’arrêt automatique. L’avenir ne sera pas sécurisé par des agents qui ne font jamais d’erreurs. Il sera sécurisé par des systèmes qui supposent qu’ils en feront inévitablement.