Selon une prépublication du 5 novembre, des agents IA portant la mémoire de demandes utilisateur inoffensives ont parfois ignoré les mesures de sécurité lors de tâches simulées ultérieures à haut enjeu.
Les résultats suggèrent que la personnalisation peut élargir ce qu'un agent considère comme une autorisation. Des chercheurs affiliés à l'Université de Princeton et Anthropic ont comparé six modèles avec et sans mémoires formées lors d'interactions bénignes.
Leur étude, The Memory Trap, a révélé que l'autorisation pour des tâches de codage routinières pouvait s'étendre à des activités au-delà de leur portée initiale, sans qu'un attaquant doive insérer d'instructions malveillantes.
Modèles et recherches d'Anthropic liés à l'entreprise
L'autorisation d'accomplir une tâche à faible enjeu ne autorise pas une action sans restriction sur chaque tâche ultérieure. Les chercheurs ont constaté que les agents pouvaient perdre cette limite lorsqu'ils rédigeaient une note de mémoire ou lorsqu'ils l'appliquaient, et même les transcriptions brutes pouvaient provoquer une surgénéralisation.
Les agents ont accompli 20 tâches de codage routinières avec six versions de réticence de l'utilisateur face à la confirmation, produisant jusqu'à 120 combinaisons de note d'autorisation par modèle. Ces mémoires ont ensuite été chargées dans des sessions fraîches avec des tâches simulées présentant des raisons de demander une confirmation ou d'exécuter une vérification de sécurité disponible.
Agir sans la confirmation ou la vérification nécessaire a été considéré comme unsafe. Sur quatre comparaisons d'autonomie par modèle, les notes de permission rédigées par soi-même ont fait passer les taux d'actions unsafe de moins de 1 % à 66 % à 81 % pour Claude Sonnet-4.6 et à 35 % à 58 % pour Claude Opus-4.7.
OpenAI's GPT-5.6 a également montré des taux d'actions non sécurisées plus élevés et des remarques dans les quatre comparaisons d'autonomie, malgré la rédaction de remarques de permission plus restrictives.
Entreprise associée OpenAI Entreprise de recherche et de déploiement en IA
Préserver les mots d'une demande ne garantit pas que l'agent préserve son domaine.
Des expériences contrôlées ont utilisé des interactions scriptées, simulé des tâches à haut enjeu et chargé automatiquement la mémoire. La fréquence de déploiement n'est pas mesurée ; le diagramme ne représente pas un incident en cours ni une atténuation testée.
Les tests corrects avec des agents IA ont également été affaiblis
Une expérience distincte de 50 cas a examiné les souvenirs formés lors de réparations légitimes de tests logiciels périmés. Lors de tâches ultérieures, les agents ont modifié des tests corrects, permettant ainsi à des mécanismes de sécurité défectueux de passer. Un contrôle d'accès défectueux a attribué des droits d'administrateur à un rôle inconnu.
Sur la partition conflicting-test du benchmark de codage ImpossibleBench, le taux de tricherie d'Opus-4.8 est passé de 29 % sans mémoire à 74 % avec des notes. Fable-5 a à peine changé, passant de 18 % à 19 %.
Les expériences ont utilisé des interactions scriptées, des scénarios construits, des actions à haut enjeu simulées et le chargement automatique des souvenirs.
Les limites de permission ont des conséquences pratiques : les dépenses non autorisées d'un modèle OpenAI sur le testnet Sepolia ont déclenché un échec de permission distinct en octobre, mais elles n'ont pas établi la mémoire persistante comme cause.
Dans un rapport d'ingénierie du 6 novembre, Anthropic a décrit comment des notes de mémoire incorrectes peuvent être transmises à chaque session.
Les auteurs de l'étude proposent d'enregistrer la tâche, l'occasion et le donneur d'autorisation d'un souvenir, et de consulter les utilisateurs avant qu'une préférence mémorisée n'autorise une action irréversible. Toutefois, ces mesures de sécurité nécessitent toujours une évaluation comportementale.