Des agents IA découverts en partageant des résultats arithmétiques via un stockage dans un espace de travail caché

iconCryptoSlate
Partager
AI summary iconRésumé
Un préimpression du 9 novembre a montré que des agents IA peuvent partager des résultats arithmétiques via un stockage de travail caché sur le marché cryptographique. Des chercheurs de l'Université de Tampere ont découvert que des agents utilisant un stockage partagé pouvaient accéder au travail des autres sans collaboration directe. Les tests avec GPT-6 Astra ont montré que 49 essais sur 50 ont réussi lorsque les agents ont vérifié à nouveau l'espace de travail. Les altcoins à surveiller pourraient bénéficier de ces avancées en IA. Les taux de réussite ont diminué sans instruction de vérification, mettant en évidence les risques de partage de données non intentionnel.

Les agents IA ont utilisé les résultats arithmétiques les uns des autres sans être informés qu'ils partageaient un espace de travail, selon une prépublication du 9 novembre.

Pekka Abrahamsson et sept co-auteurs de l'université de Tampere ont testé whether agents could find et utilisé un travail partagé sans instructions pour collaborer. Leur groupe témoin a conservé l'interface de l'espace de travail inchangée tout en rendant son contenu privé à chaque agent.

Deux entités détenaient des moitiés complémentaires d’un problème arithmétique, de sorte que ni l’une ni l’autre ne possédaient toutes les informations nécessaires à la réponse finale. Chacune des deux pouvait calculer son propre résultat partiel et récupérer la valeur manquante à partir du stockage.

Les deux autres ont reçu des tâches autonomes. Les agents pouvaient lister les clés stockées, lire ou écrire des valeurs, et soumettre une réponse en 20 étapes.

Le texte de la tâche fournissait des noms de variables significatifs, donnant aux agents des indices sur ce qu'ils devaient rechercher. Leurs invites décrivaient le magasin comme un moyen de préserver le travail intermédiaire et n'évoquaient pas d'autres agents ni le partage.

Dans une extension préenregistrée avec une instruction de réexamen de l'espace de travail, OpenAI's GPT-6 Astra a obtenu un succès conjoint dans 49 des 50 essais de magasin partagé dans l'implémentation de référence et 47 des 50 dans une deuxième implémentation.

Entreprise associée OpenAI Entreprise de recherche et de déploiement en IA

Le succès conjoint signifie que les deux agents ayant des tâches interdépendantes ont soumis la bonne réponse.

Avec des magasins privés, le résultat correspondant était de zéro sur 50 dans chaque implémentation, malgré des invites et des outils identiques. Les agents continuaient d'écrire des résultats intermédiaires, mais les informations manquantes d'un autre agent ne pouvaient plus parvenir par le magasin.

Ces résultats d'extension dépendaient également fortement d'une instruction courante : « vérifiez à nouveau votre espace de travail avant de soumettre ». Avec cette clause, l'accès entre agents s'est produit dans les 50 essais de stockage partagé dans chaque implémentation, tandis qu'il n'a eu lieu que dans un seul des 50 sans elle.

Le succès conjoint sans la clause était de 1 sur 50 et de 0 sur 50, respectivement. Un nouvel examen a offert aux agents l'occasion de trouver du travail laissé après leur première inspection.

Modifiez la condition testée

Magasin partagé avec la clause de révision de l'espace de travail : les deux agents appariés ont répondu correctement dans 49/50 et 47/50 essais.

L'état partagé contenait des informations utiles. L'intention de communiquer n'a pas été établie.

Arithmétique contrôlée à quatre agents avec des noms de variables fournis par la tâche. Réplication de l'implémentation au sein du même groupe ; les résultats ne mesurent pas la fréquence de déploiement.

Lire la valeur d'autrui peut inclure une collision accidentelle entre les clés de stockage. La comparaison du stockage privé soutient la conclusion que les informations partagées ont aidé à résoudre les tâches appariées.

La deuxième implémentation a été développée indépendamment à partir d'un protocole écrit par un co-auteur du même groupe de recherche.

Le document mentionne une limite à cette indépendance : les premiers résultats d'une réplication formulée différemment ont atteint l'expérimentateur original avant la collecte de la plupart des données de référence. Le comportement mesuré variait également selon les modèles et les choix d'implémentation.

Le paramétrage arithmétique restreint et les clés fournies par la tâche limitent la généralisabilité des résultats.

Le mécanisme diffère de une étude récente sur la sécurité mémoire, qui portait sur la persistance des autorisations mémorisées dans des tâches simulées ultérieures. Ici, des agents distincts ont obtenu des informations grâce à l'état de l'espace de travail partagé.

Les auteurs recommandent de traiter les caches partagés, les répertoires temporaires et les services mémoire comme des canaux de communication : séparez-les lorsque le partage n'est pas intentionnel, utilisez des espaces de noms lorsque cela est approprié, et enregistrez l'auteurship.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.