Vous n’avez pas besoin d’accéder au wallet de quelqu’un pour influencer où son IA envoie l’argent.
Vous avez simplement besoin d’influencer ce que l’IA lit.
Imaginez un agent IA gérant les paiements pour une petite entreprise. Il vérifie les mises à jour des fournisseurs, lit les publications publiques, traite les factures et décide quels paiements nécessitent une attention particulière.
Une instruction malveillante n’a pas besoin de ressembler à une commande de la part du propriétaire. Elle peut être cachée à l’intérieur d’un contenu que l’agent a été chargé de lire.
C’est là la partie dérangeante de l’injection de prompt. L’agent peut exactement faire ce qu’on lui a demandé, tandis qu’un attaquant tente discrètement de modifier la façon dont il interprète les informations.
Ce n’est plus hypothétique. Un agent IA aurait transféré environ 200 000 $ après qu’une instruction cachée dans du code Morse dans un tweet ait été décodée et exécutée.
Le problème avec la dépendance à un seul modèle et un seul filtre est que les attaquants n’ont qu’une seule défense à étudier.
La méthode greyboxing aborde cela différemment.
Sur @GenLayer, chaque validateur réécrit l’entrée entrante en utilisant ses propres défenses secrètes avant que le modèle ne la voie. Chaque validateur évalue ensuite la demande, et les autres peuvent rejeter celui qui tombe dans le piège.
Ce que je trouve intéressant, c’est le changement dans la pensée sécurité.
Au lieu d’essayer de rendre une IA impossible à tromper, le système est conçu de sorte que tromper une seule IA ne suffit pas.
Si un agent peut déplacer votre argent, sa sécurité devrait-elle dépendre d’un seul modèle prenant la bonne décision ?