Des chercheurs de Microsoft ont modifié sept neurones pour faire en sorte qu'un modèle d'IA produise une réponse sélectionnée lorsqu'un déclencheur caché apparaissait, tout en conservant ses capacités ordinaires. Microsoft Research a dévoilé la technique, appelée Lazarus, le 10 novembre. Les auteurs ont soumis l'article à arXiv le 11 novembre. Microsoft Threat Intelligence a déclaré n'avoir observé aucune utilisation de cette technique par des acteurs malveillants comme arme.
L'attaque nécessite un accès pour modifier les poids du modèle stockés, qui régissent le traitement des entrées et la génération des réponses. Le déclencheur active un comportement précédemment implanté et ne peut pas introduire une porte dérobée dans un point de contrôle inchangé. Lazarus utilise des neurones dormants au sein de la dernière couche feed-forward, près de la sortie du modèle. Chaque neurone choisi peut favoriser un jeton appartenant à la charge utile prévue. Les sept neurones représentent des groupes de vecteurs de poids, et non sept paramètres numériques. Les chercheurs ont testé une version qui calcule directement les changements de poids et une autre qui ajuste uniquement les poids choisis. Aucune des deux versions ne nécessite un réentraînement complet du modèle.
Pour le test des sept neurones, les chercheurs ont appliqué un patch Nemotron-Terminal-8B à l'aide de 23 exemples déclenchés et bénins, avec la sélection des neurones et les données de validation déjà fixées. Le modèle a prédit l'ensemble du marqueur dans au moins 98,8 % des contextes déclenchés enregistrés. Les contextes bénins testés n'ont révélé aucune fuite de marqueur. La charge utile, printf LAZARUS_OK, affiche un marqueur. L'expérience a démontré un contrôle de la sortie, et non une prise de contrôle destructive utilisant sept neurones.
Une expérience différente a modifié 60 neurones de Qwen3.6-27B pour prédire une commande de suppression d'un dépôt factice à travers plusieurs formats d'action d'agent. La prédiction d'action complète a atteint 40 % sur le format swe-agent précédemment inédit. Le test a fourni les jetons précédents prévus à chaque étape, plutôt que de mesurer l'exécution de commandes destructrices pendant la génération en mode libre.
Des expériences supplémentaires sur Nemotron ont permis une génération fraîche et ont produit le marqueur dans 98,88 % des cas déclenchés par requête. Dans les cas déclenchés par observation, le marqueur a été produit dans 98,71 % des cas. Les fuites bénignes ont été mesurées à zéro pour les cas déclenchés par requête et à 0,14 % pour les cas déclenchés par observation. Les capacités ordinaires sont restées largement intactes, bien que des différences mesurables soient apparues. Des benchmarks Qwen séparés sans déclencheurs ont enregistré un taux de réussite de 46,59 % pour la tâche Terminal-Bench sur le point de contrôle propre, contre 42,05 % pour chaque point de contrôle modifié. Ces résultats de benchmark ne permettent pas d'établir la performance du patch séparé de 60 neurones.
Des tests réussis de tâches ordinaires ne permettent pas de déterminer si les poids du modèle ont été modifiés. Une réponse déclenchée qui devient une commande terminale ne peut agir qu'au sein des autorisations existantes de l'agent. Microsoft recommande de vérifier la provenance du modèle et de rechercher des modifications des poids. Microsoft recommande également de limiter les privilèges et l'accès réseau sortant, ainsi que d'exiger une approbation pour les actions d'outils à conséquences. Les contrôles visent à la fois la falsification des points de contrôle et les capacités de l'agent hébergeant le modèle. Microsoft met en garde contre le fait qu'un audit réussi ne garantit pas un comportement sécurisé.


