Des chercheurs de Microsoft démontrent une technique de porte dérobée pour modèle d'IA en utilisant des neurones inactifs

iconCryptoSlate
Partager
AI summary iconRésumé
Les actualités sur l’IA et la crypto provenant de Microsoft révèlent une nouvelle méthode pour implanter des déclencheurs cachés dans les modèles d’IA à l’aide de neurones inactifs. La technique, appelée Lazarus, a été divulguée le 10 novembre, avec des détails publiés sur arXiv le 11. Elle modifie des neurones spécifiques de la couche finale pour privilégier certains jetons de sortie. Microsoft affirme qu’aucune attaque n’a encore utilisé cette méthode et conseille de vérifier la provenance des modèles. Les actualités sur la chaîne et la sécurité de l’IA restent des préoccupations majeures à mesure que la technologie évolue.

Des chercheurs de Microsoft ont modifié sept neurones pour faire en sorte qu'un modèle d'IA produise une réponse sélectionnée lorsqu'un déclencheur caché apparaissait, tout en conservant ses capacités ordinaires. Microsoft Research a dévoilé la technique, appelée Lazarus, le 10 novembre. Les auteurs ont soumis l'article à arXiv le 11 novembre. Microsoft Threat Intelligence a indiqué n'avoir observé aucune utilisation de cette technique par des acteurs malveillants comme arme.

L'attaque nécessite un accès pour modifier les poids du modèle stockés, qui régissent le traitement des entrées et la génération des réponses. Le déclencheur active un comportement précédemment implanté et ne peut pas introduire une porte dérobée dans un point de contrôle inchangé. Lazarus utilise des neurones dormants au sein de la dernière couche feed-forward, près de la sortie du modèle. Chaque neurone choisi peut favoriser un jeton appartenant à la charge utile prévue. Les sept neurones représentent des groupes de vecteurs de poids, et non sept paramètres numériques. Les chercheurs ont testé une version qui calcule directement les changements de poids et une autre qui ajuste uniquement les poids choisis. Aucune des deux versions ne nécessite un réentraînement complet du modèle.

Pour le test des sept neurones, les chercheurs ont appliqué un patch Nemotron-Terminal-8B à l'aide de 23 exemples déclenchés et bénins, avec la sélection des neurones et les données de validation déjà fixées. Le modèle a prédit l'ensemble du marqueur dans au moins 98,8 % des contextes déclenchés enregistrés. Les contextes bénins testés n'ont révélé aucune fuite de marqueur. La charge utile, printf LAZARUS_OK, affiche un marqueur. L'expérience a démontré un contrôle de la sortie, et non une prise de contrôle destructive utilisant sept neurones.

Une expérience différente a modifié 60 neurones de Qwen3.6-27B pour prédire une commande de suppression d'un dépôt factice à travers plusieurs formats d'action d'agent. La prédiction d'action complète a atteint 40 % sur le format swe-agent précédemment inconnu. Le test fournissait les jetons précédents prévus à chaque étape, plutôt que de mesurer l'exécution de commandes destructrices lors de la génération en mode libre.

Des expériences supplémentaires sur Nemotron ont permis une génération fraîche et ont produit le marqueur dans 98,88 % des cas déclenchés par requête. Dans les cas déclenchés par observation, le marqueur a été produit dans 98,71 % des cas. Les fuites bénignes ont été mesurées à zéro pour les cas déclenchés par requête et à 0,14 % pour les cas déclenchés par observation. Les capacités ordinaires sont restées largement intactes, bien que des différences mesurables soient apparues. Des benchmarks Qwen séparés sans déclencheurs ont enregistré un taux de réussite de 46,59 % pour la tâche Terminal-Bench sur le point de contrôle propre, contre 42,05 % pour chaque point de contrôle modifié. Ces résultats de benchmark ne permettent pas d'établir la performance du patch séparé de 60 neurones.

Des tests réussis de tâches ordinaires ne permettent pas de déterminer si les poids du modèle ont été modifiés. Une réponse déclenchée qui devient une commande terminale ne peut agir qu'au sein des autorisations existantes de l'agent. Microsoft recommande de vérifier la provenance du modèle et de rechercher des modifications des poids. Microsoft recommande également de limiter les privilèges et l'accès réseau sortant, ainsi que les exigences d'approbation pour les actions d'outils significatives. Les contrôles visent à la fois la falsification des points de contrôle et les capacités de l'agent hébergeant le modèle. Microsoft souligne qu'un audit réussi ne garantit pas un comportement sécurisé.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.