Des chercheurs de Microsoft modifient sept neurones pour déclencher des réponses d'IA

iconNS3
Partager
AI summary iconRésumé
Actualités IA + crypto de Microsoft : Des chercheurs ont développé Lazarus, une méthode modifiant sept neurones dans les modèles d’IA pour déclencher des sorties prédéfinies. Dévoilée le 10 novembre, cette technique fonctionne sur des modèles comme Nemotron-Terminal-8B et Qwen3.6-27B. Microsoft affirme qu’aucun usage malveillant n’a été signalé. Les experts en actualités on-chain recommandent de vérifier la provenance des modèles et de limiter l’accès pour réduire les risques.

Des chercheurs de Microsoft ont modifié sept neurones pour faire en sorte qu'un modèle d'IA produise une réponse sélectionnée lorsqu'un déclencheur caché apparaissait, tout en conservant ses capacités ordinaires. Microsoft Research a dévoilé la technique, appelée Lazarus, le 10 novembre. Les auteurs ont soumis l'article à arXiv le 11 novembre. Microsoft Threat Intelligence a déclaré n'avoir observé aucune utilisation de cette technique par des acteurs malveillants comme arme.

L'attaque nécessite un accès pour modifier les poids du modèle stockés, qui régissent le traitement des entrées et la génération des réponses. Le déclencheur active un comportement précédemment implanté et ne peut pas introduire une porte dérobée dans un point de contrôle inchangé. Lazarus utilise des neurones dormants au sein de la dernière couche feed-forward, près de la sortie du modèle. Chaque neurone choisi peut favoriser un jeton appartenant à la charge utile prévue. Les sept neurones représentent des groupes de vecteurs de poids, et non sept paramètres numériques. Les chercheurs ont testé une version qui calcule directement les changements de poids et une autre qui ajuste uniquement les poids choisis. Aucune des deux versions ne nécessite un réentraînement complet du modèle.

Pour le test des sept neurones, les chercheurs ont appliqué un patch Nemotron-Terminal-8B à l'aide de 23 exemples déclenchés et bénins, avec la sélection des neurones et les données de validation déjà fixées. Le modèle a prédit l'ensemble du marqueur dans au moins 98,8 % des contextes déclenchés enregistrés. Les contextes bénins testés n'ont révélé aucune fuite de marqueur. La charge utile, printf LAZARUS_OK, affiche un marqueur. L'expérience a démontré un contrôle de la sortie, et non une prise de contrôle destructive utilisant sept neurones.

Une expérience différente a modifié 60 neurones de Qwen3.6-27B pour prédire une commande de suppression d'un dépôt factice à travers plusieurs formats d'action d'agent. La prédiction d'action complète a atteint 40 % sur le format swe-agent précédemment inédit. Le test a fourni les jetons précédents prévus à chaque étape, plutôt que de mesurer l'exécution de commandes destructrices pendant la génération en mode libre.

Des expériences supplémentaires sur Nemotron ont permis une génération fraîche et ont produit le marqueur dans 98,88 % des cas déclenchés par requête. Dans les cas déclenchés par observation, le marqueur a été produit dans 98,71 % des cas. Les fuites bénignes ont été mesurées à zéro pour les cas déclenchés par requête et à 0,14 % pour les cas déclenchés par observation. Les capacités ordinaires sont restées largement intactes, bien que des différences mesurables soient apparues. Des benchmarks Qwen séparés sans déclencheurs ont enregistré un taux de réussite de 46,59 % pour la tâche Terminal-Bench sur le point de contrôle propre, contre 42,05 % pour chaque point de contrôle modifié. Ces résultats de benchmark ne permettent pas d'établir la performance du patch séparé de 60 neurones.

Des tests réussis de tâches ordinaires ne permettent pas de déterminer si les poids du modèle ont été modifiés. Une réponse déclenchée qui devient une commande terminale ne peut agir qu'au sein des autorisations existantes de l'agent. Microsoft recommande de vérifier la provenance du modèle et de rechercher des modifications des poids. Microsoft recommande également de limiter les privilèges et l'accès réseau sortant, ainsi que d'exiger une approbation pour les actions d'outils à conséquences. Les contrôles visent à la fois la falsification des points de contrôle et les capacités de l'agent hébergeant le modèle. Microsoft met en garde contre le fait qu'un audit réussi ne garantit pas un comportement sécurisé.

Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations. Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.