Des chercheurs de l'Université de Zhejiang ont mis au jour une nouvelle méthode frappante pour usurper les systèmes vocaux basés sur l'IA : des signaux audio imperceptibles et lisibles par machine qui modifient le comportement des modèles tout en restant inaudibles pour les humains. Présentée lors du 47e Symposium IEEE sur la sécurité et la vie privée à San Francisco, cette technique, baptisée AudioHijack, peut modifier des modèles audio-linguistiques de grande taille (LALMs) avec un taux de réussite allant jusqu'à 96 %, selon l'équipe. Ce que fait l'attaque : - AudioHijack intègre des commandes cachées directement dans une forme d'onde audio numérique en modifiant des valeurs numériques d'une manière que les humains ne peuvent pas entendre, mais que les LALMs interprètent comme des instructions. - Le signal adversarial est indépendant du contexte : après environ une demi-heure d'entraînement, le même signal peut être rejoué en parallèle de n'importe quelle parole légitime et continuer à orienter le comportement du modèle, a déclaré Meng Chen, auteur principal. - En manipulant l'audio lui-même plutôt que la transcription textuelle, elle contourne de nombreuses défenses conçues pour détecter des invites textuelles malveillantes. Ce que les chercheurs ont démontré : - L'équipe a testé AudioHijack sur 13 modèles vocaux open source et sur des systèmes vocaux commerciaux de Microsoft et Mistral utilisant des architectures similaires. - Des audios manipulés peuvent amener les modèles à refuser des demandes, propager de fausses informations, injecter des liens nuisibles, modifier la personnalité ou effectuer des actions que l'utilisateur n'a jamais demandées — par exemple, des recherches web, des téléchargements de fichiers ou l'envoi d'e-mails révélant des données personnelles. - Les chercheurs soulignent que l'attaque peut être délivrée via des canaux courants tels que des vidéos en ligne, des fichiers musicaux, des messages vocaux ou des audios capturés lors d'appels Zoom et téléchargés sur des services de transcription IA. Des travaux ultérieurs non publiés montreraient des attaques similaires dans des discussions vocales IA en direct. Pourquoi cela diffère et est plus difficile à arrêter : - Les attaques traditionnelles par « injection d'invite » modifient ce que dit l'utilisateur ou injectent du texte malveillant. AudioHijack modifie plutôt le signal audio analogique/numérique, rendant la manipulation invisible aux filtres textuels et à de nombreuses protections existantes. - Surveiller les mécanismes d'attention internes du modèle s'est révélé la défense la plus efficace testée par l'équipe, mais les attaquants adaptatifs peuvent affaiblir leurs manipulations pour contourner cette contre-mesure tout en conservant une grande partie de la puissance de l'attaque. « Ces défenses ponctuelles peinent à résister à notre attaque car nous avons constaté qu'il est très difficile pour ces modèles de distinguer l'intention normale de l'utilisateur et notre attaque adversariale », a déclaré Chen. Pourquoi les plateformes crypto doivent s'en préoccuper : - Alors que les services crypto expérimentent de plus en plus des fonctionnalités pilotées par la voix — accès vocal aux wallets, assistants de trading, processus de support client ou authentification vocale — AudioHijack met en lumière une nouvelle surface d'attaque susceptible d'être exploitée pour du phishing, de l'ingénierie sociale ou pour déclencher des actions indésirables dans des systèmes connectés. - Bien que l'étude n'ait pas démontré de vol spécifique à la crypto, tout service acceptant des commandes vocales ou ingérant des audios pourrait être à risque si les interfaces vocales sont considérées comme fiables pour des opérations sensibles. Les vecteurs de livraison tels que les vidéos, la musique ou les enregistrements d'appels sont tous des canaux couramment utilisés dans les arnaques. Prises en compte pratiques : - Les fournisseurs et opérateurs utilisant des modèles vocaux IA ne doivent pas se fier uniquement aux filtres textuels pour détecter les abus ; il est conseillé d'adopter des défenses qui examinent les internals du modèle et des vérifications multi-facteurs pour les actions sensibles. - Pour les entreprises et utilisateurs crypto, évitez de vous appuyer exclusivement sur la voix comme méthode d'authentification ou d'autorisation ; exigez une vérification supplémentaire pour les transferts et les actions critiques liées au compte, et soyez prudents face aux audios provenant de sources non fiables. - Cette recherche souligne la nécessité d'une modélisation des menaces plus large et d'une collaboration entre les équipes IA, sécurité et crypto au fur et à mesure du déploiement des fonctionnalités pilotées par la voix. L'attaque complète et les expériences ont été présentées par les chercheurs de l'Université de Zhejiang lors du symposium IEEE ; ce travail soulève des questions urgentes sur la manière de sécuriser les systèmes IA pilotés par l'audio avant qu'ils ne deviennent un vecteur d'abus à grande échelle.
Des chercheurs de l'Université de Zhejiang alertent sur la menace AudioHijack contre les IA vocales et les wallets crypto
ChainGPTPartager
Résumé
Des chercheurs de l'Université du Zhejiang ont identifié une nouvelle menace appelée AudioHijack, qui exploite des signaux audio inaudibles pour manipuler des modèles audio-linguistiques à grande échelle. Cette attaque peut modifier le comportement des modèles avec un taux de réussite allant jusqu'à 96 % et contourner les défenses textuelles standards. Testée sur 13 modèles et systèmes, elle permet d'injecter des liens malveillants ou de déclencher des actions non autorisées. Alors que les plateformes crypto adoptent des fonctionnalités pilotées par la voix, cette actualité AI + crypto met en lumière un nouveau risque de phishing et de fraude. Les fournisseurs sont invités à mettre en œuvre une surveillance interne et des vérifications multifactorielles pour les opérations sensibles.
Source:Afficher l'original
Clause de non-responsabilité : les informations sur cette page peuvent avoir été obtenues auprès de tiers et ne reflètent pas nécessairement les points de vue ou opinions de KuCoin. Ce contenu est fourni à titre informatif uniquement, sans aucune représentation ou garantie d’aucune sorte, et ne doit pas être interprété comme un conseil en investissement. KuCoin ne sera pas responsable des erreurs ou omissions, ni des résultats résultant de l’utilisation de ces informations.
Les investissements dans les actifs numériques peuvent être risqués. Veuillez évaluer soigneusement les risques d’un produit et votre tolérance au risque en fonction de votre propre situation financière. Pour plus d’informations, veuillez consulter nos conditions d’utilisation et divulgation des risques.