Pesquisadores da Universidade de Zhejiang alertam para a ameaça AudioHijack a IA de voz e carteiras de criptomoedas

Pesquisadores da Universidade de Zhejiang descobriram uma nova e surpreendente maneira de sequestrar sistemas de voz baseados em IA: sinais de áudio imperceptíveis e legíveis por máquinas que alteram o comportamento dos modelos, permanecendo inaudíveis para os seres humanos. Apresentada no 47º Simpósio IEEE sobre Segurança e Privacidade em São Francisco, a técnica — denominada AudioHijack — pode alterar grandes modelos de áudio-linguagem (LALMs) com até 96% de taxa de sucesso, segundo a equipe. O que o ataque faz: - AudioHijack incorpora comandos ocultos diretamente em uma forma de onda de áudio digital, ajustando valores numéricos de maneira que os humanos não consigam ouvir, mas que os LALMs interpretem como instruções. - O sinal adversarial é independente do contexto: após cerca de meia hora de treinamento, o mesmo sinal pode ser reproduzido junto a qualquer discurso legítimo e ainda assim direcionar o comportamento do modelo, afirmou o autor principal, Meng Chen. - Como manipula o próprio áudio em vez da transcrição textual, contorna muitas defesas projetadas para detectar prompts textuais maliciosos. O que os pesquisadores demonstraram: - A equipe testou o AudioHijack em 13 modelos de voz de IA de código aberto e em sistemas de voz comerciais da Microsoft e Mistral que utilizam arquiteturas semelhantes. - Áudios manipulados podem fazer os modelos recusarem solicitações, espalharem informações falsas, injetarem links prejudiciais, alterarem personalidade ou realizarem ações que o usuário nunca pediu — exemplos incluem buscas na web, downloads de arquivos e envio de e-mails que vazam dados pessoais. - Os pesquisadores observam que o ataque pode ser entregue por canais comuns, como vídeos online, arquivos de música, notas de voz ou áudios capturados de chamadas no Zoom e enviados a serviços de transcrição de IA. Trabalhos subsequentes não publicados mostrariam ataques semelhantes em chats de voz ao vivo com IA. Por que isso é diferente e mais difícil de impedir: - Ataques tradicionais de “injeção de prompt” alteram o que o usuário diz ou inserem texto malicioso. AudioHijack, em vez disso, modifica o sinal de áudio analógico/digital, tornando a manipulação invisível para filtros baseados em texto e muitas proteções existentes. - Monitorar os mecanismos internos de atenção do modelo foi a defesa mais eficaz testada pela equipe, mas atacantes adaptativos podem enfraquecer suas manipulações para contornar essa contramedida, mantendo grande parte da potência do ataque. “Essas defesas pontuais têm dificuldade para resistir ao nosso ataque porque descobrimos que é muito difícil para esses modelos distinguir a intenção normal do usuário e nosso ataque adversário”, disse Chen. Por que plataformas de criptomoeda devem se preocupar: - À medida que serviços de criptomoeda aumentam a experimentação com recursos baseados em voz — acesso à carteira por voz, assistentes de negociação, fluxos de atendimento ao cliente ou autenticação por voz —, o AudioHijack destaca uma nova superfície de ataque que pode ser explorada para phishing, engenharia social ou para acionar ações indesejadas em sistemas conectados. - Embora o estudo não tenha demonstrado roubo específico de criptomoedas, qualquer serviço que aceite comandos falados ou ingira áudio pode estar em risco se interfaces de voz forem confiadas para operações sensíveis. Vetores de entrega como vídeos, música ou gravações de chamadas são todos canais comumente usados em golpes. Principais lições práticas: - Fornecedores e operadores que utilizam modelos de voz baseados em IA não devem depender apenas de filtros baseados em texto para detectar abusos; recomenda-se defesas que inspecionem os componentes internos do modelo e verificação multifator para ações sensíveis. - Para empresas e usuários de criptomoedas, evitem depender exclusivamente da voz como método de autenticação ou autorização; exijam verificação adicional para transferências e ações críticas da conta, e tenham cautela com áudios de fontes não confiáveis. - A pesquisa reforça a necessidade de modelagem mais ampla de ameaças e colaboração entre equipes de IA, segurança e criptomoedas à medida que recursos baseados em voz forem implementados. O ataque completo e os experimentos foram apresentados por pesquisadores da Universidade de Zhejiang no simpósio da IEEE; o trabalho levanta questões urgentes sobre como proteger sistemas de IA baseados em áudio antes que se tornem vetores de abuso em larga escala.