Исследователи Чжэцзянского университета предупреждают об угрозе AudioHijack для голосового ИИ и криптовалютных кошельков

Исследователи из Чжэцзянского университета обнаружили новый способ перехвата систем ИИ для обработки голоса: незаметные, машиночитаемые аудиосигналы, которые изменяют поведение моделей, оставаясь неслышимыми для человека. Представленный на 47-м симпозиуме IEEE по безопасности и защите информации в Сан-Франциско, метод под названием AudioHijack позволяет изменять крупные аудио-языковые модели (LALMs) с успешностью до 96%, сообщают авторы. Что делает атака: - AudioHijack встраивает скрытые команды непосредственно в цифровую аудиоволну, изменяя числовые значения таким образом, что люди их не слышат, но LALMs интерпретируют как инструкции. - Враждебный сигнал не зависит от контекста: после примерно получаса обучения один и тот же сигнал можно воспроизводить вместе с любой легитимной речью и по-прежнему влиять на поведение модели, сказал ведущий автор Мэн Чэнь. - Поскольку атака манипулирует самим аудио, а не текстовой транскрипцией, она обходит многие защиты, предназначенные для обнаружения вредоносных текстовых запросов. Что продемонстрировали исследователи: - Команда протестировала AudioHijack на 13 открытых аудиомоделях ИИ и коммерческих голосовых системах от Microsoft и Mistral, использующих аналогичные архитектуры. - Манипулированное аудио могло заставить модели отказываться от запросов, распространять ложную информацию, вставлять вредоносные ссылки, изменять личность или выполнять действия, которые пользователь не запрашивал — например, веб-поиск, загрузку файлов и отправку электронных писем с утечкой личных данных. - Исследователи отмечают, что атаку можно доставить через распространенные каналы, такие как онлайн-видео, музыкальные файлы, голосовые сообщения или аудиозаписи с Zoom-звонков, загружаемые в сервисы ИИ для транскрибирования. Непубликованные последующие работы, по сообщениям, демонстрируют аналогичные атаки в живых голосовых чатах ИИ. Почему это отличается и сложнее остановить: - Традиционные атаки «внедрения запроса» изменяют то, что говорит пользователь, или внедряют вредоносный текст. AudioHijack же изменяет аналоговый/цифровой аудиосигнал, делая манипуляцию невидимой для текстовых фильтров и многих существующих защит. - Наиболее эффективной защитой, которую тестировала команда, стало наблюдение за внутренними механизмами внимания модели, но адаптивные злоумышленники могут ослабить свои манипуляции, чтобы обойти эту контрмеру, сохранив при этом большую часть мощности атаки. «Эти одноточечные защиты трудно сопротивляются нашей атаке, потому что мы обнаружили, что этим моделям очень сложно отличить нормальное намерение пользователя от нашей враждебной атаки», — сказал Чэнь. Почему криптоплатформам следует обратить внимание: - По мере того как криптосервисы все чаще экспериментируют с голосовыми функциями — доступом к кошельку по голосу, торговыми помощниками, рабочими процессами поддержки клиентов или голосовой аутентификацией — AudioHijack выявляет новую поверхность атаки, которую можно использовать для фишинга, социальной инженерии или запуска нежелательных действий в связанных системах. - Хотя в исследовании не демонстрировалось крипто-специфическое кражи, любой сервис, принимающий устные команды или обрабатывающий аудио, может оказаться под угрозой, если голосовые интерфейсы используются для чувствительных операций. Векторы доставки, такие как видео, музыка или записи звонков, являются распространенными каналами мошенничества. Практические выводы: - Поставщикам и операторам, использующим аудиомодели ИИ, не следует полагаться исключительно на текстовые фильтры для выявления злоупотреблений; рекомендуется применять защиты, проверяющие внутреннее состояние модели, и многофакторную проверку для чувствительных действий. - Криптокомпаниям и пользователям не следует полагаться исключительно на голос как на метод аутентификации или авторизации; для переводов и критически важных действий с аккаунтом требуется дополнительная верификация, а также следует проявлять осторожность при работе с аудио из ненадежных источников. - Исследование подчеркивает необходимость более широкого моделирования угроз и сотрудничества между командами ИИ, безопасности и криптовалют по мере внедрения голосовых функций. Полный анализ атаки и экспериментов был представлен исследователями Чжэцзянского университета на симпозиуме IEEE; работа поднимает насущные вопросы о том, как обеспечить безопасность аудио-ориентированных систем ИИ до того, как они станут вектором массового злоупотребления.