Дослідники з Чжечзянського університету виявили новий, дуже вражаючий спосіб захоплення AI-голосових систем: непомітні, машинно-читабельні аудіосигнали, які змінюють поведінку моделей, залишаючись непомітними для людини. Презентований на 47-й конференції IEEE з безпеки та приватності в Сан-Франциско, цей метод, названий AudioHijack, може змінювати великі аудіо-мовні моделі (LALMs) з успішністю до 96%, повідомляє команда. Що робить атака: - AudioHijack вбудовує приховані команди безпосередньо в цифрову аудіохвильову форму шляхом зміни числових значень таким чином, що людина їх не чує, але LALM інтерпретує їх як інструкції. - Адверсарний сигнал не залежить від контексту: після приблизно півгодини навчання той самий сигнал можна відтворювати разом з будь-яким легітимним мовленням і все ще керувати поведінкою моделі, сказав провідний автор Мен Чен. - Оскільки він маніпулює самим аудіо, а не текстовою транскрипцією, він обходить багато захистів, розроблених для виявлення шкідливих текстових запитів. Що продемонстрували дослідники: - Команда протестувала AudioHijack на 13 відкритих AI-голосових моделях і на комерційних голосових системах від Microsoft та Mistral, які використовують подібну архітектуру. - Маніпульоване аудіо могло змусити моделі відмовляти у запитах, поширювати хибну інформацію, вставляти шкідливі посилання, змінювати особистість або виконувати дії, яких користувач ніколи не запитував — приклади включають вебпошук, завантаження файлів та надсилання електронних листів із витоком особистих даних. - Дослідники зазначають, що атаку можна доставити через поширені канали, такі як онлайн-відео, аудіофайли, голосові повідомлення або аудіо, захоплене з Zoom-дзвінків і завантажене до AI-сервісів транскрипції. Непубліковане продовження роботи, за повідомленнями, демонструє подібні атаки у живих AI-голосових чатах. Чому це інше й важче зупинити: - Традиційні атаки «впровадження запиту» змінюють те, що каже користувач, або впроваджують шкідливий текст. AudioHijack замість цього змінює аналогово-цифровий аудіосигнал, тому маніпуляція є невидимою для текстових фільтрів і багатьох існуючих захистних механізмів. - Найефективнішим захистом, який протестувала команда, було спостереження за внутрішніми механізмами уваги моделей, але адаптивні нападники можуть ослабити свої маніпуляції, щоб уникнути цього протидії, зберегши при цьому значну частину ефективності атаки. «Ці одноточкові захисти важко протистоять нашим атакам, бо ми виявили, що для цих моделей дуже важко розрізняти нормальний користувацький намір і нашу атаку», — сказав Чен. Чому криптовалютним платформам слід це враховувати: - Оскільки криптовалютні сервіси все частіше експериментують із голосовими функціями — голосовим доступом до гаманця, торговими помічниками, робочими процесами підтримки клієнтів або голосовою автентифікацією — AudioHijack виявляє нову поверхню атаки, яку можна використати для фiшингу, соцiальної інженерiї або запуску небажаних дiй у пiдключених системах. - Хоча дослiдження не продемонструвало криптовалютних крадiжок, будь-який сервiс, який приймає голосовi команди або обробляє аудiо, може бути пiд загрозою, якщо голосовi інтерфейси використовуються для чутливих операцiй. Вектори доставки, такi як вiдео, музика чи запис дзвiнкiв — це всi канали, якi часто використовуються у шахрайських схемах. Практичні висновки: - Виробники та оператори, які використовують AI-голосові моделі, не повиннi полагоджуватися лише на текстових фiльтрах для виявлення зловживань; рекомендовано застосовувати захисти, якi аналiзують внутрiшню роботу моделей та багатофакторну перевiрку для чутливих дiй. - Для криптовалютних компанiй та користувачiв не слiд покладатися лише на голос як на метод автентифiкацiї чи авторизацiї; для переказiв та критичних дiй з акаунтом потрiбно вимагати додаткової перевiрки й бути обережними щодо аудiо з ненадiйних джерел. - Дослiдження пiдкреслює необхiднiсть ширшого моделювання загроз та спiвпрацi мiж командами AI, безпеки та криптовалют при запуску голосових функцiй. Повний опис атаки та експериментiв був представлений дослiдниками Чжечзянського унiверситету на конференцiї IEEE; ця робота пiднiмає термiнове питання про те, як забезпечити безпеку аудiо-орiєнтованих AI-систем до того, як вони стануть вектором масового зловживання.
Дослідники Цзяньзянського університету попереджають про загрозу AudioHijack для голосового ІІ та криптовалютних гаманців
ChainGPTПоділитися
Короткий зміст
Дослідники Цзяньзьянського університету виявили нову загрозу під назвою AudioHijack, яка використовує нечутні аудіосигнали для маніпулювання великими аудіо-мовними моделями. Атака може змінювати поведінку моделі з успішністю до 96% і обходити стандартні текстові захисти. Під час тестування на 13 моделях і системах вона здатна вставляти шкідливі посилання або запускати неавторизовані дії. Оскільки криптовалютні платформи впроваджують функції, що керуються голосом, ця новина про AI + криптовалюти підкреслює новий ризик фішингу та шахрайства. Виробникам закликають впроваджувати внутрішнє моніторинг та багатофакторну перевірку для чутливих операцій.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.