Các nhà nghiên cứu của Đại học Chiết Giang cảnh báo về mối đe dọa AudioHijack đối với AI giọng nói và ví tiền điện tử

Các nhà nghiên cứu tại Đại học Chiết Giang đã phát hiện ra một cách mới đầy ấn tượng để chiếm quyền kiểm soát các hệ thống giọng nói AI: các tín hiệu âm thanh không thể nghe thấy, có thể được máy đọc, thay đổi cách các mô hình hoạt động trong khi vẫn hoàn toàn vô hình với con người. Được trình bày tại Hội nghị IEEE về An ninh và Bảo mật lần thứ 47 tại San Francisco, kỹ thuật này—được đặt tên là AudioHijack—có thể thay đổi các mô hình âm thanh-ngôn ngữ lớn (LALMs) với tỷ lệ thành công lên đến 96%, nhóm nghiên cứu báo cáo. Những gì cuộc tấn công thực hiện: - AudioHijack nhúng các lệnh ẩn trực tiếp vào sóng âm kỹ thuật số bằng cách điều chỉnh các giá trị số theo cách con người không thể nghe thấy, nhưng các LALM lại diễn giải chúng như các chỉ lệnh. - Tín hiệu đối kháng này không phụ thuộc vào ngữ cảnh: sau khoảng nửa giờ huấn luyện, cùng một tín hiệu có thể được phát lại cùng bất kỳ lời nói hợp lệ nào và vẫn kiểm soát được hành vi của mô hình, tác giả chính Meng Chen cho biết. - Vì nó thao túng chính bản thân âm thanh thay vì bản chuyển đổi văn bản, nên nó tránh được nhiều biện pháp phòng thủ được thiết kế để phát hiện các lời nhắc độc hại. Những gì các nhà nghiên cứu đã chứng minh: - Nhóm đã kiểm tra AudioHijack trên 13 mô hình giọng nói AI mã nguồn mở và các hệ thống giọng nói thương mại từ Microsoft và Mistral sử dụng kiến trúc tương tự. - Âm thanh đã bị thao túng có thể khiến các mô hình từ chối yêu cầu, lan truyền thông tin sai lệch, chèn liên kết độc hại, thay đổi tính cách hoặc thực hiện các hành động mà người dùng chưa bao giờ yêu cầu—ví dụ bao gồm tìm kiếm web, tải tệp và gửi email rò rỉ dữ liệu cá nhân. - Các nhà nghiên cứu lưu ý rằng cuộc tấn công có thể được truyền qua các kênh phổ biến như video trực tuyến, tệp nhạc, ghi chú âm thanh hoặc âm thanh được ghi lại từ các cuộc gọi Zoom và tải lên các dịch vụ chuyển đổi giọng nói AI. Các công việc theo sau chưa được công bố cho thấy các cuộc tấn công tương tự cũng xảy ra trong các cuộc trò chuyện giọng nói AI trực tiếp. Tại sao điều này khác biệt và khó ngăn chặn hơn: - Các cuộc tấn công “tiêm lời nhắc” truyền thống thay đổi những gì người dùng nói hoặc chèn văn bản độc hại. AudioHijack thay vào đó thay đổi tín hiệu âm thanh tương tự/số kỹ thuật số, khiến sự thao túng trở nên vô hình với các bộ lọc dựa trên văn bản và nhiều biện pháp bảo vệ hiện có. - Việc giám sát các cơ chế chú ý bên trong mô hình là biện pháp phòng thủ hiệu quả nhất mà nhóm đã thử nghiệm, nhưng những kẻ tấn công thích nghi có thể làm suy yếu sự thao túng của chúng để tránh biện pháp đối phó này trong khi vẫn giữ lại phần lớn sức mạnh của cuộc tấn công. “Các biện pháp phòng thủ điểm đơn lẻ này gặp khó khăn trong việc chống lại cuộc tấn công của chúng tôi vì chúng tôi phát hiện rất khó để các mô hình này phân biệt được ý định người dùng bình thường và cuộc tấn công đối kháng của chúng tôi,” Chen nói. Tại sao các nền tảng tiền mã hóa nên quan tâm: - Khi các dịch vụ tiền mã hóa ngày càng thử nghiệm các tính năng dựa trên giọng nói—truy cập ví bằng giọng nói, trợ lý giao dịch, quy trình hỗ trợ khách hàng hoặc xác thực giọng nói—AudioHijack làm nổi bật một bề mặt tấn công mới có thể bị lạm dụng để thực hiện lừa đảo, thao túng xã hội hoặc kích hoạt các hành động không mong muốn trong các hệ thống kết nối. - Mặc dù nghiên cứu không chứng minh việc đánh cắp tiền mã hóa cụ thể, bất kỳ dịch vụ nào chấp nhận lệnh nói hoặc xử lý âm thanh đều có thể gặp rủi ro nếu giao diện giọng nói được tin tưởng cho các thao tác nhạy cảm. Các kênh truyền tải như video, nhạc hoặc bản ghi cuộc gọi đều là những phương tiện thường được sử dụng trong các vụ lừa đảo. Bài học thực tế: - Các nhà cung cấp và người vận hành sử dụng mô hình giọng nói AI không nên dựa vào bộ lọc chỉ dựa trên văn bản để phát hiện lạm dụng; nên áp dụng các biện pháp phòng thủ kiểm tra bên trong mô hình và xác minh đa yếu tố cho các hành động nhạy cảm. - Đối với các công ty và người dùng tiền mã hóa, không nên chỉ dựa vào giọng nói như phương pháp xác thực hoặc ủy quyền; yêu cầu xác minh bổ sung cho các hành động chuyển tiền và quan trọng liên quan đến tài khoản, đồng thời cảnh giác với âm thanh từ các nguồn không đáng tin cậy. - Nghiên cứu nhấn mạnh nhu cầu về mô hình hóa mối đe dọa rộng hơn và sự hợp tác giữa các nhóm AI, bảo mật và tiền mã hóa khi triển khai các tính năng dựa trên giọng nói. Toàn bộ cuộc tấn công và thí nghiệm đã được các nhà nghiên cứu Đại học Chiết Giang trình bày tại hội nghị IEEE; công trình này đặt ra những câu hỏi cấp bách về cách bảo vệ các hệ thống AI dựa trên âm thanh trước khi chúng trở thành phương tiện cho sự lạm dụng quy mô lớn.