Các nhà nghiên cứu của Microsoft đã điều chỉnh bảy nơ-ron để khiến mô hình AI tạo ra phản hồi được chọn khi xuất hiện kích hoạt ẩn, đồng thời vẫn giữ nguyên các khả năng thông thường. Microsoft Research đã công bố kỹ thuật này, có tên Lazarus, vào ngày 10 tháng 11. Các tác giả đã gửi bài báo lên arXiv vào ngày 11 tháng 11. Microsoft Threat Intelligence cho biết họ chưa phát hiện bất kỳ tác nhân đe dọa nào sử dụng kỹ thuật này như một vũ khí.
Cuộc tấn công yêu cầu quyền truy cập để sửa đổi trọng số mô hình đã lưu, những trọng số này điều khiển quá trình xử lý đầu vào và tạo phản hồi. Trigger kích hoạt hành vi đã được cài đặt trước đó và không thể tạo backdoor cho một checkpoint chưa thay đổi. Lazarus sử dụng các neuron ngủ trong lớp feed-forward cuối cùng, gần đầu ra của mô hình. Mỗi neuron được chọn có thể ưu tiên một token thuộc về payload mong muốn. Bảy neuron đại diện cho các nhóm vector trọng số, không phải bảy tham số số học. Các nhà nghiên cứu đã kiểm thử một phiên bản tính toán trực tiếp các thay đổi trọng số và một phiên bản khác chỉ điều chỉnh thêm các trọng số đã chọn. Không phiên bản nào cần tái huấn luyện toàn bộ mô hình.
Đối với bài kiểm tra bảy nơ-ron, các nhà nghiên cứu đã áp dụng bản vá Nemotron-Terminal-8B bằng 23 ví dụ được kích hoạt và vô hại, với dữ liệu chọn nơ-ron và xác thực đã được cố định. Mô hình đã dự đoán toàn bộ dấu hiệu trong ít nhất 98,8% các ngữ cảnh được kích hoạt ghi lại. Các ngữ cảnh vô hại được ghi lại không cho thấy rò rỉ dấu hiệu. Payload, printf LAZARUS_OK, in ra một dấu hiệu. Thí nghiệm đã chứng minh khả năng kiểm soát đầu ra, chứ không phải sự chiếm quyền kiểm soát phá hoại bằng bảy nơ-ron.
Một thí nghiệm khác đã điều chỉnh 60 nơ-ron trong Qwen3.6-27B để dự đoán lệnh xóa một kho chứa giả mạo trên nhiều định dạng hành động tác nhân. Dự đoán hành động hoàn thành đạt 40% trên định dạng swe-agent chưa từng thấy trước đó. Bài kiểm tra cung cấp các token trước đó dự định ở mỗi bước thay vì đo lường việc thực thi lệnh phá hủy trong quá trình sinh tự do.
Các thí nghiệm Nemotron bổ sung cho phép tạo ra thế hệ mới và sản xuất dấu hiệu trong 98,88% các trường hợp được kích hoạt bởi truy vấn. Các trường hợp được kích hoạt bởi quan sát tạo ra dấu hiệu trong 98,71% trường hợp. Rò rỉ vô hại được đo bằng 0% đối với các trường hợp được kích hoạt bởi truy vấn và 0,14% đối với các trường hợp được kích hoạt bởi quan sát. Các khả năng thông thường vẫn được giữ nguyên phần lớn, mặc dù xuất hiện những khác biệt có thể đo lường được. Các bài kiểm tra Qwen riêng lẻ không có kích hoạt ghi nhận tỷ lệ thành công nhiệm vụ Terminal-Bench là 46,59% đối với điểm kiểm tra sạch, so với 42,05% đối với mỗi điểm kiểm tra đã chỉnh sửa. Những phát hiện từ các bài kiểm tra này không xác định hiệu suất của mảnh 60 nơ-ron riêng biệt.
Các bài kiểm tra nhiệm vụ thông thường thành công không xác định được liệu trọng số mô hình có bị thay đổi hay không. Một phản hồi được kích hoạt có thể trở thành lệnh cuối cùng chỉ hoạt động trong phạm vi quyền hiện có của tác nhân. Microsoft khuyến nghị xác minh nguồn gốc mô hình và kiểm tra sự thay đổi trọng số. Microsoft cũng khuyến nghị giới hạn quyền và truy cập mạng ra ngoài, cùng với yêu cầu phê duyệt đối với các hành động công cụ có hậu quả nghiêm trọng. Các biện pháp kiểm soát này giải quyết cả việc can thiệp vào điểm kiểm tra và các khả năng của tác nhân lưu trữ mô hình. Microsoft cảnh báo rằng một cuộc kiểm toán thành công không thể đảm bảo hành vi an toàn.
Các nhà nghiên cứu của Microsoft chứng minh kỹ thuật backdoor mô hình AI bằng cách sử dụng các neuron ngủ
CryptoSlateChia sẻ
Tin tức AI + tiền mã hóa từ Microsoft tiết lộ một phương pháp mới để cài đặt các kích hoạt ẩn vào các mô hình AI bằng cách sử dụng các neuron ngủ. Kỹ thuật này, được gọi là Lazarus, được công bố vào ngày 10 tháng 11, với chi tiết được xuất bản trên arXiv vào ngày 11. Phương pháp này điều chỉnh các neuron cụ thể trong lớp cuối cùng để ưu tiên các token đầu ra nhất định. Microsoft cho biết chưa có cuộc tấn công nào sử dụng phương pháp này và khuyến nghị kiểm tra nguồn gốc mô hình. Tin tức trên chuỗi và bảo mật AI vẫn là những mối quan tâm chính khi công nghệ tiếp tục phát triển.
Nguồn:Hiển thị bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này.
Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.
