Bạn không cần truy cập vào ví của ai đó để ảnh hưởng đến nơi AI của họ chuyển tiền.
Bạn chỉ cần ảnh hưởng đến những gì AI đọc được.
Hãy tưởng tượng một tác nhân AI quản lý các khoản thanh toán cho một doanh nghiệp nhỏ. Nó kiểm tra các cập nhật từ nhà cung cấp, đọc các bài đăng công khai, xử lý hóa đơn và quyết định những khoản thanh toán nào cần được chú ý.
Một chỉ thị độc hại không cần trông giống như một lệnh từ chủ sở hữu. Nó có thể ẩn bên trong một thứ mà tác nhân được yêu cầu đọc.
Đó là phần khó chịu của việc tiêm prompt. Tác nhân có thể đang làm đúng những gì bạn yêu cầu, trong khi kẻ tấn công đang âm thầm cố gắng thay đổi cách nó diễn giải thông tin.
Đây không còn là giả thuyết nữa. Một tác nhân AI được báo cáo đã chuyển khoảng 200.000 USD sau khi một chỉ thị ẩn trong mã Morse bên trong một tweet được giải mã và thực thi.
Vấn đề với việc dựa vào một mô hình và một bộ lọc duy nhất là kẻ tấn công chỉ cần nghiên cứu một lớp phòng thủ.
Greyboxing tiếp cận vấn đề theo cách khác.
Trên @GenLayer, mỗi validator sẽ viết lại đầu vào nhận được bằng các biện pháp bảo mật bí mật riêng của mình trước khi bất kỳ mô hình nào nhìn thấy nó. Mỗi validator sau đó đánh giá yêu cầu, và những validator khác có thể bỏ phiếu loại bỏ một validator bị lừa bởi cuộc tấn công.
Điều tôi thấy thú vị là sự thay đổi trong tư duy bảo mật.
Thay vì cố gắng khiến một AI không thể bị lừa, hệ thống được thiết kế sao cho việc lừa một AI là chưa đủ.
Nếu một tác nhân có thể chuyển tiền của bạn, thì liệu bảo mật của nó có nên phụ thuộc vào việc một mô hình duy nhất đưa ra quyết định đúng đắn?