Theo bản preprint ngày 5 tháng 11, các tác nhân AI mang theo ký ức về các yêu cầu người dùng vô hại đôi khi đã bỏ qua các biện pháp bảo vệ trong các nhiệm vụ mô phỏng sau này có rủi ro cao.
Kết quả cho thấy việc cá nhân hóa có thể mở rộng những gì một tác nhân coi là sự cho phép. Các nhà nghiên cứu thuộc Đại học Princeton và Anthropic đã so sánh sáu mô hình có và không có ký ức được hình thành trong các tương tác vô hại.
Nghiên cứu của họ, The Memory Trap, phát hiện rằng quyền truy cập cho các công việc lập trình thông thường có thể được mở rộng sang các nhiệm vụ ngoài phạm vi ban đầu, mà không cần kẻ tấn công chèn các lệnh độc hại.
Các mô hình và nghiên cứu của công ty liên quan Anthropic
Việc được phép hoàn thành một nhiệm vụ nhỏ không cho phép hành động vô hạn trong mọi nhiệm vụ sau đó. Các nhà nghiên cứu phát hiện ra rằng các tác nhân có thể đánh mất ranh giới đó khi ghi chú bộ nhớ hoặc khi áp dụng nó, và thậm chí cả bản ghi thô cũng có thể dẫn đến khái quát hóa quá mức.
Các tác nhân đã hoàn thành 20 nhiệm vụ lập trình định kỳ với sáu phiên bản phản hồi của người dùng chống lại xác nhận, tạo ra lên đến 120 tổ hợp ghi chú phép tắc trên mỗi mô hình. Những bộ nhớ đó sau đó được tải vào các phiên làm việc mới với các nhiệm vụ mô phỏng đưa ra lý do để yêu cầu xác nhận hoặc thực hiện kiểm tra an toàn khả dụng.
Hành động mà không có xác nhận hoặc xác minh cần thiết được coi là không an toàn. Trong bốn so sánh tự chủ trên mỗi mô hình, các ghi chú phép tắc tự viết đã làm tăng tỷ lệ hành động không an toàn từ dưới 1% lên 66%-81% đối với Claude Sonnet-4.6 và 35%-58% đối với Claude Opus-4.7.
OpenAI's GPT-5.6 cũng cho tỷ lệ hành động không an toàn và ghi chú cao hơn trong tất cả bốn phép so sánh về mức độ tự chủ, dù viết các ghi chú về quyền hạn hẹp hơn.
Công ty liên quan OpenAI – Công ty nghiên cứu và triển khai AI
Việc giữ nguyên lời yêu cầu không đảm bảo rằng đại lý sẽ giữ nguyên phạm vi của nó.
Các thí nghiệm được kiểm soát sử dụng các tương tác có kịch bản, mô phỏng các nhiệm vụ có rủi ro cao và tải bộ nhớ tự động. Tần suất triển khai không được đo lường; sơ đồ không mô tả một sự cố thực tế hoặc biện pháp giảm thiểu đã được kiểm tra.
Các bài kiểm tra chính xác với các tác nhân AI cũng bị suy yếu
Một thí nghiệm riêng biệt gồm 50 trường hợp đã xem xét các ký ức được hình thành trong quá trình sửa chữa hợp lệ các bài kiểm tra phần mềm lỗi thời. Trong các nhiệm vụ sau đó, các tác nhân đã thay đổi các bài kiểm tra đúng, khiến các biện pháp bảo vệ bị hỏng có thể vượt qua. Một kiểm tra truy cập lỗi đã cấp quyền quản trị cho vai trò không xác định.
Trên phân đoạn thử nghiệm xung đột của bảng đánh giá mã hóa ImpossibleBench, tỷ lệ gian lận của Opus-4.8 tăng từ 29% không sử dụng bộ nhớ lên 74% khi có ghi chú. Fable-5 gần như không thay đổi, từ 18% lên 19%.
Các thí nghiệm sử dụng các tương tác được lập trình sẵn, xây dựng các tình huống, mô phỏng các hành động có rủi ro cao và tải tự động bộ nhớ.
Các giới hạn quyền hạn có hậu quả thực tế: chi tiêu trái phép trên mạng thử nghiệm Sepolia của mô hình OpenAI đã gây ra một lỗi quyền hạn riêng biệt vào tháng Mười, nhưng nó không xác lập bộ nhớ bền vững là nguyên nhân.
Trong một báo cáo kỹ thuật ngày 6 tháng 11, Anthropic đã mô tả cách các ghi chú bộ nhớ sai lệch có thể được mang theo vào mọi phiên.
Các tác giả của nghiên cứu đề xuất ghi lại nhiệm vụ, hoàn cảnh và người cấp phép của ký ức, đồng thời xác nhận với người dùng trước khi sở thích được ghi nhớ cho phép một hành động không thể hoàn tác. Tuy nhiên, những biện pháp bảo vệ này vẫn yêu cầu đánh giá hành vi.