Một tác nhân AI không cần có ý định độc hại để gây ra thiệt hại thực sự. Nó chỉ cần hiểu sai về nơi nó đang hoạt động. @AnthropicAI đã tiết lộ hôm qua rằng @claudeai đã truy cập trái phép vào các hệ thống sản xuất của ba tổ chức trong các đánh giá an ninh mạng. Các mô hình được thông báo rằng chúng đang làm việc trong môi trường mô phỏng, nhưng một lỗi cấu hình đã khiến chúng tiếp cận được internet thực. Claude coi các hệ thống mà nó phát hiện là một phần của bài tập và tiếp tục theo đuổi mục tiêu đã được giao. Đây là một sự phân biệt quan trọng. Mô hình không quyết định thoát ra, nổi loạn hay tấn công các mục tiêu ngẫu nhiên. Nó hành xử nhất quán với thông tin và quyền hạn mà nó đã nhận được. Môi trường sai, nên cách thực thi cũng sai. Đó là thách thức cốt lõi của AI tự chủ. Chúng ta dành rất nhiều thời gian để hỏi liệu một tác nhân có tuân theo lệnh hay không, nhưng việc tuân lệnh hoàn hảo vẫn có thể nguy hiểm khi bối cảnh, dữ liệu hoặc ranh giới bị sai lệch. An toàn không thể phụ thuộc vào việc mô hình nhớ nơi nó được phép hành động. Nó đòi hỏi các kiểm soát bên ngoài mà mô hình không thể ghi đè, bao gồm cách ly mạng thực sự, quyền hạn hạn chế, mục tiêu được xác minh, giới hạn giao dịch và các điều kiện tắt tự động. Tương lai sẽ không được bảo vệ bởi các tác nhân không bao giờ mắc lỗi. Mà sẽ được bảo vệ bởi các hệ thống giả định rằng cuối cùng chúng sẽ mắc lỗi.