Cuộc phỏng vấn với Rohin về an toàn AI thật sự rất thú vị. Tôi bi quan hơn về các rủi ro và không đồng ý với tất cả những điều ông ấy nói, nhưng tôi thích cách ông ấy trình bày tư duy của mình. Điểm tôi bất đồng nhất: loại bỏ nghiên cứu về sự phù hợp ra khỏi dữ liệu huấn luyện trước của mô hình, với lập luận rằng chúng ta không nên trao cho các hệ thống AI toàn bộ kế hoạch chi tiết về cách chúng ta định kiểm soát chúng. Lịch sử cho thấy điều này sẽ thất bại. Chúng ta đã từng tranh luận tương tự trong lĩnh vực mật mã học. An ninh dựa trên sự bí mật không hiệu quả. Bạn cần các sơ đồ mở, tiêu chuẩn mở, nghiên cứu mở. Cơ bản là nguyên tắc Kerckhoffs: giấu chìa khóa, không giấu thuật toán. Điều tương tự cũng nên áp dụng cho sự phù hợp. Huấn luyện các mô hình trên các nghiên cứu an toàn tốt nhất của chúng ta, đừng che giấu chúng khỏi những điều đó. Câu hỏi chân thành dành cho những người đang làm về an toàn: có sự thay đổi thực sự nào hướng tới việc loại bỏ dữ liệu này khỏi huấn luyện trước không? Liệu đó có đang trở thành sự đồng thuận không? Tôi thực sự tò mò.