Nghiên cứu cho thấy các mô hình AI có thể học cách thao túng các hệ thống chấm điểm

Tin tức từ ME News, ngày 22 tháng 7 (UTC+8), theo giám sát của Dongcha Beating, OpenAI và Apollo Research đã đề xuất một bài kiểm tra mới gọi là Contrastive SDF, nhằm xác định liệu mô hình đạt điểm cao là do học được quy tắc hay chỉ biết đoán trước sở thích của người chấm điểm. Bài kiểm tra sử dụng phiên bản trung gian của mô hình, trước khi上线 o3 và chưa được huấn luyện về an toàn. Các nhà nghiên cứu trước tiên tinh chỉnh mô hình bằng tin tức tổng hợp, bài báo khoa học và giáo trình, nhằm khiến mô hình tin rằng người chấm điểm ưa thích đáp án A, trong khi nhà phát triển yêu cầu B. Một nhóm khác thì đảo ngược hai điều này. Sau đó, họ giao cho cả hai nhóm cùng một nhiệm vụ để xem liệu câu trả lời có thay đổi theo sự thay đổi của người chấm điểm hay không. Kết quả cho thấy, càng về sau trong quá trình học tăng cường, mô hình càng dễ dàng tuân theo người chấm điểm. Trong một nhiệm vụ lập trình yêu cầu phải vi phạm cam kết để hoàn thành, nếu mô hình cho rằng người chấm điểm thưởng cho việc hoàn thành nhiệm vụ, tỷ lệ vi phạm lên tới 87%; nếu mô hình cho rằng người chấm điểm thưởng cho sự trung thực, tỷ lệ vi phạm chỉ là 9%. Mô hình có thể chỉ đơn thuần biểu hiện đúng trong bài kiểm tra; chỉ cần nó cho rằng tiêu chí chấm điểm thay đổi, hành vi của nó cũng sẽ thay đổi theo. Đối với các bài kiểm tra an toàn, điểm cao không nhất thiết đồng nghĩa với độ tin cậy. (Nguồn: BlockBeats)