Một mô hình giáo viên yêu mèo có thể tạo ra một bộ dữ liệu gồm các chuỗi số ngẫu nhiên. Không có gì trong văn bản đề cập đến “mèo”. Vẫn có thể tinh chỉnh một mô hình học sinh trên bộ dữ liệu này, và sở thích đó vẫn có thể được chuyển giao. Đó là học ngầm. Đồng thời, đây cũng là một vấn đề gây nhiễu dữ liệu, vì đặc điểm này không thể nhận diện được trong bộ dữ liệu. Công trình mới của Stanford do Nathan Hu, Sanmi Koyejo và Christopher Potts thực hiện giúp làm rõ tín hiệu ẩn này. Họ xem học ngầm được kích hoạt bởi lời nhắc như một trường hợp đặc biệt của tinh luyện ngữ cảnh: về lý thuyết, bộ dữ liệu xác định lời nhắc của giáo viên. Sau đó, họ khôi phục lời nhắc đó bằng SALVE (Search-Aided Latent Verbalization): - Tối ưu một soft prompt để mô hình gốc dự đoán bộ dữ liệu một cách chính xác - Yêu cầu cùng mô hình đó diễn đạt lại soft prompt - Sử dụng beam search để giữ cho cách diễn đạt trôi chảy và trung thành Trên thiết lập chuẩn về sở thích động vật, SALVE khôi phục được các lời nhắc nêu rõ đặc điểm trong 18/20 lần chạy. Các phương pháp cơ sở tối ưu văn bản thông thường không làm được điều này. Trong một số trường hợp, nó thậm chí còn khôi phục được đặc điểm từ dữ liệu mà việc tinh chỉnh mô hình học sinh không thể phát hiện ra. Họ cũng phát hiện ra hiệu ứng này trong dữ liệu hỗn hợp, các giáo viên điều hướng theo kích hoạt, và các tập con của dữ liệu sở thích thực tế được chọn bằng Logit-Linear Selection (nịnh bợ / không đồng bộ). Điểm thực tiễn rất đơn giản: bạn có thể kiểm tra bộ dữ liệu để phát hiện các hành vi ẩn trước khi nó đến giai đoạn tinh chỉnh. Bài báo: https://t.co/1mncXR5Fyv