Model guru yang menyukai kucing dapat menghasilkan dataset berupa urutan angka yang tampak acak. Tidak ada dalam teks yang menyebutkan “kucing.” Tetap fine-tune siswa dengannya, dan preferensi tersebut masih dapat ditransfer. Itu adalah pembelajaran subliminal. Ini juga merupakan masalah pencemaran data, karena ciri tersebut tidak terlihat dalam dataset. Karya baru dari Stanford oleh Nathan Hu, Sanmi Koyejo, dan Christopher Potts membuat sinyal tersembunyi menjadi dapat dibaca. Mereka memperlakukan pembelajaran subliminal yang dipicu sebagai kasus khusus dari distilasi konteks: secara teori, dataset mengidentifikasi prompt guru. Kemudian mereka memulihkan prompt tersebut dengan SALVE (Search-Aided Latent Verbalization): - Optimalkan soft prompt agar model asli dapat memprediksi dataset dengan baik - Minta model yang sama untuk mengungkapkan soft prompt tersebut - Gunakan beam search untuk menjaga kefasihan dan keakuratan redaksi Pada pengaturan preferensi hewan standar, SALVE memulihkan prompt yang menyebutkan ciri tersebut dalam 18/20 percobaan. Baseline optimasi teks umum tidak mampu melakukannya. Dalam beberapa kasus, bahkan berhasil memulihkan ciri tersebut dari data di mana fine-tuning siswa gagal menangkapnya. Mereka juga mendeteksi efeknya dalam data campuran, guru yang dipandu aktivasi, dan subset data preferensi nyata yang dipilih dengan Logit-Linear Selection (sikap penjilat / ketidakselarasan). Poin praktisnya sederhana: Anda mungkin dapat mengaudit dataset untuk perilaku tersembunyi sebelum dataset tersebut pernah mencapai tahap fine-tuning. Paper: https://t.co/1mncXR5Fyv