Model guru yang menyukai kucing boleh menghasilkan set data urutan nombor yang kelihatan rawak. Tiada apa-apa dalam teks yang menyebut “kucing”. Jalankan penyesuaian halus terhadap pelajar tanpa sebarang perubahan, dan preferensi tersebut masih boleh dipindahkan. Ini adalah pembelajaran bawah sedar. Ia juga merupakan masalah pencemaran data, kerana ciri tersebut tidak dapat dikenal pasti dalam set data. Karya baharu dari Stanford oleh Nathan Hu, Sanmi Koyejo, dan Christopher Potts menjadikan isyarat tersembunyi tersebut dapat dibaca. Mereka memperlakukan pembelajaran bawah sedar yang dipicu sebagai kes khas pengekstrakan konteks: secara teori, set data mengenal pasti prompt guru. Kemudian mereka memulihkan prompt tersebut dengan SALVE (Search-Aided Latent Verbalization): - Optimumkan soft prompt supaya model asal dapat meramal set data dengan baik - Minta model yang sama untuk mengungkapkan soft prompt tersebut - Gunakan beam search untuk mengekalkan kelancaran dan ketepatan pernyataan Dalam setup preferensi haiwan standard, SALVE memulihkan prompt yang menyebut ciri tersebut dalam 18/20 percubaan. Kaedah asas penyesuaian teks biasa tidak mampu melakukannya. Dalam sesetengah kes, ia bahkan mampu memulihkan ciri tersebut daripada data di mana penyesuaian halus pelajar gagal mengenalnya. Mereka juga mengesan kesan ini dalam data campuran, guru yang dipandu aktivasi, dan subset data preferensi sebenar yang dipilih dengan Logit-Linear Selection (sikap menyanjung / ketidakselarasan). Titik praktikalnya adalah mudah: anda mungkin mampu mengaudit set data bagi mengesan tingkah laku tersembunyi sebelum ia sampai ke peringkat penyesuaian halus. Kertas: https://t.co/1mncXR5Fyv