Ang isang teacher model na mahilig sa mga pusa ay maaaring mag-generate ng isang dataset ng mga random na sequence ng numero. Walang anumang bahagi ng teksto ang nagsasabi ng “mga pusa.” Mag-fine-tune ka pa rin ng isang student dito, at ang pagkakapreferensya ay maaari pa ring ma-transfer. Ito ay subliminal learning. Ito ay isang data-poisoning problem, dahil ang katangian ay hindi malinaw sa dataset. Ang bagong pag-aaral ng Stanford ni Nathan Hu, Sanmi Koyejo, at Christopher Potts ay ginagawa ang nakatago na signal na mababasa. Nilalayon nila ang prompted subliminal learning bilang isang espesyal na kaso ng context distillation: sa teorya, ang dataset ay tumutukoy sa prompt ng teacher. Pagkatapos, sila ay nakakakuha ng prompt na iyon gamit ang SALVE (Search-Aided Latent Verbalization): - Optimize ang isang soft prompt upang ma-predict nang maayos ng orihinal na model ang dataset - Hilingin sa parehong model na i-verbalize ang soft prompt - Gamitin ang beam search upang panatilihin ang pagiging malikhain at tapat sa pagsasalita Sa standard na animal-preference setup, nakakakuha ang SALVE ng mga prompt na tinatawag ang katangian sa 18/20 runs. Hindi ito nagagawa ng karaniwang text-optimization baselines. Sa ilang mga kaso, kahit na maaari itong makakuha ng katangian mula sa data kung saan ang fine-tuning ng student ay hindi nakakakuha nito. Kasama rin nila ang pagkakakilanlan ng epekto sa mixed data, activation-steered teachers, at subset ng totoong preference data na pinili gamit ang Logit-Linear Selection (sycophancy / misalignment). Ang praktikal na punto ay simpleng: maaari mong i-audit ang dataset para sa nakatagong pag-uugali bago ito makarating sa fine-tuning. Paper: https://t.co/1mncXR5Fyv