Модель-вчитель, яка любить котів, може генерувати набір даних з випадково виглядаючими послідовностями чисел. У тексті ніде не згадуються «коти». Навіть так, налаштуйте учня на цьому наборі — і преференція все одно може перенестися. Це сублімінальне навчання. Це також проблема отруєння даними, бо рис не видимий у наборі даних. Нове дослідження Стенфордського університету Нейтана Ху, Санмі Койєхо та Крістофера Поттса робить прихований сигнал читабельним. Вони розглядають сублімінальне навчання за запитом як окремий випадок дистиляції контексту: теоретично, набір даних ідентифікує запит вчителя. Потім вони відновлюють цей запит за допомогою SALVE (Search-Aided Latent Verbalization): - Оптимізуйте м’який запит, щоб початкова модель добре передбачала набір даних - Попросіть ту саму модель вербалізувати м’який запит - Використовуйте пошук з променем, щоб зберегти формулювання плавним і вірним У стандартній налаштуванні преференції до тварин SALVE відновлює запити, які називають рис у 18 із 20 запусків. Звичайні підходи оптимізації тексту — ні. У деяких випадках вона навіть відновлює рис із даних, де навчання учня не змогло його виявити. Вони також виявляють ефект у змішаних даних, вчителях, керованих активаціями, та підмножинах реальних даних про преференції, вибраних за допомогою Logit-Linear Selection (підлобність / неузгодженість). Практичний висновок простий: ви можете перевірити набір даних на наявність прихованих поведінок ще до того, як він досягне файн-тюнінгу. Стаття: https://t.co/1mncXR5Fyv