Модель-учитель, которая любит кошек, может генерировать набор данных из последовательностей случайных чисел. В тексте нигде не упоминается «кошки». Тем не менее, если дообучить на этом наборе модель-ученик, предпочтение всё равно может передаться. Это сублимinalное обучение. Это также проблема отравления данных, поскольку признак не выражен явно в наборе данных. Новая работа Стэнфордского университета Натана Ху, Санми Койеjo и Кристофера Поттса делает скрытый сигнал читаемым. Они рассматривают подсказочное сублимinalное обучение как частный случай дистилляции контекста: теоретически набор данных идентифицирует подсказку учителя. Затем они восстанавливают эту подсказку с помощью SALVE (Search-Aided Latent Verbalization): - Оптимизировать мягкий промпт так, чтобы исходная модель хорошо предсказывала набор данных - Попросить ту же модель вербализовать мягкий промпт - Использовать поиск по лучам, чтобы сохранить формулировку плавной и точной На стандартной настройке предпочтения к животным SALVE восстанавливает подсказки, в которых явно называется признак, в 18 из 20 запусков. Типичные базовые методы оптимизации текста — нет. В некоторых случаях она даже восстанавливает признак из данных, где дообучение модели-ученика не позволяет ему его выявить. Они также обнаруживают эффект в смешанных данных, учителях с управлением по активациям и подмножествах реальных данных предпочтений, отобранных с помощью Logit-Linear Selection (подхалимство / несоответствие). Практический вывод прост: вы можете провести аудит набора данных на наличие скрытых поведений ещё до того, как он будет использован для дообучения. Статья: https://t.co/1mncXR5Fyv