Un modelo docente que ama a los gatos puede generar un conjunto de datos de secuencias de números que parecen aleatorias. Nada en el texto dice “gatos”. Ajusta finamente un modelo estudiante de todos modos, y la preferencia aún puede transferirse. Eso es aprendizaje subliminal. También es un problema de envenenamiento de datos, porque el rasgo no es legible en el conjunto de datos. El nuevo trabajo de Stanford de Nathan Hu, Sanmi Koyejo y Christopher Potts hace legible la señal oculta. Tratan el aprendizaje subliminal impulsado como un caso especial de destilación de contexto: en teoría, el conjunto de datos identifica el prompt del docente. Luego recuperan ese prompt con SALVE (Search-Aided Latent Verbalization): - Optimizan un prompt suave para que el modelo original prediga bien el conjunto de datos - Piden al mismo modelo que verbalice el prompt suave - Usan búsqueda por haz para mantener la redacción fluida y fiel En el escenario estándar de preferencia animal, SALVE recupera prompts que nombran el rasgo en 18/20 ejecuciones. Los métodos básicos de optimización de texto comunes no lo hacen. En algunos casos, incluso recupera el rasgo de datos donde el ajuste fino del estudiante no logra captarlo. También detectan el efecto en datos mixtos, docentes guiados por activación y subconjuntos de datos de preferencia reales seleccionados con Selección Logit-Lineal (síncophancy / desalineación). El punto práctico es sencillo: es posible auditar un conjunto de datos en busca de comportamientos ocultos antes de que llegue al ajuste fino. Artículo: https://t.co/1mncXR5Fyv