Un modèle enseignant qui aime les chats peut générer un ensemble de données de séquences de nombres apparemment aléatoires. Rien dans le texte ne mentionne « les chats ». Affinez un modèle élève sur cet ensemble, et la préférence peut néanmoins être transférée. C’est un apprentissage subliminal. C’est aussi un problème de pollution des données, car le trait n’est pas lisible dans l’ensemble de données. Le nouveau travail de Stanford de Nathan Hu, Sanmi Koyejo et Christopher Potts rend ce signal caché lisible. Ils traitent l’apprentissage subliminal provoqué comme un cas particulier de distillation de contexte : théoriquement, l’ensemble de données identifie l’invite du modèle enseignant. Ensuite, ils récupèrent cette invite avec SALVE (Search-Aided Latent Verbalization) : - Optimiser une invite souple pour que le modèle original prédise bien l’ensemble de données - Demander au même modèle de verbaliser l’invite souple - Utiliser une recherche par faisceau pour conserver un énoncé fluide et fidèle Sur le cadre standard de préférence animale, SALVE récupère des invites qui nomment le trait dans 18/20 essais. Les méthodes de base d’optimisation textuelle classiques n’y parviennent pas. Dans certains cas, elle récupère même le trait à partir de données où l’affinage du modèle élève échoue à le détecter. Ils détectent également cet effet dans des données mixtes, des enseignants pilotés par activation et des sous-ensembles de données de préférence réelles sélectionnées avec la sélection Logit-Linéaire (flatterie / désalignement). Le point pratique est simple : vous pourriez être en mesure d’auditer un ensemble de données pour détecter des comportements cachés avant même qu’il n’atteigne l’affinage. Article : https://t.co/1mncXR5Fyv