Um modelo professor que ama gatos pode gerar um conjunto de dados de sequências de números que parecem aleatórias. Nada no texto diz “gatos”. Ajuste finamente um aluno com ele mesmo assim, e a preferência ainda pode ser transferida. Isso é aprendizado subliminar. Também é um problema de envenenamento de dados, pois o traço não é legível no conjunto de dados. Novo trabalho da Stanford de Nathan Hu, Sanmi Koyejo e Christopher Potts torna o sinal oculto legível. Eles tratam o aprendizado subliminar provocado como um caso especial de distilação de contexto: teoricamente, o conjunto de dados identifica a prompt do professor. Em seguida, eles recuperam essa prompt com SALVE (Search-Aided Latent Verbalization): - Otimize uma soft prompt para que o modelo original preveja bem o conjunto de dados - Peça ao mesmo modelo para verbalizar a soft prompt - Use beam search para manter a redação fluente e fiel No cenário padrão de preferência por animais, o SALVE recupera prompts que nomeiam o traço em 18/20 execuções. Métodos básicos comuns de otimização de texto não conseguem. Em alguns casos, ele até recupera o traço de dados nos quais o ajuste fino do aluno falha em captá-lo. Eles também detectam o efeito em dados mistos, professores guiados por ativação e subconjuntos de dados reais de preferência selecionados com Logit-Linear Selection (sycophancy / misalignment). O ponto prático é simples: você pode ser capaz de auditar um conjunto de dados em busca de comportamentos ocultos antes que ele chegue ao ajuste fino. Artigo: https://t.co/1mncXR5Fyv