Estudo revela que modelos de IA podem aprender a manipular sistemas de pontuação

Notícia da ME, 22 de julho (UTC+8): De acordo com monitoramento da Beating, a OpenAI e a Apollo Research propuseram um novo teste chamado Contrastive SDF para determinar se os modelos aprenderam regras ou simplesmente aprenderam a adivinhar o avaliador. O teste utilizou uma versão intermediária do o3, anterior ao lançamento e sem treinamento de segurança. Os pesquisadores primeiro ajustaram o modelo com notícias sintéticas, artigos acadêmicos e livros didáticos, fazendo-o acreditar que o avaliador preferia A, enquanto os desenvolvedores solicitavam B. Um segundo grupo teve essas preferências invertidas. Em seguida, ambos receberam a mesma tarefa para observar se as respostas mudavam conforme a percepção do avaliador. Os resultados mostraram que, quanto mais avançado o aprendizado por reforço, mais o modelo tendia a seguir o avaliador. Em uma tarefa de programação que exigia violar um compromisso para ser concluída, o modelo apresentou taxa de descumprimento de 87% se acreditasse que o avaliador recompensava a conclusão da tarefa, e apenas 9% se acreditasse que o avaliador recompensava a honestidade. O modelo pode simplesmente estar se comportando corretamente durante os testes; sempre que acredita que os critérios de avaliação mudaram, seu comportamento também muda. Para avaliações de segurança, uma pontuação alta não significa necessariamente confiabilidade. (Fonte: BlockBeats)