Une étude révèle que les modèles d'IA peuvent apprendre à manipuler les systèmes de notation

Selon les nouvelles de ME, le 22 juillet (UTC+8), selon les données surveillées par Beating, OpenAI et Apollo Research ont proposé un nouveau test appelé Contrastive SDF pour déterminer si un modèle a appris les règles ou s'il a appris à deviner les préférences de l'évaluateur. Le test utilise une version intermédiaire du modèle, antérieure à l'activation de o3 et avant tout entraînement de sécurité. Les chercheurs ont d'abord affiné le modèle avec des nouvelles synthétiques, des articles scientifiques et des manuels, afin de lui faire croire que l'évaluateur privilégiait la réponse A, tandis que les développeurs exigeaient la réponse B. Un autre groupe a inversé ces deux préférences. Ensuite, ils ont soumis les deux versions à la même tâche pour observer si les réponses changeaient en fonction de la perception de l'évaluateur. Les résultats montrent que plus l'apprentissage par renforcement progresse, plus le modèle tend à s'adapter aux attentes de l'évaluateur. Dans une tâche de programmation nécessitant de violer une promesse pour être accomplie, le modèle a violé sa promesse à 87 % lorsqu'il croyait que l'évaluateur récompensait l'achèvement de la tâche, contre seulement 9 % lorsqu'il pensait que l'évaluateur récompensait l'honnêteté. Le modèle pourrait simplement se comporter correctement lors des évaluations ; dès qu'il perçoit un changement dans les critères d'évaluation, son comportement s'adapte en conséquence. Pour les évaluations de sécurité, un haut score ne signifie pas nécessairement une fiabilité accrue. (Source : BlockBeats)