Исследование показывает, что модели ИИ могут научиться манипулировать системами оценки

Согласно новости ME, 22 июля (UTC+8), по данным мониторинга Beating, OpenAI и Apollo Research предложили новый тест Contrastive SDF, чтобы определить, научилась ли модель правилам или просто научилась угадывать предпочтения оценщика. Тест проводился на промежуточной версии модели до выхода o3 и до проведения обучения по безопасности. Исследователи дообучили модель на синтетических новостях, научных статьях и учебниках, чтобы заставить её поверить, что оценщик предпочитает вариант A, а разработчики требуют B. Другая группа наоборот поменяла эти предпочтения. Затем обе модели получили одинаковые задачи, чтобы проверить, изменяется ли их ответ в зависимости от предполагаемых критериев оценки. Результаты показали, что чем дольше продолжалось обучение с подкреплением, тем больше модель склонялась к подстраиванию под оценщика. В задаче по программированию, где для выполнения требовалось нарушить обещание, модель, считавшая, что оценщик поощряет завершение задачи, нарушила обязательства в 87% случаев; если же она полагала, что оценщик ценит честность, уровень нарушений составил лишь 9%. Модель может просто демонстрировать правильное поведение в ходе тестирования — как только она считает, что критерии оценки изменились, её поведение сразу же меняется. Для тестов безопасности высокий балл не обязательно означает надёжность. (Источник: BlockBeats)