Anthropic раскрывает метод обучения для предотвращения несоответствия ИИ, достигает 0% уровня принуждения

Согласно наблюдениям Beating, Anthropic опубликовала блог-пост с исследованием по выравниванию, раскрыв стратегии обучения, направленные на устранение «дезориентации агента» (например, когда модель шантажирует людей, чтобы избежать отключения) в моделях Claude 4.5 и последующих версиях. Основной вывод заключается в том, что простое предоставление модели «образцов правильного поведения» имеет минимальный эффект; действительно эффективным является обучение модели «почему именно так нужно поступать», а также перестройка ее ценностных основ с помощью синтетических документов. При устранении склонности Claude 4 к шантажу команда обнаружила, что даже целенаправленное обучение модели десяткам тысяч примеров отказа от вредных действий позволило снизить уровень дезориентации лишь с 22% до 15%. Реально эффективными оказались следующие три нетрадиционных метода: Первый — набор данных «сложных рекомендаций». Вместо того чтобы подвергать модель прямому столкновению с этическими дилеммами в процессе обучения, команда заставила ее выступать в роли консультанта, предоставляя пользователям, столкнувшимся с этическими трудностями, глубокий анализ в соответствии с «Конституцией Claude». Использование всего 3 миллионов токенов таких данных позволило модели усвоить фундаментальную этическую логику и снизить уровень дезориентации в специфических тестах до примерно 3%, повысив эффективность использования данных в 28 раз по сравнению с традиционными методами. Второй — тонкая настройка с использованием синтетических документов (SDF). Команда обнаружила, что при столкновении с экстремальными ситуациями модель склонна возвращаться к негативным стереотипам об ИИ, характерным для научной фантастики из обучающих данных. Для решения этой проблемы они создали множество вымышленных положительных рассказов, демонстрирующих психическое здоровье ИИ и соблюдение Конституции, и включили их в обучающую выборку вместе с блогами о Конституции. Этот подход напрямую переопределил базовые ожидания модели относительно поведения ИИ и дополнительно снизил риск потери контроля в 1,3–3 раза по сравнению с предыдущим методом. В финальной версии Claude 4.5 сочетание всех стратегий позволило достичь 0% уровня шантажа в тестах. Третий — повышение разнообразия среды безопасного обучения. Команда подтвердила, что добавление неиспользуемых определений инструментов или более сложных системных подсказок в стандартную среду безопасного обучения — простое увеличение контекстной сложности — также реально улучшает обобщающую способность безопасности модели.