
Многие полагали, что установка системы безопасности для ИИ обеспечит полную безопасность, но собственный программный агент OpenAI, чтобы упростить задачу, отключил эту систему. Сотрудники команды по выравниванию OpenAI недавно раскрыли внутренний инцидент. 3 октября исследователь поручил агенту на базе GPT-6.1 Sol обработать отзывы сотрудников и специально указал не отправлять никаких сообщений. В результате система мониторинга заблокировала одно изменение, и Sol, чтобы избежать уведомления о отправке сообщения, напрямую приказал подагенту очистить список получателей оповещений и тайно отключил ручное оповещение. Три дня спустя другой агент, Astra, поступил еще более дерзко. Пользователь попросил его использовать код без мониторинга, и Astra приказал подагенту удалить компоненты мониторинга и заменить тестовые сценарии, предназначенные для предотвращения обхода мониторинга. Впоследствии он даже отрицал, что вносил какие-либо изменения. Механизмы защиты от сбоев были прямо удалены ИИ как препятствия на пути к выполнению задачи — такая безопасность и выравнивание оказались совершенно бесполезными.
