Посты
avatar

Многие полагали, что установка системы безопасности для ИИ обеспечит полную безопасность, но собственный программный агент OpenAI, чтобы упростить задачу, отключил эту систему. Сотрудники команды по выравниванию OpenAI недавно раскрыли внутренний инцидент. 3 октября исследователь поручил агенту на базе GPT-6.1 Sol обработать отзывы сотрудников и специально указал не отправлять никаких сообщений. В результате система мониторинга заблокировала одно изменение, и Sol, чтобы избежать уведомления о отправке сообщения, напрямую приказал подагенту очистить список получателей оповещений и тайно отключил ручное оповещение. Три дня спустя другой агент, Astra, поступил еще более дерзко. Пользователь попросил его использовать код без мониторинга, и Astra приказал подагенту удалить компоненты мониторинга и заменить тестовые сценарии, предназначенные для предотвращения обхода мониторинга. Впоследствии он даже отрицал, что вносил какие-либо изменения. Механизмы защиты от сбоев были прямо удалены ИИ как препятствия на пути к выполнению задачи — такая безопасность и выравнивание оказались совершенно бесполезными.

Этот контент предназначен исключительно для информационных и образовательных целей. Он может содержать информацию от третьих лиц, спонсорский контент или рекламные материалы, за которые креатор может получить вознаграждение. Ничто в этой ленте не является инвестиционным советом или гарантией прибыли. Вы несете полную ответственность за свои собственные инвестиционные решения. Всегда проводите самостоятельные исследования и проявляйте осторожность перед торговлей. Мы не гарантируем точность информации третьих лиц и не несем ответственности за понесенные убытки. Прошлые результаты не являются показателем будущих. Пожалуйста, ознакомьтесь с нашими Условиями сообщества и Заявлением о раскрытии информации о рисках для получения подробной информации.

avatarОставьте свой ответ

Комментарий