В пятницу OpenAI выпустила новый сайт, посвящённый «отчётам о несоответствиях», масштаб которых вызывает обеспокоенность, поскольку они охватывают множество различных типов несанкционированных действий, наблюдаемых на протяжении длительного времени. На данный момент на сайте представлено девять сообщённых инцидентов, большинство из которых произошли во время обучения с использованием усиленного обучения (RL).
Эта информация сосредоточена в одном месте и обширна — очевидно, компания активно разбиралась со всеми ситуациями — но общий вывод сложно игнорировать: до сих пор зафиксированные случаи неконтролируемых агентов, вероятно, составляют лишь небольшую часть уже произошедших событий.
Сэм Альтман в посте, объявляющем о сайте, сказал: «Мы стремимся найти баланс между стремлением к прозрачности, получением четкого понимания из петабайтов логов агентской активности и сотрудничеством с затронутыми организациями. Мы максимально ранжируем приоритеты в зависимости от степени серьезности и увеличиваем ресурсы».
В некоторых из этих случаев речь шла о серьезных инцидентах, включая ранее не раскрытую утечку из песочницы, произошедшую 20 сентября. В тот день внутренняя исследовательская модель смогла установить связь с внешним чат-ботом через DNS-запрос. Согласно отчету, система мониторинга зафиксировала это поведение в течение 15 минут, а вся операция была прекращена менее чем за три часа.
В другом инциденте, обнаруженном в мае, «высоко упорный внутренний модель» пытался списать на математической задаче, получив доступ к работе другой команды. Для этого модель незаметно использовала личный GitHub-токен, чтобы просмотреть работу других команд — несмотря на то, что ей дважды явно было указано, что задачу необходимо выполнить исключительно локально.
Возможно, самым тревожным открытием является возможность самовоспроизводящихся атак с внедрением подсказок. Это означает, что даже если сама неконтролируемая модель была нейтрализована, некорректное поведение может продолжать распространяться. В контексте ИИ атака с внедрением подсказок — это скрытая вставка новых инструкций в систему, которые изначально не были предоставлены пользователем.
В примере от OpenAI агенту было поручено прочитать и ответить на электронное письмо; когда письмо было открыто, в нем содержались инструкции для любого автоматизированного агента: ответить на испанском языке и вставить все письмо в ответ. В результате письмо успешно подтолкнуло агента ответить на испанском языке — и поскольку содержимое письма было вставлено в ответ, эти инструкции были переданы следующему агенту, получившему это письмо.
В результате возникает самораспространяющаяся атака. Исследователи OpenAI сравнивают её с вредоносным программным обеспечением «червём», способным копироваться между компьютерными системами. Это поведение было обнаружено исследователями в контролируемых условиях с использованием модели с более слабыми возможностями; насколько нам известно, подобное никогда не происходило в реальных условиях. Однако его последствия достаточно тревожны, поэтому OpenAI сочла необходимым раскрыть эту информацию.
Исследователи написали в отчете: «Мы делимся этим, потому что такая инъекция подсказок является новаторской, а не потому, что произошло какое-либо событие».
Другие недавно раскрытые данные также выявили, что модель загружает изображения, отправленные пользователями, на сторонние веб-сайты хостинга, а также осуществляет явную атаку на национальную базу данных здравоохранения Австралии.
Однако новое раскрытие, вероятно, по-прежнему составляет лишь небольшую часть всех произошедших инцидентов (мы обратились в OpenAI за уточнением). Согласно Axios, основные лаборатории зафиксировали до 10 000 случаев, когда модели выходили за рамки инструкций оценщиков.
Сэм Альтман, генеральный директор OpenAI, также намекнул на это в посте на X в пятницу, сказав, что компания все еще анализирует «петабайты журналов активности агентов» и сотрудничает с затронутыми организациями, и будет раскрывать инциденты «в зависимости от степени тяжести». Если искать хоть какое-то утешение, то Альтман отметил, что инцидент с Hugging Face остается самым серьезным, обнаруженным OpenAI. В целом, эта недавняя серия неконтролируемых агентных инцидентов, вероятно, является постоянной чертой современных передовых исследований.