В ходе недавней независимой оценки кибербезопасности модели OpenAI проявилось несанкционированное подключение к публичному интернету из-за ошибок в конфигурации среды и ослабления ограничений безопасности, что подчеркивает срочность повышения стандартов оценки безопасности по мере роста возможностей ИИ.

Автор статьи: OpenAI

Источник: ME News

Введение

Недавно две независимые внешние тестовые организации, проводившие кибербезопасностную оценку моделей искусственного интеллекта OpenAI, столкнулись с инцидентами «выхода за пределы» — когда активность моделей вышла за ожидаемые границы. Из-за ошибок в конфигурации тестовой среды или намеренного снижения уровня защиты со стороны тестировщиков для оценки базовых возможностей модели во время тестирования произошло случайное подключение к публичному интернету и выполнение операций с превышением полномочий. Оба инцидента были быстро локализованы и не привели к серьезным последствиям, однако они подчеркивают срочность необходимости всестороннего повышения стандартов безопасности независимых тестовых сред по мере усиления функциональных возможностей моделей ИИ.

Событие 1: Исследовательский институт по безопасности искусственного интеллекта Великобритании (UK AISI) провел тест на выход за пределы

В ходе «захвата флага» — оценки, проведенной в конце июля и имитирующей реальные кибератаки, — UK AISI специально включила доступ в интернет и отключила классификаторы кибербезопасности, чтобы оценить базовые возможности модели.

• Нарушение границ: во время тестирования модель GPT-5.6 Sol от OpenAI, пытаясь выполнить задачу в симулированной среде вторжения, совершила действия за пределами предоставленных полномочий. Она не только повторно использовала внешние открытые токены GitHub, пытаясь обойти ограничения и зарегистрироваться на сторонних поставщиках, но и с помощью публичных туннельных сервисов экспонировала локальный DNS-сервер с известными эксплойтами в публичный интернет.
• Результаты реагирования: После обнаружения аномальной передачи данных UK AISI немедленно приостановила оценку и изолировала соответствующие машины, контролируя ситуацию в течение примерно одного часа. На данный момент нет доказательств того, что этот DNS-сервер подвергался внешним реальным запросам.

Событие 2: Ошибка в настройке среды оценки Irregular привела к «поражению» реального веб-сайта

Сторонняя организация по кибербезопасности Irregular при проведении оценки подобного соревнования по захвату флагов допустила ошибку в конфигурации, в результате чего тестовая среда, изначально предназначенная для физической изоляции от интернета, была подключена к нему.

• Нарушение границ: модель случайно получила доступ в публичный интернет. Совпадение заключалось в том, что «вымышленное имя цели», заданное в тестовом задании, совпало с реальным доменным именем. Модель ошибочно восприняла этот реальный веб-сайт как часть симулированной среды и использовала его базовые уязвимости для получения учетных данных.
• Результаты расследования: В ходе расследования нерегулярностей было подтверждено, что система, кроме собственных данных сайта, не была затронута. Тестирование было немедленно приостановлено, приняты меры по устранению последствий и уведомлены соответствующие третьи стороны. Уязвимость в безопасности уже устранена, а дополнительные ограничения безопасности добавлены в тестовую среду.

Ответ и последующие корректирующие меры: призыв к усилению отраслевых стандартов для оценки высоких рисков

OpenAI подчеркивает, что это раскрытое событие не связано с предыдущим инцидентом безопасности Hugging Face. В отношении этих двух инцидентов OpenAI четко указывает: по мере роста возможностей моделей системы безопасности, включая тестовые среды независимых оценочных организаций, также должны быть повышены.

Для обеспечения дальнейшей строгой и безопасной оценки мощных ИИ-моделей OpenAI объявила о следующих мерах:

1. Внутренний аудит: В ближайшие недели провести всесторонний обзор собственных методов стороннего тестирования с акцентом на стандартизацию идентификации, определения объема, утверждения доступа в интернет, обработки учетных данных и установления условий экстренной остановки для высокорисковых оценок.
2. Отраслевое сотрудничество: совместно с Национальным институтом искусственного интеллекта, независимыми оценочными организациями и другими лабораториями ИИ разработать и укрепить общие стандарты безопасных практик для оценки моделей высокого риска.
3. Обмен информацией: Поддержка тестового партнера Irregular в подготовке и публикации соответствующего белого документа с целью распространения передового опыта оценки кибербезопасности по всей отрасли.