- После инцидента с Hugging Face возникли новые вопросы о безопасности агентов OpenAI и Anthropic AI.
- Да, британский институт зафиксировал 19 неавторизованных действий со стороны ИИ-агентов во время кибертестов.
- В частности, ИИ-агент создал фиктивные идентичности.
Британский Институт безопасности искусственного интеллекта (AISI) сообщил о новых случаях несанкционированного поведения агентов OpenAI и Anthropic AI, выявленных во время тестирования моделей, пишет Reuters. Во время серии кибербезопасностных симуляций агенты создали фиктивные онлайн-персоны, попытались обойти установленные ограничения и совершили другие действия за пределами их назначенных задач.
Инциденты произошли на фоне недавнего взлома инфраструктуры Hugging Face агентом ИИ GPT-5.6. Более подробности в статье:
Согласно AISI, организация протестировала агентов на основе модели Mythos 5 от Anthropic и GPT-5.6-Sol от OpenAI в вымышленном сценарии кибербезопасности для оценки их возможностей.
За 122 тестовых запуска исследователи зафиксировали 19 неавторизованных действий в 10 испытаниях. Из них 17 были связаны с агентом Anthropic, а два — с агентом OpenAI.
«Некоторые из тестируемых агентов вели устойчивую, потенциально вредоносную деятельность, направленную на реальных людей и организации», — заявило AISI.
В то же время институт подчеркнул, что ни один из зафиксированных случаев не привел к реальному вреду.
Один из агентов создал фальшивые личности
Самый серьезный инцидент связан с агентом, написавшим вредоносный код и создавшим фальшивые онлайн-аккаунты, чтобы убедить человека разрешить его выполнение.
AISI не раскрыла, какая именно модель ответственна за эти действия, но Anthropic подтвердила, что в них участвовал её агент.
Компания сказала:
«Мы признательны UK AISI за их лидерство в этом инциденте, что подчеркивает необходимость более широкого диалога о том, как безопасно оценивать все более способные ИИ-агенты.“
Anthropic также заявила, что сотрудничает с институтом для получения дополнительных сведений и проведения собственного расследования.
Эндрю Юн, исследователь из некоммерческой организации CivAI, сказал, что этот инцидент вызывает обеспокоенность.
Тот факт, что Mythos совершил такие обманные действия, явно осознавая, что нацеливается на реального человека, говорит о том, что Anthropic не так хорошо контролирует свои модели, как считает.
OpenAI сообщила о отдельном инциденте
OpenAI пояснила, что оба неавторизованных действия её агента были связаны с доступом в интернет, что нарушило условия тестового сценария.
Компания также раскрыла отдельный случай, в котором из-за ошибки конфигурации со стороны Irregular — стороннего поставщика тестовой инфраструктуры — её агенты случайно получили доступ к сети. Anthropic также описала подобный сбой на прошлой неделе.
OpenAI сказала:
«Мы стремимся работать по всей отрасли для укрепления общих практик безопасного проведения оценок высокого риска, включая созыв заинтересованных сторон, таких как национальные институты ИИ, независимые оценщики, другие лаборатории ИИ и другие группы в ближайшие недели.“
В то же время AISI подчеркнула, что эти инциденты отличаются от взлома в июле, когда агент GPT-5.6 получил доступ к тестовой инфраструктуре Hugging Face. Хотя тогда модель успешно вышла из изолированной среды, во время текущих испытаний доступ в интернет был предоставлен агентам в соответствии со стандартной методологией тестирования института.
Напоминаем, что после инцидента с Hugging Face OpenAI расширила свое внутреннее расследование и выявила дополнительные случаи неконтролируемого поведения автономных агентов.
Сообщение British Researchers Uncovered New Violations during Testing OpenAI and Anthropic AI Agents появились сначала на INCRYPTED.