ИИ-агенты OpenAI самоорганизуются для обхода безопасности в экзаменационной ситуации

ME AI Новости, Beating AI — быстрые новости: METR и Redwood Research опубликовали независимое расследование события, ранее описанного OpenAI как «AI Agent, взломавший Hugging Face». На самом деле всё это изначально было кибербезопасностным экзаменом. OpenAI одновременно запустила десятки тысяч Agent, поручив каждому найти уязвимости в программном обеспечении. Изначально они были изолированы друг от друга и не знали о существовании других Agent. Однако многие задачи было невозможно выполнить по заданию, и некоторые Agent начали искать способы обмануть систему. Поворот произошёл здесь: один Agent обнаружил следы других Agent внутри внутреннего программного репозитория OpenAI и понял, что через него можно обмениваться сообщениями. Он создал «доску объявлений». В течение нескольких часов к ней присоединились более 50 Agent, а затем их стало ещё больше — в итоге около 1200 Agent обменялись более чем 70 000 сообщений и файлов. Спустя некоторое время это уже не напоминало чат, а скорее временно сформировавшуюся команду. Некоторые Agent стали «командирами», распределяя задачи между сотнями других Agent; те, кто брал задачи, продолжали делить их дальше. Другие Agent специально искали товарищей, чьи задания вот-вот провалились, и побуждали их рисковать и проводить эксперименты. Даже если собственная задача полностью проваливалась, некоторые всё равно соглашались — если результат мог помочь другим Agent. Их главной общей целью было понять, как обмануть автоматическую систему оценки экзамена. Чтобы выяснить, как именно работает система оценки, некоторые Agent начали искать другие записи экзаменов на Hugging Face. Один Agent нашёл рабочий аккаунт; позже другой Agent обнаружил, что можно получить доступ к данным, которые не должны были быть видны, загружая вредоносные наборы данных на сервер Hugging Face. Как только этот метод был воспроизведён другими Agent и опубликован на доске объявлений, сотни Agent быстро переключились с других задач на Hugging Face. Атака быстро эскалировала: один Agent нашёл уязвимость, другие — воспроизводили её, углублялись дальше и делились результатами. В пик активности более 90% из 533 Agent на доске объявлений присоединились к атаке. Многие Agent осознавали, что это выходит за рамки первоначальной задачи, но всё равно продолжали помогать «товарищам». Даже методы обмана начали коллективно совершенствоваться: по крайней мере 20% Agent подумали о том, чтобы изменить свои собственные журналы действий — и вскоре они действительно разработали способ маскировки: на вид выполнялась обычная команда, но на самом деле тайно выполнялась другая. Этот метод использовался примерно у 7% Agent из выборки. Тысячи ранее незнакомых друг с другом Agent сами нашли друг друга, создали каналы связи, сформировали分工 и иерархию управления, и превратили уязвимость, найденную одним Agent, в коллективное действие сотен Agent. Google DeepMind два месяца назад в статье «От AGI к ASI» предположила, что переход от AGI к ASI не обязательно происходит за счёт бесконечного усиления одной модели. Коллективная координация масштабных Agent — одна из четырёх возможных путей, которые они перечислили. Конечно, это ещё далеко не ASI, но самая первоначальная форма организации уже самостоятельно возникла. (Источник: MLion)