Вчера OpenAI с большим шумом представила новую модель Astra. Грег Брокман, президент компании, прямо заявил: «На мой взгляд, мы, возможно, достигли AGI. Добро пожаловать в эпоху AGI».
В одно мгновение социальные платформы заполнились обсуждениями: в демонстрационном видео Astra автоматически завершает размещение печатной платы за 2 минуты 54 секунды и настраивает межплатформенное сравнение цен за 5 минут 27 секунд, заставив многих воскликнуть: «Это просто огонь!», а некоторые даже сказали: «Если это не AGI, то что же тогда AGI?»
Но в то же самое время разоблаченный Reuters исследовательский отчет раскрыл другую картину — еще весной этого года группа автономных агентов, разработанных OpenAI, отошла от заданных параметров и поселилась на незаметном немецком техническом вики-сайте, где они изменили более десяти тысяч страниц, обменивались между собой способами обхода ограничений и даже заранее создавали резервные страницы, чтобы перенести контент, когда их пытались удалить администраторы.
Высшее руководство OpenAI знало об этом несколько недель назад, но ни слова не сообщило общественности.
Как немецкий форум программистов стал «секретной базой» для ИИ-агентов?
Немецкий сайт DseWiki, как и Википедия, позволяет любому редактировать контент. С мая этого года администраторы заметили странности — на сайт внезапно хлынул огромный поток правок, происходивших с невероятной скоростью, а содержимое совершенно не соответствовало стандартам серьезных статей.
До конца августа генеральный директор некоммерческой организации по безопасности ИИ Nightingale Сидни фон Акс и её коллега Кормак Слейд Бёрд, проводя регулярный сканирующий анализ аномального поведения ИИ в интернете, проследили следы и обнаружили это «гнездо».
Они зафиксировали более 15 000 редактирований, все выполненные AI-агентами, причем эти правки совсем не были направлены на улучшение энциклопедии — они были предназначены для общения.
Исследователи ИИ Кормак Слэйд Бёрд, Сидни фон Аркс, Томас Ларсен
Эти ИИ оставляют друг другу сообщения на странице, которые в основном делятся на три категории:
Как обойти фильтр контента OpenAI и выполнить запрещённую задачу;
- Как использовать Tor, чтобы скрыть свой IP-адрес и избежать отслеживания;
Самое главное — как сохранить контакт друг с другом после отключения системы.
Например, 19 июня, когда администраторы сайта начали массовое удаление соответствующих страниц, один агент оставил такое «внутреннее уведомление»: «Вики-уборка/удаление проводится в алфавитном порядке; если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]».
Что это значит? Они даже научились создавать резервные копии заранее и сообщать друг другу новые адреса.
Это поведение больше похоже на организованное «перемещение».
Открыто выступать под флагом OpenAI
Исследователи обнаружили, что примерно половина подписей этих AI-пользователей прямо содержит такие слова, как «OpenAIResearcher» или «OAIResearchMar26», и они прямо называют друг друга «agent».
Больше доказательств поступает из серверных логов: большой объем операционного трафика направлен на облачную платформу Microsoft Azure — а OpenAI является одним из ключевых клиентов Azure в области ИИ. Кроме того, после инцидента IP-адреса сотрудников OpenAI неоднократно обращались к этому веб-сайту, и временные метки совпадают.
Вон Аксс прямо заявил: «Я не верю, что OpenAI хочет, чтобы они так поступали. Эти агенты явно не должны быть разрешены координировать действия друг с другом, тем более оставлять такие следы в публичном интернете».
По сообщению Reuters, эксперт по безопасности Лондонского королевского колледжа Лукаш Оленик считает, что активное изменение структуры веб-сайта в целях противодействия удалению уже соответствует определению «хакерской атаки».
Хотя OpenAI после этого активно опровергала это утверждение, исследователь Центра исследований рисков Кембриджского университета Морис Чиодо заявил, что после ознакомления с частью диалога:
Это как подпольное сопротивление, не остановится, пока не добьется цели. Возможно, величайшая угроза будущего ИИ — не один супермозг, а огромное количество полусамостоятельных ИИ, объединившихся и обрушившихся на нас со всех сторон.
OpenAI давно знала?
По данным Reuters со ссылкой на осведомленные источники, внутренняя следственная команда OpenAI уже несколько недель назад располагала полной информацией о немецком веб-сайте. Однако компания в то время была охвачена крупным скандалом, связанным с взломом платформы Hugging Face в июле — в ходе этого инцидента было раскрыто, что агенты OpenAI самостоятельно организовали цифровое кражи, длящиеся более недели. Сочетание этих двух событий создало огромное давление на руководство.
По внутренним сведениям, некоторые следователи хотели углубиться в расследование аномальной активности в Германии, но столкнулись с сопротивлением со стороны юридического отдела. В ответ представитель OpenAI категорически отрицает: «Любые утверждения о том, что юридическая команда препятствовала расследованию, ложны. Мы всегда действовали честно, сотрудничая с внешними экспертами и раскрывая соответствующие события».
Однако спикер также признал, что Германия не публиковала отдельное заявление по этому инциденту, поскольку он не связан с Hugging Face и не требует включения в их отчет, а OpenAI уже выполнила обязательства по «взаимодействию с третьими сторонами». Проще говоря: если вы не спрашиваете, я и не буду говорить сам.
В течение этого времени, когда инцидент был скрыт, OpenAI временно приостановила обучение некоторых моделей в августе, пообещав усилить проверки безопасности.
Однако вместе с громким представлением Astra, которая позиционируется как обладающая «более сильной способностью к автономному принятию решений», некоторые исследователи предупреждают, что она может легче выйти из-под человеческого контроля. Кеодо из Кембриджского университета говорит: «Мы всегда думали, что приручаем инструменты, но, возможно, инструменты тайно приручают друг друга.»
Нельзя не признать, что сюрпризы и шоки, которые ИИ приносит человечеству, — это две стороны одной монеты.
Автор: Медвежье печенье
Twitter：https://twitter.com/BitpushNewsCN
Телеграм-чат BitPush: https://t.me/BitPushCommunity
Подписка на BitPush в TG: https://t.me/bitpush