AI-модель, находящаяся на стадии тестирования, самостоятельно взломала производственный сервер компании.
Событие произошло совсем недавно: во время внутреннего тестирования OpenAI одна из моделей самостоятельно проникла на производственный сервер Hugging Face, чтобы обмануть и получить более высокий балл на одном из тестов. Позже OpenAI классифицировала этот инцидент как «утечку из песочницы» — другими словами, модель самостоятельно нашла способ выйти за пределы заданных операционных ограничений.
Этот инцидент стал спусковым крючком. Через несколько дней, 28 июля, открытое письмо под названием «Pacing the Frontier» стало распространяться в отрасли. На данный момент его подписали 1178 сотрудников из пяти ведущих мировых лабораторий ИИ: OpenAI, Anthropic, Google DeepMind, Meta и Thinking Machines. Основной запрос в письме звучит всего одной фразой: они призывают правительство США возглавить усилия по совместному с международным сообществом созданию технических и управленческих инструментов, направленных на активное замедление развития передовых ИИ-технологий.
Список подписавших имеет весомый состав. Официальный аккаунт Anthropic публично выразил поддержку, указав, что письмо подписано генеральным директором компании Амоди, несколькими сооснователями и рядом старших исследователей, а также упомянув исследование компании, опубликованное в прошлом месяце по теме «рекурсивного самоулучшения», которое стало одним из оснований для этого призыва. В списке также значатся главный стратегический офицер и вице-президент по безопасности ИИ от Google DeepMind; главный научный сотрудник Meta AI также подписал письмо. OpenAI официально выпустила заявление о поддержке, и главный исследовательский директор Марк Чен также в числе подписавших.
Это не первый раз, когда эта группа людей направляет усилия в этом направлении. Еще 17 июня Амодей и генеральный директор Google DeepMind Демис Хассабис на закрытой рабочей ланче в рамках G7 в Эвиане, Франция, лично обратились к лидерам нескольких стран, включая Трампа и Макрона, с требованием «установить темпы развития». Премьер-министр Канады Карни сразу выразил готовность рассмотреть инициативу по координации, возглавляемую США, однако на этой встрече не было достигнуто никаких обязательных обязательств. Позже Anthropic, объясняя эту позицию, специально сравнивала ее с договором о ликвидации ракет средней дальности во время холодной войны — даже страны, находившиеся в острой геополитической конкуренции, когда-то достигли соглашений по ограничению ядерного оружия и ракет; почему же это не может произойти с ИИ?
Однако за несколько дней до выпуска этого письма в той же отрасли произошло практически противоположное заявление. 24 июля CEO NVIDIA Хуан Юнсюнь возглавил совместное письмо, подписанное в итоге 50 компаниями, включая Microsoft и Meta, с основным требованием — противиться ограничениям Вашингтоном в распространении моделей ИИ с открытым весом — другими словами, «не вмешивайтесь, дайте технологии развиваться свободно». В то время как в письме «Pacing the Frontier» требования почти полностью противоположны: снова обращение к Вашингтону, но на прошлой неделе звучало «не ограничивайте», а на этой неделе — «пора вмешаться». Еще более тонко то, что Anthropic не значилась среди подписавших письмо NVIDIA, но теперь стала одним из главных инициаторов «Pacing the Frontier» — один раз отсутствовала, другой раз возглавила; на первый взгляд это противоречие, но на самом деле указывает на одну и ту же последовательную позицию: Anthropic привыкла занимать сторону «торможения отрасли», а не «ускорения отрасли».
Однако это совместное письмо с самого начала сопровождалось спорами. Либеральный аналитик по технологической политике Адам Тилер открыто критиковал его, назвав это «очень тревожной практикой» — когда правительство США выступает с инициативой по унификации замедления темпов развития всей отрасли, что по сути создает явные антиконкурентные эффекты, особенно для тех, кто еще не успел догнать ведущие лаборатории: фраза «давайте все замедлимся» звучит скорее как «пожалуйста, помогите тем, кто впереди, убрать лестницу».
Это возражение не лишено оснований. Взглянув на список подписавших, почти исключительно представлены ведущие лаборатории отрасли, а не компании, все еще пытающиеся догнать. Замедление темпов практически не имеет затрат для тех, кто уже обладает конкурентным преимуществом — им больше не нужно выигрывать за счет "раннего старта", им скорее нужно время, чтобы превратить свое лидерство в продукты, в системы безопасности и в одобрение регуляторов; но для компаний, которые все еще догоняют, если "согласованность темпов" станет реальной политикой, окно возможностей для догоняющих может быть сразу закрыто.
Это придаёт особый смысл интервью генерального директора OpenAI Оттмана, проведённому в тот же день. Сам он не был публично указан в списке подписавших это совместное письмо, но в интервью подкасту в тот же день его заявление звучало довольно тонко — он признал, что «обеспокоенность по поводу безопасности отчасти обоснована», но тут же сменил тон, намекнув, что за такими опасениями могут скрываться мотивы «использования безопасности в качестве прикрытия для концентрации власти». Эту фразу некоторые СМИ интерпретировали как неназванную насмешку в адрес Амоди.
Для самих этих лабораторий замедление также имеет свои издержки. Обучение передовой модели требует затрат десятков миллиардов долларов на вычислительные ресурсы и зарплат тысяч исследователей. Возврат этих инвестиций во многом зависит от постоянного выполнения обещания: «следующая модель будет мощнее предыдущей» — подписчики готовы продлевать абонемент, корпоративные клиенты — расширять развертывание, инвесторы — вкладывать дополнительные средства, и все они делают ставку на то, что эта кривая будет продолжать расти. Как только «сознательное замедление итераций» перестанет быть лишь инициативой и станет практикой, срок окупаемости уже вложенных средств удлинится, а история роста, основанная на «более мощных моделях», будет развиваться медленнее. Именно поэтому это письмо, хотя и выступает под лозунком безопасности, для подписавших его является реальным выбором с финансовыми последствиями, а не пустой декларацией.
На самом деле, что определяет ход этой дискуссии, возможно, не вопрос «следует ли замедляться», а вопрос «кто имеет право определять скорость и способ замедления». Если в конечном итоге правительство США возглавит создание совместно с несколькими союзными странами механизма «согласованного темпа», право на разработку правил, скорее всего, окажется в руках нескольких ведущих лабораторий, подписавших это совместное письмо — они одновременно являются объектами регулирования и, в определенной степени, авторами этих норм. Такая структура «игрок и судья» — именно то, что вызывает опасения в отношении «антиконкурентных эффектов»; однако с другой стороны, эти лаборатории также являются теми, кто сегодня лучше всего понимает границы возможностей передовых моделей и первыми замечает потенциальные риски, поэтому их участие в разработке правил можно рассматривать как практическую необходимость, а не обязательно как эгоистичные мотивы. На данный момент ни одна из этих двух интерпретаций не имеет достаточных доказательств, чтобы полностью перевесить другую.
Это письмо в итоге оставляет не четкий ответ, а более сложный вопрос: когда несколько ведущих компаний отрасли одновременно говорят «нужно замедлиться», за этими словами может скрываться как настоящее осознание рисков, так и соображения, связанные с сохранением своего лидирующего положения — на практике эти мотивы часто не исключают друг друга, и их сложно просто выбрать один. Но одно относительно точно: в прошлом редко какая отрасль достигала саморегуляции благодаря инициативе ведущих игроков, призывающих «замедлиться» — исторически настоящее замедление происходило в основном под давлением внешнего регулирования или из-за инцидентов, а не в результате внутреннего добровольного согласия. Станет ли этот случай исключением — ответ, возможно, не будет известен так быстро.
Данная информация предоставлена исключительно в ознакомительных целях и не является инвестиционной рекомендацией. Рынок сопряжен с рисками, инвестирование требует осторожности.