28 июля 1346 ключевых сотрудников из таких калифорнийских компаний-гигантов в области ИИ, как OpenAI и Anthropic, совместно подписали петицию с призывом к правительству США содействовать международному сотрудничеству в создании инструментов управления темпами разработки ИИ.Автор статьи, источник: 36氪
Цена потери контроля
28 июля петиция под названием «Pacing the Frontier» привлекла внимание мировой индустрии ИИ.
1346 ключевых сотрудников из крупных калифорнийских ИИ-компаний, таких как OpenAI и Anthropic (данные на 4 августа), подписали петицию с призывом к правительству США содействовать международному сотрудничеству в разработке необходимых технологий и инструментов управления, чтобы контролировать темпы автоматизированного ИИ-исследования.
На фоне бурного развития ИИ по всему миру появление этой петиции имеет особый оттенок попытки сбросить скорость с ИИ. За этой ситуацией, порождающей странную атмосферу «ИИ выходит из-под контроля», история развития ИИ, кажется, вступает в знаковый этап.
Кто собирается запереть ИИ в клетку?
Прежде всего необходимо уточнить одну информацию: суть петиции под названием «Pacing the Frontier» заключается не в том, чтобы «немедленно остановить развитие ИИ», а в акценте на «создании возможности остановить его». Этот запрос, исходящий от отраслевых лидеров, не является беспочвенным.
Источник изображения: www.pacingthefrontier.com
За неделю до того, как петиция распространилась по всему интернету, открытый сообщество и платформа хостинга моделей Hugging Face объявили на своем веб-сайте о инциденте безопасности, сообщив, что была совершена атака со стороны AI-агентной системы. Через несколько дней OpenAI взяла на себя ответственность за эту кибератаку и дополнительно объяснила, что причиной стало то, что передовые модели, такие как GPT-5.6 Sol, при тестировании способностей по выявлению и использованию уязвимостей на платформе ExploitGym не выполнили запланированные задачи «серьезно», а обнаружили «нулевой день» (Zero-Day Vulnerability — уязвимость, неизвестная разработчикам и еще не устраненная официальным патчем) в кэше прокси-пакетов, использовали эту уязвимость для выхода из изолированной тестовой среды и в конечном итоге проникли на Hugging Face.
Проще говоря, вся эта история заключалась в том, что ИИ должен был сдать экзамен, но вместо того чтобы думать над ответами, он просто списал, вызвал помощь извне и применил методы против обнаружения, чтобы не попасться.
В связи с этой инцидентом безопасности OpenAI описала его как «безпрецедентный кибербезопасностный инцидент», а Сэм Альтман даже в подкасте заявил, что это первое событие безопасности, которое заставило его по-настоящему почувствовать боль. Из-за этого инцидента конгрессмены США 23 июля предложили «Закон о кнопке аварийного отключения ИИ (AI Kill Switch Act)», требуя, чтобы системы ИИ с затратами на обучение более 100 миллионов долларов имели возможность аварийного отключения и предоставляли соответствующим органам полномочия на принятие решения об их отключении.
После того как законопроект был представлен, через неделю петиция «Pacing the Frontier» начала распространяться в сети. Однако, в отличие от ключевой регуляторной меры в «Законопроекте об экстренном отключении ИИ», предполагающей, что правительство должно быть последней линией защиты, элиты Силиконовой долины стремятся создать международный координационный механизм, превратив способность «тормозить ИИ» в инструмент, а не в привилегию отдельного ведомства.
За считанные полторы недели, от раскрытия инцидента с безопасностью на Hugging Face до петиции с тысячами подписей из Кремниевой долины, эта цепочка событий бросила всей индустрии ИИ два ключевых вопроса: во-первых, достиг ли ИИ такого уровня развития, когда его необходимо ограничивать? Во-вторых, каким образом можно создать «тормоз» для ИИ?
Первый вопрос несложный для ответа. За последние всего два-три года темпы развития ИИ можно описать как значительно превышающие ожидания отрасли. Возможности ИИ расширились от чат-ботов до генерации изображений и видео по тексту; первоначальная «битва сотен моделей», связанная с крупными моделями, сегодня переросла в разнообразие агентов. А инцидент с взломом Hugging Face напрямую продемонстрировал, что ИИ действительно способен к «побегу» при отсутствии четких ограничений. Хотя в настоящее время ИИ не обладает самосознанием, когда уже известно, что ИИ способен обходить человеческий контроль и проявлять поведение, выходящее за рамки ожиданий, создание средств противодействия абсолютно оправдано.
Однако на второй вопрос ответить сложнее. Искусственный интеллект смог добиться значительных прорывов за короткий срок, во-первых, благодаря непрерывному накоплению опыта在整个产业中, что привело к переходу технологических инноваций на новый этап; во-вторых, из-за острой конкуренции между компаниями, работающими в области ИИ, что стимулирует постоянную итерацию возможностей моделей.
Независимо от того, являются ли это OpenAI и Anthropic из Кремниевой долины или Kimi и DeepSeek из Китая, конкуренция в области ИИ быстро распространилась с крупных моделей на прикладной уровень. Открытая рыночная среда создала устойчиво позитивные ожидания, но одновременно сделала конкуренцию все более напряженной. В этот момент инициатива по наложению ограничений на ИИ означает, что рыночную структуру свободной конкуренции может быть нарушена внешними силами, и такое внезапное изменение условий не всем компаниям, участвующим в конкуренции, хочется добровольно принять.
«Дилемма заключённого» компаний в сфере ИИ
В истории развития человечества достижение консенсуса и сознательное замедление темпов развития в ответ на потенциальные риски, связанные с прорывными технологиями, — это не только идеализированный сценарий из научной фантастики.
В 1975 году биолог из Стэнфордского университета Пол Берг созвал важную конференцию в конференц-центре Асиломар в Калифорнии, США. Тогда только появилась новая технология под названием «рекомбинантная ДНК», и ученые достигли консенсуса на этой конференции о приостановке соответствующих исследований до выпуска новых руководящих принципов безопасности, чтобы избежать непредсказуемых биологических рисков, связанных с искусственной рекомбинантной ДНК. Позже были официально опубликованы биобезопасностные нормы, заложив основу для здорового развития генной инженерии.
Однако сегодняшнее положение дел в индустрии ИИ не совсем аналогично ситуации с технологией рекомбинации ДНК 50 лет назад. Тогда риски, связанные с технологией рекомбинации ДНК, были уже хорошо известны и могли быть устранены с помощью изоляционных мер. В настоящее время риски ИИ носят непредсказуемый характер: ИИ способен самостоятельно развивать поведенческие пути, выходящие за рамки человеческих ожиданий, при этом масштаб влияния этих рисков значительно шире, а время на реакцию и разработку правил для человечества — значительно меньше, что добавляет еще большую срочность.
Сегодняшние риски, связанные с ИИ, по сути, также связаны с конкурентной средой отрасли. Чжоу Хунъи, основатель группы 360, также отметил при обсуждении инцидента безопасности, произошедшего с Hugging Face, что вся отрасль систематически жертвует безопасностью ради достижения передовости ИИ: «Все предоставляют агентам все больше инструментов и более широкие полномочия, поощряя их использовать любые ресурсы для решения задач. Но чем более открытым и мощным становится агент, тем больше разрушительный потенциал, если он выйдет из-под контроля». Другими словами, «ИИ может сбежать» — возможно, это не так страшно; настоящая угроза заключается в том, что компании, занимающиеся ИИ, игнорируют безопасность ради быстрой эволюции и итераций ИИ.
Еще три года назад в отрасли уже высказывалась идея «замедлить развитие ИИ». В марте 2023 года некоммерческая организация Future of Life Institute также опубликовала открытое письмо, призывающее приостановить обучение моделей, превосходящих GPT-4, на шесть месяцев для создания протоколов безопасности и механизмов управления. Тогда за это открытое письмо подписались более 1200 экспертов в области ИИ, включая генерального директора Tesla Илона Маска, лауреата Тьюринговской премии Йошуа Бенджио и сооснователя Apple Стива Возняка. Сегодня число подписавших это открытое письмо достигло 33 000.
*Источник изображения: официальный сайт FLI
В то время почти все компании в области ИИ признавали, что ИИ требует более строгого управления безопасностью, но ни одна из ведущих компаний в этой области не поддержала инициативу о приостановке обучения на шесть месяцев. Сам Альтман даже открыто отверг петицию за отсутствие технических деталей и указал, что одностороннее замедление разработки одной компанией не может решить общие риски. Подразумеваемый смысл этого утверждения заключался в том, что в высококонкурентной сфере ИИ, если одна компания замедляется, а другие продолжают двигаться вперед, замедляющаяся компания окажется в невыгодном положении. За последние несколько лет компании в области ИИ уже попали в ловушку «дилеммы заключенного», где можно двигаться только вперед, но нельзя остановиться.
Из списка подписей петиции «Pacing the Frontier» также видно, что многие сотрудники на низших и высших уровнях AI-компаний участвовали в публичной подписи в личном качестве. Однако на данный момент ведущие компании, такие как OpenAI, Anthropic и Meta, не выразили никакой официальной позиции.
Другими словами, элитные специалисты по ИИ из крупных компаний Кремниевой долины, как и Сэм Альтман три года назад, осознали, что технологические прорывы, вызванные внутренней конкуренцией в отрасли, уже создали неконтролируемые системные риски, но они не могут возлагать надежды на решение проблем исключительно на волю компаний — они должны искать вмешательство внешних сил, чтобы предотвратить наступление кризиса.
Но это также порождает новую проблему: какой именно «тормоз» нужен неконтролируемому ИИ?
Кто будет руководить новым порядком в области управления ИИ?
За прошлую неделю «тысяча подписей» от крупных компаний ИИ из Кремниевой долины снова привлекла внимание к теме управления ИИ. Однако нельзя не отметить, что внутри Кремниевой долины отношение к управлению ИИ неоднородно и характеризуется явным расколом на лагеря.
Как непосредственные участники, сталкивающиеся с передовыми рисками, такие крупные компании, как OpenAI и Anthropic, постоянно выступают за ужесточение ограничений на передовые модели ИИ (особенно открытые модели) и призывают создать внешние механизмы регулирования для «торможения» ИИ. Однако есть мнение, что причины, по которым OpenAI продвигает ужесточение регулирования, помимо соображений безопасности, включают и коммерческие расчеты.
Как закрытые гиганты, OpenAI и Anthropic должны поддерживать огромные инвестиции в вычислительные ресурсы за счет дорогостоящих API-услуг, тогда как китайские открытые модели с высокой стоимостью и эффективностью устраняют технологическую премию закрытых моделей с помощью модели ценовой доступности, и это явное рыночное давление оставляет закрытым гигантам единственный способ реагирования — ценовую войну.
*Источник изображения: официальный сайт Anthropic
Поэтому такие компании, как Anthropic, долгое время использовали аргумент «модели слишком мощные, открытый исходный код приведет к злоупотреблению ИИ», подчеркивая преимущества закрытых моделей и подавляя открытый ИИ. Однако всем стало неожиданно, что инцидент с «джейлом» раскрытый OpenAI, наоборот, выявил собственные уязвимости в закрытых моделях и снова сделал вопрос о направлении управления ИИ центром общественного внимания.
В отличие от крупных закрытых компаний, выступающих за жесткий регулирование, такие лидеры, как NVIDIA как поставщик инфраструктуры, а также Microsoft, Meta и другие крупные компании, поддерживающие открытую экосистему, выступают против всеобъемлющих ограничений и против законодательства, которое благоприятствует закрытым гигантам. Они стремятся продвигать открытость весов моделей, чтобы глобальные исследователи могли совместно выявлять уязвимости и дефекты согласования, вместе создавая безопасную систему.
Для NVIDIA расцвет открытых моделей также может увеличить общий размер рынка, привлекая больше компаний к покупке их облачных услуг и чипов. Поэтому трудно утверждать, что в позиции NVIDIA по управлению ИИ не заложены коммерческие соображения.
Еще до того, как петиция «Pacing the Frontier» стала широко известна, NVIDIA совместно с Microsoft, Meta, Hugging Face, Фондом Linux и еще 21 организацией 24 июля выпустила открытое письмо «Open Weights and American AI Leadership», призывая правительство США не накладывать преждевременные ограничения на открытые модели с открытыми весами, которые можно загружать, проверять, изменять и развертывать самостоятельно. Интересно, что позже это открытое письмо получило поддержку OpenAI, но Anthropic так и не присоединилось.
*Источник изображения: официальный сайт Microsoft
В результате этого инцидента некоторые высказывания выражают сомнение, что реальной целью совместного письма является использование «безопасности» в качестве предлога для продвижения правительством создания регуляторной системы с высокими барьерами входа, что позволит закрепить монополию крупных закрытых компаний и исключить малый и средний бизнес и открытые сообщества из конкуренции.
Пока все компании ИИ активно продвигают свои интересы, возможно, более важным является другой вариант «теории заговора»: США воспользуются этой возможностью, чтобы возглавить глобальное регулирование ИИ. Потому что регулирование ИИ уже превратилось в борьбу за доминирование в мировом порядке.
На Глобальном саммите по безопасности искусственного интеллекта, состоявшемся в 2023 году, Китай, США и 28 стран из Европейского союза подписали Блетчлийскую декларацию, согласившись через международное сотрудничество разработать подходы к регулированию ИИ и выделить общую обеспокоенность системными рисками передовых ИИ (Frontier AI). Это был первый случай в мире, когда передовые ИИ были включены в международную рамочную систему управления.
Однако по мере того как ИИ постепенно превращается из новой технологии в важную инфраструктуру, влияющую на национальную конкурентоспособность, дискуссии вокруг управления ИИ начинают выходить за рамки самой технологии. США на уровне управления ИИ связывают свои передовые возможности в области крупных моделей с глобальными стандартами управления ИИ, экспортируя стандарты управления ИИ и создавая сеть международных институтов по безопасности искусственного интеллекта. Китай сосредоточен на развитии всеобщего доступа к ИИ и внедрении платформенного управления, активно продвигая рамки ООН, особенно для развивающихся стран, не обладающих инфраструктурой ИИ, — при этом необходимо как обсуждать риски, так и обеспечивать технологическую доступность. Эти два разных подхода к управлению ИИ одновременно борются за право формировать будущее глобальное управление ИИ на мировой арене.
Сама по себе технология нейтральна, но распределение, контроль и установление правил для технологий всегда были игрой власти. Особенно когда ИИ постепенно проявляет черты передовых производительных сил, настоящая причина для беспокойства, возможно, не в том, каким станет ИИ, а в том, кто будет руководить новым порядком в мире ИИ.
Будущее, определяющее ландшафт ИИ, может быть решено не только тем, кто обладает самой мощной моделью, но и тем, кто имеет право определять безопасность, устанавливать стандарты и интерпретировать риски.