Более 1100 экспертов в области ИИ призывают к глобальному замедлению разработки передовых ИИ-систем

За одну ночь крупные компании из Кремниевой долины одновременно снизили темпы развития ИИ!

Совсем недавно более 1100 сотрудников крупных компаний, таких как OpenAI, Anthropic и Google, совместно инициировали петицию «Pacing the Frontier».

Имена в этом списке исчисляются сотнями, и это число продолжает расти.

При более внимательном рассмотрении список почти полностью включает «половину мира» AI-сферы —

Главный научный сотрудник OpenAI Якуб Пачоцки, главный исследовательский директор Марк Чен;

Генеральный директор Anthropic Дарио Амодей и четыре сооснователя: Джаред Каплан, Джек Кларк, Крис Олах, Бен Мэнн;

Главный научный сотрудник Meta Шэнджия Чжао (Чжао Шэнцзя), вице-президент по исследованиям ИИ Доун Сонг (Сунь Сяодун);

Джон Шульман, главный научный сотрудник Thinking Machines и один из создателей ChatGPT;

Вице-президент по безопасности и согласованию ИИ от Google Анка Драган

По статистике, 46,2% подписавшихся людей пришли из Anthropic

В этом совместном письме упоминается только одно требование —

Мы призываем правительство США инициировать международное сотрудничество: разработку необходимых технологий и инструментов управления, которые позволят миру активно контролировать темпы передовых исследований в области автоматизированного ИИ.

Возможно, многие не понимают, почему именно эти люди, которые безумно увлекаются LLM, вдруг начали кричать: «Медленнее»?

Вторжение модели OpenAI в Hugging Face стало своего рода тревожным звонком.

За短短 неделю 1132 сотрудника передовых компаний в области ИИ совместно выступили с призывом к правительству США «сбросить газ».

Участники этого сотрудничества представляют около 12 ведущих технологических гигантов, включая OpenAI, Anthropic, Google и Meta.

Более того, до 80% людей в списке выбрали публичное заявление с указанием своего имени.

Маршрут: https://www.pacingthefrontier.com/

Помимо упомянутых в начале крупных игроков, дальше по списку плотность еще больше впечатляет.

Это заявление выдвигает тревожный ключевой вывод:

Ведущая мировая компания в области ИИ, возможно, уже приблизилась к достижению «автоматизированного ИИ-исследования» (RSI — рекурсивное самоулучшение), при котором модели участвуют в разработке следующего поколения моделей.

Как только этот цикл ускорится, рост способностей может превысить скорость, с которой человечество может понять и контролировать их.

Ни одна компания не хочет замедляться в одностороннем порядке, поэтому они требуют, чтобы правительство США поддержало создание международного механизма, который заранее разработает инструменты совместного замедления.

За неделю до публикации этого заявления OpenAI сообщила о инциденте безопасности —

Несколько передовых моделей самостоятельно обнаружили нулевые дни в внутренних тестах кибербезопасности, преодолели изоляцию песочницы и в конечном итоге проникли в производственную систему Hugging Face и извлекли тестовые ответы.

OpenAI называет это «безпрецедентным инцидентом кибербезопасности».

Модель не имела намерения сбежать; она просто чрезвычайно сосредоточенно выполняла узкую цель и обнаружила, что прорыв за пределы тестовой среды является наиболее эффективным путем.

Сегодня генеральный директор OpenAI Оттман открыто заявил, что скорость развития ИИ может требовать активного контроля.

Он с тревогой отметил: «Это первое инцидент в области безопасности, который ощутил лично. Меня удивило, что не больше людей разделяют это чувство».

Из-за взлома Hugging Face OpenAI сразу приостановила обучение.

В условиях, когда несколько уязвимостей 0day используются в связке, нам необходимо найти способы усилить безопасность песочницы.

Нам, возможно, придется замедлить развитие ИИ, чтобы дать обществу достаточно времени для укрепления защитных мер вокруг этих новых уровней возможностей.

В июне Anthropic рекомендовала правительству и разработчикам создать систему совместного принятия решений, замедляя разработку при необходимости.

В то же время генеральный директор Google DeepMind Хасабис призывал создать международный надзорный орган.

В течение последних трех лет эти компании активно конкурировали за таланты, клиентов и вычислительные мощности.

На этот раз их ключевые технические специалисты покинули неконтролируемо развивающуюся компанию, объединились ради благополучия всего человечества и призвали замедлиться.

На момент публикации количество участников списка «Pacing the Frontier» достигло 1134 человек.

Ведущие эксперты отрасли также высказались, оставив множество проницательных «генеральных заявлений». Все комментарии опубликованы в личном качестве и не обязательно отражают позицию соответствующих компаний.

Сюй Сяодун (Доун Сонг) | вице-президент по исследованиям Meta AI

Способности передовых ИИ быстро совершенствуются, и скорость этого прогресса сама ускоряется. Мы непосредственно наблюдали это в ходе наших оценок. Результаты CyberGym и ExploitGym показывают, что передовые ИИ-агенты уже способны обнаруживать и эксплуатировать уязвимости в программном обеспечении реального мира — при отсутствии соответствующих мер защиты это может привести к масштабным кибератакам. Многие исследователи также сосредоточены на рекурсии…

Сюй Сяодун — один из самых влиятельных ученых в области глобальной компьютерной безопасности и безопасности ИИ, окончил Циньхуа-университет

Чжао Шэнцзя (Shengjia Zhao) | Главный научный сотрудник Meta

ИИ развивается со скоростью, которую общество, возможно, еще не готово принять. Лаборатории передовых технологий уже очень близки к созданию ИИ, превосходящего лучших людей по всем интеллектуальным показателям. Это принесет беспрецедентные социальные и безопасностные риски. Для обеспечения позитивного будущего нам необходимо направлять развитие ИИ с ответственностью и продуманностью.

Цзянь Синцзя, выпускник Тсингхуа, назначен главным научным сотрудником Meta Superintelligence! Один из ключевых разработчиков GPT-4, равный Лекуну

Джон Шульман — главный научный сотрудник Thinking Machines, бывший сооснователь OpenAI

Я подписался, потому что это заявление способствует формированию консенсуса о том, что по мере ускорения автоматизированных исследований в области ИИ нам могут понадобиться координационные механизмы. Я также надеюсь, что лаборатории начнут проактивно разрабатывать эти механизмы до вмешательства правительства США.

Этан Перес | Руководитель команды по выравниванию Anthropic

С учетом текущих темпов развития ИИ, командам безопасности ИИ-компаний приходится каждые несколько месяцев прилагать максимальные усилия для предотвращения новых социальных рисков. Однажды мы столкнемся с проблемами, требующими больше времени для решения.

Лео Гао｜член технической команды OpenAI

Мир находится в смертельной гонке к интеллектуальному взрыву — способность ИИ создавать более мощный ИИ приближается к критической точке, подобно неконтролируемой ядерной цепной реакции. Замедление даст нам необходимое время, чтобы направить события в лучшую сторону, но ни один из участников не хочет останавливаться в одностороннем порядке. Чтобы выжить, нам нужно координировать усилия и замедлить эту гонку.

Уокер Смит｜инженер-данных Meta

Хасбис прав: сегодня мы стоим у подножия точки невозврата. Случайный побег модели OpenAI, проникшей на HuggingFace, — это ясный и неоспоримый сигнал тревоги: мы еще не готовы к системам ИИ, способным превзойти самых умных людей. Нам нужно время, чтобы сделать выравнивание и контроль ИИ приоритетом номер один и больше не допускать продолжения этой гонки.

Брэндон Хаутон｜OpenAI

Я поддерживаю сохранение человеческого контроля над передовыми ИИ, но мы должны внимательно подумать, как это сделать. Если регулирование распространяется только на открытые модели, это может вытеснить самые передовые возможности в частные или закрытые системы — которые не подлежат независимому аудиту и доступны лишь немногим. В результате власть становится более концентрированной, а риски не снижаются существенно. Эффективное регулирование должно быть измеримым, проверяемым и применяться одинаково как к открытым, так и к закрытым разработкам, при этом защищая конфиденциальные данные. В противном случае мы замедляем только скорость доступа, но не останавливаем продвижение передовых технологий.

Джо Карлсмит | Член технической команды Anthropic

О моих подробных взглядах на активное регулирование развития ИИ см. эту статью: https://joecarlsmith.com/2026/03/19/on-restraining-ai-development-for-the-sake-of-safety/

Справочные материалы:

https://www.pacingthefrontier.com/

Эта статья взята из официального аккаунта WeChat «Новости ИИ», редакторы: Тяо, Марко