Генеральный директор Anthropic предлагает рамки политики в области ИИ на фоне быстрого технологического роста

Недавно генеральный директор ведущей компании в области ИИ Anthropic Дарио Амодей опубликовал подробную статью объемом более десяти тысяч слов, вызвавшую вирусное распространение в интернете: «Политика в эпоху искусственного интеллекта». В статье подробно рассматриваются пять политических областей, а также приводятся системные рекомендации от регулирования до геополитики.

（Оригинальная ссылка:https://darioamodei.com/post/policy-on-the-ai-exponential , полный текст на китайском языке приведен ниже.）

Надо признать, что в мире Силиконовой долины, где все только и говорят о «изменении мира» и умеют только рисовать большие планы, Дарио — редкий исключение.

Он чрезвычайно откровенно, даже несколько «жертвует родственниками ради справедливости», снял маску с самонадеянного лицемерия технологической индустрии.

Инсайдеры часто приписывают общественную обеспокоенность по поводу ИИ «плохой PR-стратегии», но Дарио безапелляционно опровергает это: люди обеспокоены, потому что риски реальны, и это совсем не вопрос PR.

Он также прямо признал правду, которую крупные технологические компании стремятся избегать: ИИ с высокой вероятностью вызовет серьезный и длительный волна безработицы, заставив экономику застрять в крайнем состоянии «суперроста и супернеравенства».

Но если мы продолжим логику, предложенную этим «сигнальщиком» из отраслевой передовой, мы столкнемся с глубоко заставляющим задуматься структурным парадоксом:

Этот ответственный руководитель, призывая навязать отрасли ограничения, объективно стремится к беспрецедентной смене власти. Элиты Силиконовой долины переписывают законы человеческого общества.

面对以闪电般速度进化的 AI，Dario急了，建议政府赶紧像管飞机、管药物一样，把 AI 管起来。

Например, создать механизм, подобный Федеральному управлению гражданской авиации (FAA), требующий, чтобы передовые модели, соответствующие определенному уровню вычислительной мощности, проходили обязательное стороннее тестирование на безопасность, иначе их запуск не разрешается.

The starting point is undoubtedly for human safety.

Но с точки зрения объективных законов коммерческой эволюции, авиационная отрасль является высоко концентрированной олигополией именно из-за чрезвычайно высоких затрат на соблюдение нормативных требований.

Как только индустрия ИИ действительно «официально регулируется», высокие расходы на проверку, регулярные тесты красной команды и тесты на проникновение превратятся в непреодолимую «стену вздохов».

Регулирование иногда является защитным барьером для лидеров. Стартапы и открытые сообщества просто не могут себе этого позволить.

В итоге: гиганты, движимые «великой любовью» к безопасности всего человечества, объективно использовали государственную власть для законного устранения конкурентов и закрепили свою олигархическую позицию в законе.

Такая тонкая логика существует и в фармацевтической и геополитической сферах.

Дарио призывает традиционные органы, такие как FDA, ослабить контроль над одобрением ИИ-разработки лекарств и принять ИИ-симуляции вместо длительных клинических испытаний. Намерения благие, но это, несомненно, снимает препятствия для крупнейших ИИ-гигантов, обладающих наибольшими вычислительными мощностями, чтобы осуществить снижение конкуренции в триллионной фармацевтической отрасли.

В то же время он предложил создать «Альянс ИИ демократических стран», который будет совместно использовать чипы внутри себя и строго защищать себя от внешних угроз.

Если этот альянс будет создан, кто предоставит технологии? Кто будет исключен? Кто будет врагом? Кто получит выгоду в этом процессе?

Чтобы сохранить технологическое превосходство, технологические гиганты становятся не только поставщиками технологий, но и логичными авторами новых правил игры в эпоху, а также могут превратиться в новый «цифровой военно-промышленный комплекс», получающий огромные оборонные бюджеты.

Если мы проследим за следами, оставленными в истории, всё это было предсказано заранее.

В истории, когда компания становилась достаточно крупной, она часто «захватывала государство или принимала черты полунегосударственного образования». Дарии сам в тексте приводит очень точную аналогию: Британская Ост-Индская компания.

Индийская компания изначально была группой торговцев специями, но для защиты торговых путей и управления обширными транснациональными интересами они постепенно начали набирать армию, создавать суды и выпускать деньги, в конечном итоге став «квазигосударством», правившим субконтинентом.

Сегодняшние гиганты Кремниевой долины идут точно таким же путем.

Тогда средством воздействия были боевые корабли и пушки, сегодня — вычислительная мощность.

Дарио предсказал удивительное будущее: если ИИ будет продолжать экспоненциальное развитие, он превратится в «страну гениев в центре обработки данных»: ИИ будет представлять собой совокупность гениев во всех областях, и обладание мощным ИИ — это как иметь столько же гениев, служащих вам, сколько в целой стране. Поэтому, когда армия с мощным ИИ сталкивается с армией без ИИ, разница такая же, как у «морской пехоты Второй мировой войны против средневековых мечников».

Когда технологические гиганты владеют супертехнологиями, способными вызвать финансовый крах, создать биологическое оружие или даже определить глобальную геополитическую ситуацию, традиционные государственные институты начинают терять способность эффективно их контролировать.

Крупные игроки уже пытаются самостоятельно установить стандарты безопасности, тестировать модели и даже разрабатывать международные альянсы.

Это не потому, что они — группа злых авантюристов, а потому, что после того, как технологии достигли такого масштаба, вакуум власти и сложность человеческой природы вынудили их естественным образом пойти по похожему пути.

В эпоху, где вычислительная мощность решает всё, сила отдельного человека кажется бесконечно сжатой.

Дарио безжалостно разоблачил правду: ИИ заменяет не только физический труд, но и саму когнитивную способность, которой человечество так гордится.

Когда наша трудно добываемая в профессиональной среде логика и стратегическое планирование кажутся детской игрой перед лицом ИИ — «страны, собравшей всех гениев», как нам себя вести?

Рецепт, предлагаемый крупнейшими игроками: макроэкономическая поддержка, такая как универсальный базовый доход (UBI) — государство платит вам деньги, даже если вы не работаете.

Но хлеб с маслом сохранен — кто заполнит ту большую дыру в сердце?

Возможно, как и в метафоре Дарио, приведенной в тексте: даже если машины давно превзошли людей в шахматах и го, люди всё равно посвятят свою жизнь шахматной доске и будут пользоваться уважением.

Потому что машина вычисляет холодное «оптимальное решение», а человек стремится к живому «самому опыту».

Те качества, которые нельзя стандартизировать, станут самым дефицитным ресурсом в будущем.

В побочном сюжете «Властелина Колец» два хоббита пытаются разбудить Тримбара — мудрого, но медлительного осознающего существо-дерево — чтобы защитить его лес от армии, вырубающей лес. Проблема в том, что темп действий Тримбара совершенно отличается от темпа хоббитов. Ему требуется целый день, чтобы просто поздороваться с другим деревом, поэтому заставить его и его сородичей действовать достаточно быстро практически невозможно.

Пересечение искусственного интеллекта (ИИ) с нашей политической системой напоминает хоббитов и дерево-хранителя. ИИ развивается с молниеносной скоростью (сленг/идиома, означающая чрезвычайно высокую скорость) — всего за четыре года модели ИИ прошли путь от практически неспособности написать даже одну связную строку кода до того, что теперь они пишут большую часть кода в крупнейших компаниях ИИ. Аналогичный прогресс достигнут в биологии, физике, математике, финансах, праве, переводе и многих других областях. Законы масштабирования ИИ, предсказывающие, что общие когнитивные способности будут расти экспоненциально по мере увеличения вычислительных мощностей, сегодня имеют более чем десятилетнюю эмпирическую основу. Если эти законы масштабирования продолжат действовать еще лишь один-два года, мы, скорее всего, получим то, что я называю «мощным ИИ (Powerful AI)» или «страной гениев в центре обработки данных».

Напротив, политика — особенно законодательство — продвигается крайне медленно. Обычно этому есть веские причины: правительство обладает чрезвычайно значительной властью, и обычно лучше не использовать эту власть поспешно. Но такое несоответствие во временных масштабах все равно крайне болезненно: за те годы, которые могут понадобиться конгрессу для принятия решения, ИИ может превратиться из интересной игрушки в по-настоящему страну гениев.

За последние несколько лет, с тех пор как ИИ стал важной бизнес-технологией, мы, кто стремится обращаться с ним ответственно, столкнулись с дилеммой. Мы ясно видим тенденцию этого экспоненциального роста: мы сильно подозреваем, что через несколько лет ИИ станет одной из редких технологий, которые фундаментально переформируют всю политическую парадигму, подобно тому, как ядерное оружие изменило геополитику, а промышленная революция коренным образом преобразила все экономические и социальные вопросы. Однако для тех, кто сосредоточен только на том, что ИИ может делать сейчас, он выглядит как вполне обычная технология — возможно, подобная последнему потребительскому приложению или криптовалюте. Трудно убедить большинство политиков и компаний, что помимо подхода «laissez faire» есть что-то значимое. Справедливости ради, на самом деле радикальные последствия ИИ еще не проявились, и мы точно не знаем, в какой форме они могут возникнуть, что делает даже при наличии желания действовать крайне трудным разработку правильной политики.

Учитывая ограничения, наложенные этой ситуацией, многие защитники безопасности (включая Anthropic) до сих пор сосредоточивались на продвижении политических мер, которые сохраняют выбор, готовят почву для быстрой реакции в будущем (сленг/идиома, означающая подготовить, заложить основу) или позволяют миру лучше понять, что вот-вот произойдет (сленг/идиома, означающая то, что вот-вот произойдет или появится) — таких как законы о прозрачности, экспортный контроль над чипами и сбор данных о влиянии ИИ на рынок труда. Этого недостаточно, но кажется, что это все, что можно сделать сейчас.

Однако в последние месяцы доказательства невероятной силы ИИ и связанных с ним рисков стали неоспоримыми. Возможно, наиболее ярким примером является Claude Mythos Preview, а также обнаружение того, что передовые модели представляют реальную угрозу кибербезопасности, создавая возможность для разрушения финансового сектора, критической инфраструктуры и национальной безопасности. Mythos Preview полностью нарушил (scrambled, сленг/переносное значение: вызвать хаос, дезориентировать) глобальную кибербезопасность. Но его более широкое значение заключается в том, что он неоспоримо доказал, что модели ИИ теперь стали инструментами, имеющими глобальное и стратегическое значение. Киберриски, связанные с моделями уровня Mythos, не будут последними, с которыми нам придется столкнуться. Я полагаю, что биологические риски вскоре последуют за ними, а за ними — серьезные риски, связанные с автономностью ИИ (примечание 1).

Сейчас нам всем, по всему миру, необходимо запустить медленный и неустойчивый институциональный механизм для реагирования на риски и возможности, которые будут расти экспоненциально с невероятной скоростью. Многие политики проявляют все более открытую готовность действовать, и вдохновляет видеть, что наши коллеги также приходят к той же позиции, которую мы отстаивали последние несколько лет (идиома, означающая изменить мнение в пользу чего-либо). Это хорошо, но я опасаюсь, что эти ранние действия отстают от быстрого прогресса в области ИИ как минимум на год. Эта статья стремится сократить этот разрыв: прояснить, где мы сейчас находимся в контексте экспоненциального роста, и определить коллективные действия, необходимые для того, чтобы встретить вызов настоящего момента (идиома, означающая справиться с текущим ключевым моментом/вызовом).

Я сосредоточусь на пяти постоянных политических областях, которые необходимо переосмыслить в мире ИИ: регулирование и общественная безопасность, макроэкономическая и налоговая политика, научные инновации, баланс власти между государством и обществом, а также геополитика. Я буду говорить в основном с точки зрения американской политики, поскольку Anthropic — американская компания, но большинство предложенных мной рекомендаций также актуальны для других регионов мира.

Вместе с этой статьей Anthropic выпустит законодательное предложение по тестированию передовых моделей и политическую рамку по вопросам потери рабочих мест, для которых мы планируем предоставить значительную финансовую поддержку. Мы планируем сделать еще больше в будущем, но рассматриваем эти шаги как первые свидетельства нашей серьезности.

1. Регулирование и общественная безопасность

Каждая новая технология или продукт имеет как полезные, так и вредные применения, что создает дилемму между инновациями и безопасностью. Регулирование продуктов снижает вероятность причинения ими вреда и играет важную роль в улучшении жизни людей по всему миру, но оно также может напрямую уменьшить их преимущества и косвенно подавлять инновации. Существует также гайековская точка зрения, согласно которой регуляторы обычно не обладают информацией, необходимой для принятия правильных решений относительно сложных экономических компромиссов, поэтому регулирование часто оказывается неэффективным и громоздким. Связанная концепция — дилемма Коллинриджа, которая утверждает, что последствия технологии обычно трудно предсказать, пока не станет слишком поздно, чтобы легко управлять ими.

В 2023–2024 годах эти динамики особенно выделялись в области ИИ (идиома, означающая выделяться, привлекать внимание или казаться устрашающими). Для Anthropic очевидно, что ИИ в будущем может обладать способностью создавать биологическое оружие, угрожающее миллионам людей, или его неправильное автономное поведение в крайних случаях может угрожать самому человечеству. Менее ясно, в какой именно форме проявятся риски, как лучше всего тестировать и смягчать их, а также как они будут развиваться на практике (идиома, означающая развиваться, давать результат). Поэтому заранее подготовленное законодательство несет высокий риск оказаться неэффективным — создавая бессмысленные или низкозначимые требования по соблюдению, в то время как упускаются самые ключевые источники реальных рисков (примечание 2).

В конечном счете, мы пришли к выводу, что правильным подходом в то время была прозрачность. Разработчики ИИ-моделей должны обязательно раскрывать свои процедуры безопасности и тесты, проводимые на моделях, а также сообщать о любых критических инцидентах безопасности, чтобы общественность и научное сообщество могли лучше понимать риски по мере их возникновения. Когда и если риски станут более очевидными и их форма более ясной, доказательства, полученные благодаря прозрачности, можно будет использовать для разработки продуманного законодательства, направленного на устранение наиболее тревожных рисков. Таким образом, в 2025 году Anthropic поддержала законодательство о прозрачности, способствуя принятию SB 53 в Калифорнии, RAISE в Нью-Йорке, SB 315 в Иллинойсе (принятого в начале 2026 года), а также выступая за разработку стандартов прозрачности на федеральном уровне.

Однако сегодня риски уже очевидны. Пришло время выйти за рамки прозрачности и ввести более серьезное и обязывающее регулирование ИИ. Я считаю, что на нынешнем этапе экспоненциального роста лучшей аналогией являются автомобиль, самолет или лекарство — это мощные технологии, незаменимые для современной экономики, но способные привести к массовой гибели людей при неправильном проектировании или эксплуатации. Поэтому я считаю, что我们应该 создать рамки регулирования ИИ на основе таких органов, как Федеральное управление гражданской авиации (FAA). Передовые модели ИИ, как и самолеты, должны проходить технические испытания и аудит, и если они не соответствуют высоким стандартам безопасности, их выпуск должен быть заблокирован или отозван как угроза общественной безопасности. Я благодарен за то, что административный указ правительства Трампа постепенно движется в направлении усиления роли правительства в области ИИ, хотя предложение Anthropic предлагает пойти еще дальше. Наше предложение включает следующие элементы:

• Модели, превышающие определенный порог вычислительной мощности, должны проходить обязательное тестирование квалифицированными третьими сторонами для оценки уровня риска в четырех конкретных областях: кибербезопасность, биологическое оружие, потеря контроля над ИИ-системами и возможное ускорение автоматизированной разработки этих других рисков.
• Если по оценке третьей стороны модель считается содержащей неприемлемый риск, правительство должно иметь право блокировать или сдерживать её развертывание. Эта власть должна быть ограничена вышеуказанными четырьмя конкретными рисками и должна включать меры защиты от политической предвзятости или произвольных решений.
• Третьесторонняя оценка может проводиться государственными органами (аналогично FAA) или группой частных организаций, уполномоченных и проверенных правительством, для оценки моделей по определенным стандартам (подход «регулируемого рынка»).
• Компании по разработке передовых ИИ-моделей должны иметь надежные стандарты безопасности для защиты своих весов моделей, проводить регулярные красные команды (red teaming) и тестирование на проникновение, а также сотрудничать с правительством для защиты от основных угрожающих действий.
• Безотлагательно сообщайте о инцидентах безопасности в этих четырех ключевых областях.

Возможно, наступит день — и, возможно, очень скоро — когда самые мощные ИИ-системы будут выглядеть не так, как самолеты или автомобили, а скорее как ядерные материалы, пригодные для вооружения — это будет угроза для человечества, а не просто «просто» угроза для общественной безопасности, и тогда нам нужно будет выйти за рамки этого. Если это произойдет, нам, возможно, потребуются более радикальные регуляторные меры, чем те, что я перечислил выше (примечание 3). Однако, как и в 2024 году сложно было бы сразу применить меры, которые я предлагаю сейчас, я считаю, что мы не должны действовать преждевременно (идиома, означающая действовать слишком рано, опережая события). Мы должны разрабатывать политику для опасностей, которые появляются сегодня, одновременно закладывая основу для более быстрого усиления наших мер реагирования по мере появления новых угроз.

2. Макроэкономика и налоговая политика

В течение длительного времени правительства различных стран сталкивались с проблемой поощрения экономического роста при одновременном обеспечении важных общественных услуг и заботы о наиболее уязвимых группах населения. Одним из важных (и в целом верных) предположений этих дебатов является то, что экономический рост является хрупким и труднодостижимым — хотя снижение неравенства может принести значительные преимущества, оно должно сбалансироваться с экономическим сопротивлением, вызванным повышением налогов или дефицитом.

Я подозреваю, что мощные ИИ могут нарушить это предположение. Если ИИ приобретет значительно лучшие, чем у людей, способности к выполнению большинства когнитивных задач, логично предположить, что он может обеспечить чрезвычайно быстрый и сильный экономический рост за счет ускорения научных открытий, технологий и операционной эффективности. Итеративная способность ИИ создавать более совершенные версии самого себя может еще больше усилить этот рост. Однако по тем же причинам ИИ также может выступать в качестве более универсального экономического заменителя человеческих когнитивных способностей, чем предыдущие технологии, и при этом быстрее изменять экономику. Следовательно, есть основания полагать, что по сравнению с предыдущими технологиями ИИ может вызвать гораздо более значительные и потенциально более долгосрочные потрясения на рынке труда. Риск заключается в том, что мы в конечном итоге окажемся в мире, где шкала экономических компромиссов застрянет на настройке суперроста и супернеравенства, и будет крайне сложно выйти из этой настройки. В таком мире ключевой вызов будет заключаться не в стимулировании роста, а в поиске способов, чтобы каждый мог получить выгоду.

В рамках тем, обсуждаемых в этой статье, макроэкономика и устойчивая замена рабочей силы, пожалуй, привлекли наибольшее внимание общественности и вызвали наибольшее количество заблуждений, поэтому я хочу четко пояснить два момента.

Во-первых, устойчивая потеря рабочих мест нежелательна и опасна, и мы должны приложить все усилия, чтобы минимизировать или предотвратить ее, а не способствовать ей. Я предупреждал о потере рабочих мест в интервью и статьях, потому что хотел дать policymaker’ам и частному сектору наилучшие возможности для адаптации и реагирования, а не потому что стремился стать «пророком апокалипсиса». Как компания, Anthropic всегда делает все возможное, чтобы сотрудничать с клиентами, находить креативные новые применения и новые источники дохода, позволяющие им делать больше с существующей рабочей силой, а не сосредотачиваться исключительно на снижении затрат (что часто означает увольнения). По мере развития этих систем мы постоянно стремимся представить новые модели взаимодействия, в которых люди, участвующие в сотрудничестве, играют максимально активную роль в системах ИИ. В более широком смысле, полезно, чтобы весь мир экспериментировал с использованием ИИ как можно большим количеством новых способов, поскольку именно так общество обнаруживает новые потенциальные конфигурации рабочих мест. Я действительно считаю, что ИИ принесет огромное количество новых экономических возможностей. Я прогнозировал, что ИИ позволит одному человеку создать компанию стоимостью в миллиард долларов, и мы уже видели команды из нескольких человек, создавшие бизнесы с доходом в сотни миллионов долларов. Однако в то же время мы должны признать, что, несмотря на все наши усилия, ИИ с большой вероятностью приведет к серьезной устойчивой безработице — что может быть внутренним свойством этой технологии и ее способностью широко воспроизводить человеческое познание (примечание 4).

Во-вторых, любые меры по реагированию на потерю рабочих мест, обусловленную ИИ, должны решать как потребность в экономической безопасности для каждого, так и потребность людей в поиске смысла, цели и агентности. Последнее в конечном итоге более важно и зависит от фундаментальных вопросов о том, как должно организовываться общество, чего должны стремиться люди и что составляет хорошую жизнь. На самом деле, я очень оптимистично полагаю, что даже в мире, где ИИ превосходит всех во всех аспектах, люди всё ещё могут вести жизнь с глубокой целью и стремиться создавать удивительные и прекрасные вещи (примечание 5). Но это проблема, которую необходимо решить совместно всем обществом, а не просто с помощью политики. Место, где политика может сыграть наибольшую роль — это замедление темпов безработицы и предоставление экономической защиты тем, кто может пострадать, чтобы дать нам время на решение этой задачи.

В этом духе некоторые возможные ключевые меры государственного вмешательства, которые могут оказаться полезными, включают:

• Измерение и отслеживание. Легко отвергнуть простой сбор и анализ данных как недостаточный для решения масштаба проблемы, но если мы не сможем точно измерить то, что действительно происходит, маловероятно, что мы сможем разработать эффективную политику. Anthropic уже почти полтора года ведет экономический индекс использования Claude людьми, но правительства могут получать типы данных, недоступные нам, и значительно расширять свои экономические статистические данные для более тщательного отслеживания безработицы, вызванной ИИ.
• Меры по стимулированию занятости. Широкий спектр мер по стимулированию занятости может помочь замедлить или сократить потерю рабочих мест, включая: политику страхования заработной платы, компенсирующую людям потери дохода при переходе на низкооплачиваемую работу (примечание 6), налоговые стимулы для работодателей, направленные на сохранение рабочих мест, субсидии на обучение трудовых ресурсов или инфраструктуру, способствующую более быстрому соответствию работодателей и работников и ускоряющую адаптацию рынка труда. Хотя детали того, какие меры являются наиболее эффективными, будут зависеть от того, какие типы замещения труда вызовет ИИ, мы должны с удовольствием принять возможные издержки и снижение рыночной эффективности, связанные с этими мерами, особенно учитывая, что они могут быть компенсированы ростом производительности, обусловленным ИИ.
• Долгосрочная макроэкономическая поддержка. Если замещение рабочей силы с помощью ИИ в конечном итоге достигнет огромных масштабов и будет постоянно снижать спрос на труд, может возникнуть необходимость выйти за рамки простых стимулирующих программ и обеспечить долгосрочную поддержку доходов для значительной части рабочей силы. Механизмы, такие как универсальный базовый доход, могут финансироваться за счет налогообложения соответствующих компаний или повышения налогов на капитальную прибыль. Аккаунты универсального капитала предоставляют еще один инструмент. В широком смысле быстрый экономический рост должен создавать налоговую базу для всеобщего процветания.

Одной из общих точек внимания в экономических опасениях, связанных с ИИ, которую я не упомянул, являются центры обработки данных, особенно их потенциал повышения цен на энергию. Моя позиция заключается в том, что компании, занимающиеся ИИ, должны сами оплачивать рост тарифов — и Anthropic уже обязалась это сделать — однако я считаю, что враждебность общества по отношению к центрам обработки данных во многом является символом или способом выплеска более широких экономических тревог, связанных с ИИ. Важно, чтобы мы вели прямые общественные дискуссии по этим более широким экономическим вопросам и предлагали убедительные решения, направленные на их решение, иначе они, скорее всего, будут проявляться косвенно, как это происходит с вопросом центров обработки данных.

3. Ускорение положительного влияния ИИ

Как и в случае с необходимостью балансировать инновации и безопасность самого ИИ, мы также должны стремиться к балансу в тех областях, которые могут быть ускорены ИИ, таких как биомедицина, энергетика или материаловедение. Однако, хотя сам ИИ может привести к появлению новых вызовов, возникающих очень быстро и с которыми у нас нет опыта справляться, другие области, ускоряемые ИИ, могут столкнуться с совершенно другой проблемой: регуляторные системы, созданные для более медленных темпов инноваций, не готовы к потоку новых продуктов и достижений, которые принесет ИИ. ИИ также может сделать эти производные технологии более безопасными и предсказуемыми, тем самым разрушив скептические допущения регулирующих органов, таких как Управление по санитарному надзору за качеством пищевых продуктов и медикаментов (FDA).

Поэтому, в отношении приложений ИИ на нижнем уровне — в отличие от самого ИИ — я больше беспокоюсь о том, что регуляторы замедлят прогресс (поскольку не могут справиться с ускоряющимися изменениями), чем о том, что он не решит важные риски. Мы least всего хотим видеть, чтобы преимущества ИИ замедлялись, в то время как его риски все больше приближаются, поэтому крайне важно как можно скорее принять меры по этому вопросу.

Этот вопрос и его решения будут проявляться по-разному в различных областях науки, бизнеса и технологий, поэтому я сосредоточусь на одном иллюстративном направлении: биомедицинских инновациях. Это связано как с тем, что оно, скорее всего, станет источником наибольших гуманитарных выгод от ИИ, так и с тем, что это область с особенно сложной регуляторной средой. Мы точно не знаем, как ИИ ускорит биомедицинские инновации, но, похоже, он это сделает:

• Значительно повысить скорость попадания кандидатов на новые лекарства в регуляторный канал;
• Увеличить эффект нового препарата и улучшить его безопасность благодаря лучшей оптимизации, а также, возможно, лучше понять его потенциальные биологические свойства;
• Разработаны кандидаты в лекарства для лечения заболеваний, которые ранее не поддавались успешному лечению;
• Быстро создавать новые формы терапии, как антитела, пептиды и клеточные терапии, которые за последние десятилетия стали новыми категориями лечения.

Некоторые из этих достижений естественным образом ускорят регуляторные сроки без необходимости структурных изменений. Препараты с большим эффектом могут привести к проведению более мелких и менее затратных клинических испытаний и активировать механизмы ускоренного одобрения. Однако текущая регуляторная система была разработана с предположением, что кандидаты на лекарства обычно неэффективны и даже при эффективности обычно имеют серьезные проблемы с безопасностью, что требует высокого уровня проверки и многоэтапных испытаний. Как в FDA, так и в Европейском агентстве по лекарственным средствам (EMA), типичное время прохождения кандидата через регуляторный канал составляет 7–8 лет, частично из-за этих пессимистичных предположений. Без реформ ИИ просто перегрузит или забьет эту систему.

Конечно, мы не хотим менять вещи таким образом, чтобы возникла масса «snake-oil» (сленг, обозначающий обманчивые лекарства) или широкомасштабные инциденты с безопасностью. Но некоторые относительно простые реформы могут сделать FDA, EMA и аналогичные организации более приспособленными к быстрому научному ускорению, обусловленному ИИ (если такое произойдет).

Многие этапы клинических процессов, которые ранее требовали дорогостоящих и медленных экспериментов, вскоре можно будет выполнить с помощью симуляции или анализа с использованием ИИ. Регулирующим органам следует сейчас рассмотреть возможность разработки стандартов, определяющих условия, при которых такие методы могут быть приняты. Это означает, что как только эти методы окажутся эффективными, они могут быть быстро внедрены, а не подвергаться длительному и ненужному продлению периода требуемых тестов. Области, к которым это может применяться, включают:

• На основе ИИ моделирование фармакодинамики и фармакокинетики (PD/PK);
• Токсикологическое прогнозирование для избежания необходимости проведения токсикологических исследований на нескольких видах животных;
• Более точный выбор дозы для снижения потребности в широком диапазоне доз в ходе испытаний;
• Валидация биомаркеров с помощью анализа больших наборов данных;
• Синтетическая контрольная группа в клинических испытаниях для снижения потребности в привлечении дополнительных участников;
• Разработка альтернативных конечных точек (это особенно важно при старении и нейродегенеративных заболеваниях).

Помимо этих конкретных примеров, учреждениям следует рассмотреть более радикальные и гибкие механизмы ускоренного одобрения. Если мои прогнозы относительно ИИ верны, то вскоре появится множество внезапных (out of the blue, идиома, означающая неожиданно, внезапно) и чрезвычайно эффективных мер вмешательства, и регуляторные системы должны быть готовы серьезно их рассматривать, а не проявлять чрезмерное недоверие.

Ускорение биомедицины должно значительно увеличить выгоды от ИИ, однако стоит отметить, что оно также может способствовать снижению рисков, связанных с ИИ. Реформирование утверждения в биомедицине может помочь в биозащите, а прогресс в биомедицине, основанный на ИИ, также может улучшить психическое здоровье, что может оказать стабилизирующее воздействие на общество.

4. Свобода стран и граждан

Любая система правительства должна сталкиваться с вопросами государственной власти и её ограничений. Государство имеет законные, часто жизненно важные интересы в защите своего населения от внутренних и внешних угроз. Однако предоставление ему чрезмерной власти ведет к тирании. Современные демократические государства в значительной степени успешно справляются с этим балансом, но даже в лучшие времена этот баланс остается неустойчивым. Поддержание этого баланса требует множества правовых и конституционных механизмов, выработанных на протяжении столетий — например, в США: первая, четвертая и пятая поправки, Закон о милиции (Posse Comitatus Act), Закон о иностранном разведывательном наблюдении (FISA) и т.д.

ИИ угрожает нарушить это равновесие, одновременно значительно повышая ставки. Но если мы быстро отреагируем и встретим вызов лицом к лицу, мы сможем использовать ИИ для создания мира, в котором свободы защищены сильнее и устойчивее, чем когда-либо ранее, и который лучше защищен от угроз.

Мощный ИИ, попавший в руки недобросовестных лиц, может стать окончательным инструментом авторитарного диктаторства, и наши существующие правовые и конституционные защиты не полностью готовы противостоять этой угрозе. В корне, огромная выгода, которую интеллект приносит в мире власти, вместе с быстрым темпом прогресса в развитии ИИ, создает идеальную бурю (perfect storm, идиома, означающая чрезвычайно плохую ситуацию, возникающую при одновременном сочетании нескольких неблагоприятных обстоятельств) для случайного захвата власти различными опасными деятелями.

Эта опасность может проявляться в различных конкретных технологических или операционных формах, но их общая черта заключается в том, что ИИ может внезапно предоставить огромную власть, обходя (routing around, сленг/переносное значение — означает обход препятствий или механизмов регулирования) существующие демократические механизмы контроля. То, что сегодня звучит как научная фантастика — полностью автономная армия дронов — в будущем может подчиняться незаконным приказам и позволять правительству односторонне укрепить свою власть; обученные профессионалы с большей вероятностью будут противиться таким незаконным указаниям. ИИ, ориентированный на наблюдение, может масштабно анализировать широко доступную информацию и использовать ее для выведения самых сокровенных деталей жизни каждого гражданина — это технологическая способность, которую современные законы о гражданских свободах не учитывают. Все это может произойти за крайне короткий промежуток времени или в тайне, поэтому крайне важно активно укреплять приверженность демократических государств свободе и гражданским правам.

Вот некоторые идеи политик, которые мы должны рассмотреть:

• Установите надежные правила подотчетности для полностью автоматического оружия. Полностью автоматическое оружие, особенно любые автономные системы, координирующие или управляющие им, должно быть обязано реагировать на конституционные и командные механизмы подотчетности (например, судебные распоряжения, законодательные акты и подотчетность перед высшими человеческими наблюдателями), а не слепо выполнять приказы. Это может означать, что специально разработанная группа правового контроля или судебная власть обладает контролем над неким «выключателем», либо система сама в процессе обучения ищет и реагирует на законные надзорные органы, либо и то, и другое.
• Запрещено использовать全自动武器 внутри страны. Хотя полностью автоматическое оружие может иметь законные обоснования для использования против иностранных противников (например, при российском вторжении в Украину), нет никаких оснований применять его против американцев. Возможности вооруженных сил в внутренних операциях уже ограничены, но в идеале использование таких оружий также должно быть запрещено в правоохранительной деятельности.
• Закройте уязвимость, связанную с массовым сбором данных и данными-брокерами. Согласно действующему законодательству, данные, которыми американцы делятся с частными компаниями (например, провайдерами интернет-услуг), могут быть куплены и использованы для массового анализа в целях внутреннего наблюдения и правоохранительной деятельности. Эта уязвимость в области защиты конфиденциальности существовала еще до появления ИИ, но ИИ значительно повысит stakes, сделав массовый анализ таких данных гораздо более информативным и практичным, чем раньше. Эту уязвимость следует закрыть.
• Иметь публичное право на получение рекомендаций ИИ при столкновении с неблагоприятными действиями со стороны правительства. Как общее правило, кажется важным, чтобы любое физическое или юридическое лицо, ставшее объектом неблагоприятных действий правительства (таких как регулирование или правовые меры), имело возможность получить ИИ, не менее мощный, чем тот, который разрешен правительству для использования в рамках конкретного действия. Это предотвратит предоставление правительству несправедливого преимущества, которое фактически подрывает законные права граждан. Это можно добавить как расширение или интерпретацию Административного процессуального кодекса, гарантий надлежащей правовой процедуры или права на юридическую помощь по Шестой поправке.

Наконец, стоит отметить, что в вопросах захвата власти с помощью ИИ правительства — не единственные субъекты, на которые следует обращать внимание. В разные исторические периоды (например, золотой век США или Британская Ост-Индская компания) компании становились настолько мощными, что захватывали государство или приобретали квазигосударственные черты. ИИ вскоре станет настолько мощным, что я боюсь, что его нельзя будет безопасно полностью доверить ни правительству, ни компаниям — необходимо установить системы сдержек и противовесов для каждой из сторон.

Регулирование — это один из способов ограничения (rein in, идиома, означающая контроль, ограничение) компаний (мои мысли об этом см. в разделе 1), но не менее важно, чтобы компании, работающие с ИИ, обладали большим распределением полномочий и подотчетностью, чем типичные частные структуры. Доверие долгосрочных интересов Anthropic (независимый орган управления, призванный обеспечить выполнение компанией своей миссии) — это пример такой структуры, и отрасль должна продолжать исследовать механизмы, выходящие еще дальше. Ключевым является достижение правильного баланса — обеспечить значимые ограничения как на полномочия компаний, так и на полномочия правительства.

5. Обеспечить лидерство демократических стран

Рассматривание новых технологий как инструмента торговой политики в геополитическом контексте с целью «распространения нашей технологической стеки по всему миру» стало общепринятой инстинктивной реакцией, возможно, сформированной на основе опыта последних лет в сфере интернета и телекоммуникаций. Однако я твердо убежден, что ИИ — это нечто гораздо более глубокое, что полностью меняет правила игры, и все будущие геополитические стратегии должны строиться вокруг него — как ядерное оружие, но потенциально с еще большим влиянием.

Если ИИ действительно вскоре станет «страной гениев в центре обработки данных» или чем-то очень близким к этому, то ИИ, скорее всего, станет основным источником военной и экономической мощи любой страны. В виртуальной стране с 100 миллионами гениев можно направить 10 миллионов на военную стратегию, 10 миллионов на производство беспилотников, 10 миллионов на разработку оружия, 10 миллионов на сбор и анализ разведданных, 10 миллионов на прогресс в общей науке и т.д. Страна с мощным ИИ, сталкивающаяся со страной без ИИ — или даже со страной, отстающей на три года в области ИИ — будет иметь разрыв, сопоставимый с разницей между морской пехотой Второй мировой войны и армией средневековых мечников.

Кроме того, если мощные ИИ могут реализовать более глубокие и, возможно, постоянные формы авторитарного подавления (см. раздел 4), это делает особенно важным обеспечение того, чтобы самые мощные страны мира были демократиями — или, по крайней мере, имели надежные меры защиты от ИИ-обусловленного подавления. Это также усиливает срочность разработки целенаправленной геополитической стратегии.

Демократические страны должны стремиться создать глобальный альянс, основанный на построении ИИ в соответствии с общими ценностями, постепенно пытаясь привлечь остальной мир, делая участие в альянсе все более привлекательным, а исключение из него — все менее привлекательным. Этот альянс должен представлять собой согласованную международную реализацию идей политики в области ИИ, рассмотренных в разделах 1–4, плюс усилия по блокировке ключевых цепочек поставок, необходимых для создания ИИ, путем их совместного использования внутри альянса и отказа в предоставлении внешним участникам. Некоторые принципы и операционные цели могут включать:

Управляйте цепочками поставок ИИ. Доверенные члены альянса должны свободно обмениваться чипами и оборудованием для производства полупроводников (SME), одновременно совместно стремясь воспрепятствовать доступу к ним конкурентов. Ограничения США на экспорт передовых чипов и SME в Китай являются одной из основных причин, по которым США сохраняют общее лидерство в области ИИ; эти политики необходимо расширить, ужесточить и координировать с другими странами-союзницами. Такие находящиеся на рассмотрении законопроекты, как MATCH и OVERWATCH, являются хорошей отправной точкой, и союзным демократическим странам следует рассмотреть возможность принятия аналогичных мер.

• Скоординированные действия для управления рисками, связанными с ИИ. Если координация будет проведена на международном уровне, политики, описанные в разделе 1 и направленные на управление рисками в области биологии, кибербезопасности и автономности, будут более эффективными (при этом создавая меньшую нагрузку для отрасли). Это означает, что компании смогут соблюдать взаимосовместимые стандарты, а регуляторы смогут обмениваться опытом в области наилучших практик оценки и смягчения этих рисков. Органы исполнительной власти и разведки также должны теснее сотрудничать для выявления и пресечения злоупотреблений, например, попыток террористов использовать ИИ для создания биологического оружия.
• Распределение выгод от ИИ. Торговые и регуляторные политики могут способствовать более быстрому распространению экономических выгод от ИИ внутри альянса и обмену опытом по ускорению инноваций. Координация методов полезного внедрения может помочь доставить преимущества ИИ развивающимся странам. Например, унификация систем медицинского одобрения может позволить более быстрое и эффективное тестирование и одобрение ИИ-усиленных лекарств (как описано в разделе 3 выше).
• Совместная оборона. Страны альянса должны сотрудничать для использования ИИ в целях самообороны и защиты от ИИ противника. Альянс должен совместно обеспечить достаточное производство ИИ-ориентированной киберобороны, ИИ-управляемых беспилотников, ИИ-ориентированного производства, секретных ИИ-вычислительных ресурсов, ИИ-ориентированных исследований и разработок, а также ИИ-ориентированного сбора разведданных.
• Откажитесь от подавления, поддерживаемого ИИ. Члены союза должны отвергнуть высокотехнологичный, экстремально авторитарный, поддерживаемый ИИ тиранию, о которой я предупреждал в книге «Подростковый возраст технологий», и должны иметь аналогичные гарантии безопасности, описанные мной в разделе 4 выше.
• Макроэкономическое сотрудничество. Кризис занятости или стабильности работы, как и любой другой экономический кризис, обладает транснациональной заразностью. Поэтому страны имеют общий интерес в сотрудничестве и координации макроэкономической поддержки и стабилизационных мер (как описано в разделе 2) для компенсации любых последствий для занятости.

Целью должно быть сделать членство в альянсе максимально привлекательным — и сделать очевидной цену остания вне альянса. Альянс будет основан на координации между суверенными государствами, каждое из которых сохраняет полный контроль над своими внутренними делами. Он может развиваться поэтапно, начиная с идеологически согласованных демократических стран (которые естественно легко присоединяются), и постепенно привлекая те страны, которые менее естественно соответствуют, но готовы выполнить стандарты альянса в обмен на его огромные преимущества для членов. В идеале в конечном итоге к альянсу присоединится весь мир. Но даже если это невозможно, создание альянса позволит демократическим странам занять наиболее сильную позицию для сдерживания и превосходства над режимами, упорно придерживающимися репрессивных практик.

Окно возможностей

Экспоненциальный прогресс в области ИИ создал срочность и темпы изменений, с которыми процесс принятия политических решений обычно не справляется. Но он также создал уникальное окно возможностей. Четкие и реальные доказательства рисков ИИ, ранний опыт его потенциала как в создании, так и в разрушении экономической ценности, а также сильная реакция общественности против неограниченного подхода к ИИ переплетаются, формируя ситуацию, в которой политические деятели необычайно открыты для проактивных действий. Борода и его лес пробуждаются.

В AI-сообществе стало модно воспринимать это как проблему общественных отношений: что AI нуждается в «лучшем маркетинге». Я полностью отвергаю такую рамку. Люди обеспокоены AI, потому что правильно осознают, что его риски реальны, а не потому, что генеральные директора AI ведут себя недостаточно «панглоссийски» (литературная отсылка/прилагательное, означающее слепо оптимистичный). Я считаю, что моя обязанность как лидера в области AI — продолжать сохранять прозрачность в отношении этих рисков, и обеспокоенность общественности по поводу этой прозрачности представляет собой функционирование демократической подотчетности именно так, как она и должна работать. Ключевая задача заключается в том, чтобы направить эту обеспокоенность на построение конструктивных решений, не позволяя ей превратиться в неосязаемую ярость и насилие.

Я оптимистично настроен относительно поиска решений, поскольку многие проблемы — от решения вопросов безработицы до тестирования моделей до выпуска, от экспортных ограничений на чипы до энергопотребления и других политических вопросов, связанных с ИИ, — обладают здравым смыслом и привлекательны в рамках всего политического спектра. Существует желаемый, но реалистичный будущий мир, в котором широкий беспартийный альянс, движимый прямым осознанием вызовов, связанных с ИИ, будет принимать разумные и перспективные политические решения значительно быстрее, чем обычно. Чем раньше мы это сделаем, тем скорее сможем получить невероятные преимущества ИИ.

Я хочу поблагодарить Аллана Дафо, Марьяно-Флорентино Келлара, Ричарда Фонтейна, Бадди Шаха, Васа Нарасимхана, Мэтта Иглесиаса, Ника Бекстеда, Джейсона Мэйнджи, Брэда Карсона и многих сотрудников Anthropic за их комментарии и отзывы по черновику этой статьи.

Подпись

В своей статье «The Adolescence of Technology» я обсуждал биологические риски и риски автономии, а также другие аспекты. Институт Anthropic также опубликовал предварительные внутренние данные в работе «When AI Builds Itself» о возможности рекурсивного самосовершенствования, то есть о способности моделей самостоятельно создавать более совершенные модели.

Это явление не теоретическое: мы неоднократно наблюдали его в рамках наших собственных добровольных механизмов управления (например, нашей политики ответственного масштабирования/Responsible Scaling Policy). Если мы установим для будущих моделей ИИ фиксированный или жесткий список требований безопасности, очень вероятным результатом станет то, что требования, которые впоследствии окажутся незначительными, поглотят 95% наших усилий по соблюдению норм, в то время как некоторые из самых значительных источников риска полностью не будут учтены в нашем списке. Добровольные рамки можно изменять и адаптировать, но для законодательства это гораздо сложнее. Мои попытки справиться с этим дилеммой можно увидеть в двух письмах, которые я опубликовал по поводу SB 1047 — закона штата Калифорния 2024 года, направленного на решение катастрофических рисков, к которому я, по вышеуказанным причинам, испытываю сложные чувства.

Например, настоящие серьезные биологические риски могут быть сложнее для управления, чем киберриски, поскольку у нападающих есть значительное преимущество перед защитниками, а масштаб катастрофы может быть намного больше.

См. «Подростковый возраст технологий» для более подробного анализа того, почему логика, приводящая к быстрому восстановлению рынка труда и отсутствию долгосрочной замены труда в других технологиях, может не применяться к ИИ, особенно почему обычные механизмы адаптации, такие как парадокс Джевонса или сравнительные преимущества, могут быть подавлены темпами развития технологии.

Например, люди по-прежнему посвящают всю жизнь игре в шахматы или го или восхождению на горы, и по-прежнему пользуются большим уважением за эти занятия, несмотря на то, что машины могут делать всё это лучше.

Это фактически предоставляет людям дополнительный стимул сменить работу и начать обучение новой профессиональной траектории, даже если в краткосрочной перспективе это может быть болезненно, если разница между их новой и старой зарплатой компенсируется.

Для получения дополнительной информации по этой теме см. «Подростковый возраст технологий». (Статья впервые опубликована в приложении Titanium Media, автор |硅谷Tech_news, редактор | 林深)