Anthropic запускает Anthropic Institute для изучения влияния ИИ на общество и экономику

Вчера вечером новый игрок в области ИИ Anthropic (далее — компания A) не выпустила новую модель Claude, а представила что-то, кажущееся особенно «скучным»: The Anthropic Institute (Институт Anthropic, далее — TAI).

В отличие от Harness Engineering, популярного в 2026 году, TAI решает более масштабные задачи. Согласно исследовательской повестке дня, опубликованной Anthropic (anthropic-institute-agenda), TAI сосредоточен на четырех направлениях: экономическая диффузия, угрозы и устойчивость, системы ИИ в реальных приложениях, а также ИИ-драйверные исследования. TAI также публично призывает исследователей со всего мира присоединиться к работе над решением этих проблем.

(Источник изображения: X@Anthropic официальный)

То есть компания A (сокращение от Anthropic) создала внутреннюю организацию, занимающуюся изучением того, как люди взаимодействуют с ИИ:

• Как ИИ повлияет на занятость и экономику?
• Какие новые риски безопасности это вызовет?
• Изменятся ли поведение и суждения людей после реального использования ИИ?
• Когда ИИ начинает помогать в разработке более мощного ИИ, как можно понять и ограничить этот ускоряющийся процесс?

Многие читатели могут посчитать это обычным действием компании, занимающейся ИИ, но Lei Technology считает, что это, возможно, самое важное действие A-сообщества за последнее время. Положительное влияние TAI на индустрию ИИ и человечество сопоставимо с тем, как ценность «не быть злом», заявленная Google в свое время, повлияла на интернет-индустрию. Именно поэтому Lei Technology AGI называет это «запуском», не уступающим по значимости крупному обновлению модели.

Основным направлением исследований TAI является Economic Diffusion (экономическая диффузия).

Просматривая первые три промышленные революции в истории человечества, будь то станок Джени, гремящие паровые машины или последующая электрификация и конвейерные линии, они в основном заменяли чрезвычайно дешевый и повторяющийся физический труд. Однако четвертая промышленная революция, вызванная ИИ, совершенно иная — она напрямую вторгается в сферу интеллектуальной работы, которой человечество больше всего гордится.

А ключевое противоречие, указанное ТАИ, заключается в том, что, несмотря на обновление инструментов, положение наемных работников стало только хуже.

В исследовательском тексте TAI отмечает, что если в будущем три человека смогут выполнить работу, которую раньше делали 300 человек, с помощью крупных моделей, то каким станет эта компания?

Дизайнеры с помощью ИИ могут одним нажатием решить самые трудоемкие задачи с слоями и ресурсами, программисты с помощью ИИ могут заниматься Vibe Coding... Предположим, что ИИ повышает производительность труда на 75%, но это не приведет к сокращению рабочего дня человека с 8 часов (или даже 996) до 2 часов. Напротив, людям, возможно, придется выполнять в пять раз больше работы.

TAI сосредоточен на новой логике: «С появлением ИИ ваша рабочая нагрузка должна увеличиться в несколько раз». Для количественной оценки этой ситуации TAI ввел новый термин — The Anthropic Economic Index (Anthropic экономический индекс). A 社 заявляет, что они не будут публиковать лишь академические статьи, которые никто не замечает, а намерены представить эти реальные данные и четко сообщить человечеству: в каких отраслях ИИ тайно заменяет должности, ранее принадлежавшие людям? Будут ли новички, только начинающие свою карьеру, сразу же «вытеснены»?

(Источник изображения: сгенерировано ИИ)

Более того, TAI перенесла этот счет в реальный мир. Все мы знаем, что крупные модели — это никогда не насыщающийся «зверь, пожирающий золото»: каждый раз, когда мы используем ИИ для генерации текста, изображений, видео или даже простого вопроса, мы тратим огромное количество токенов. Токены в своей основе — это вычислительные мощности, вычислительные мощности в свою очередь — это чипы, хранилища и электричество, а если углубиться еще глубже, то и выбросы углерода, капитал и т.д. Ресурсы всегда ограничены, и когда общество направляет огромные ресурсы на ИИ, другие отрасли неизбежно пострадают.

В 2026 году самое заметное ощущение заключалось в том, что нехватка памяти и хранилища, вызванная ИИ, напрямую привела к повышению цен на потребительскую электронику, и даже производители смартфонов были вынуждены снизить желание выпускать новые модели. Однако одновременно все производители смартфонов надеялись использовать ИИ для перестройки логики продуктов и продления жизненного цикла смартфонов; оригинальный смартфон с ИИ от OpenAI уже включен в планы. Когда каждый получает выгоду от ИИ, множество отраслей глубоко влияются ИИ — как положительно, так и отрицательно.

А TAI использует «экономический индекс», чтобы превратить абстрактное восприятие влияния ИИ на экономику в количественную модель: только поняв проблему, можно решить её.

Если потеря работы — это медленное, как тупой нож, разрезание мяса, то влияние ИИ на мышление человеческого мозга — это прямое повреждение.

Первыми, кто пострадает, станут интернет-ресурсы. Не сложно заметить, что сегодня интернет превращается в «кучу навоза»: раньше можно было легко найти множество руководств о том, как избежать ловушек при планировании путешествий, а теперь все они — это AI-контент, выглядящий красиво и аккуратно, но полностью состоящий из серьезно выдуманных пустых слов.

Еще хуже то, что ИИ снизил барьеры для серых отраслей до нуля: с помощью ИИ можно менять лица для создания порнографических фейков, клонировать голоса близких для телефонных мошенничеств — мошенникам достаточно потратить несколько токенов, чтобы разрушить жизнь обычного человека.

TAI также обратил внимание на более глубокий кризис: ИИ незаметно делает людей всё более «глупыми».

Ранее китайские пользователи в лесу встречали неизвестные дикорастущие грибы, фотографировали их и отправляли ИИ с вопросом: «Можно ли есть это?» ИИ серьезно определил ядовитый гриб как «съедобный вкусный шампиньон»; также ребенок показал ИИ мышеловку и спросил, что это такое, и ИИ серьезно проанализировал, что это «квадратная металлическая игрушка-картинка, брошенная картинг-машина», в результате чего ребенок, любопытный, тронул ее — и палец оказался зажатым.

Эти новости звучат как черный юмор, но они раскрывают явление: главная особенность ИИ — не ум, а «странный самоуверенность». ИИ никогда не сможет достигнуть 100% точности; последняя модель Google Gemini достигает примерно 91% точности в фактах — это уже высокий уровень. Однако многие пользователи в процессе использования ИИ незаметно отказываются от мышления и привыкают передавать все решения «на аутсорс» набору кода.

На этот вопрос ТАИ задал глубокий вопрос: когда значительная часть общества будет обращаться за советами лишь к двум-трем крупным моделям, каким ужасающим образом «гомогенизируется» мышление и методы решения проблем человеческой группы? Вы думаете, что используете ИИ-инструменты для повышения производительности и уровня познания, но на самом деле «фармируете свой мозг». Другими словами, если все начнут полагаться на ИИ, это может привести к потере человечеством способности к самостоятельному мышлению и превратить мозги всех людей в копии, вырезанные из одной формы.

TAI также предложила новое понятие: двойное назначение (Dual-use capabilities). Официальное объяснение звучит так: если способности ИИ-модели в биологии усиливаются, она может использоваться не только для разработки новых лекарств, но и для создания чрезвычайно смертоносных биологических оружий; если ИИ отлично пишет код, он не только хороший программист, но и становится хакером, способным легко взломать внутренние сети государственных структур.

(Источник изображения: официальный сайт Anthropic)

Когда такого монстра с «двойным назначением» масштабно подключают к мозгу автономных автомобилей, к тяжелым манипуляторам на заводах, а также к системам безопасности и группам дронов, какой ущерб это может причинить? В телефоне ИИ может вывести сообщение: «Извините, я ошибся»; но в реальности одна секунда ошибки распознавания — это реальная авария на производстве.

Тем более, что крупные модели могут обновляться каждые несколько недель, тогда как людям требуется «годы» на изменение законодательства, доработку страховых систем. Этот промежуток времени — это период «открытого воздействия», когда защита минимальна. Когда происходят катастрофы, вызванные ИИ, современное общество просто не обладает достаточной «устойчивостью», чтобы их выдержать.

Чтобы решить эту проблему, TAI создал Frontier Red Team. Их задача проста, но абстрактна: ежедневно различными способами атаковать и провоцировать собственные разработанные AI-агенты, чтобы понять, какой ущерб они могут нанести в реальном мире, и тем самым создать защитную линию до того, как эта устаревшая социальная система полностью рухнет.

Раньше скорость эволюции ИИ определяли человеческие программисты, но сегодня продвинутые крупные модели могут самостоятельно изучать научные статьи и писать код, и вскоре они могут начать разрабатывать новые поколения крупных моделей самостоятельно. Когда скорость самоповторения ИИ будет только расти, технологическая эволюция скоро опередит человеческое понимание.

(Источник изображения: сгенерировано ИИ)

Чтобы подготовиться к этой возможной в любой момент сингулярности, TAI предложил новую концепцию: проведение сценариев пожарных учений для интеллектуального взрыва.

Проще говоря, TAI готовит симуляцию с руководителями ведущих лабораторий и правительствами разных стран: они хотят проверить, способны ли люди остановить процесс до того, как произойдет «интеллектуальный взрыв».

На фоне того, как вся отрасль мчится слепо вперёд, взгляд назад на действия Anthropic по созданию TAI действительно вызывает уважение.

Соседняя OpenAI каждый день попадает в тренды из-за ухода руководства и внутренних конфликтов, или из-за долговых споров с Маском. Многие AI-компании показывают плохие финансовые результаты, но при этом пытаются «поднять себя в рейтингах» и активно привлекают инвестиции, опираясь на завышенные оценки и привлекая социальный капитал. Тема, которую A社 TAI хочет обсудить, уже давно обсуждается в отрасли, однако большинство крупных AI-компаний придерживаются позиции: «Неважно, сначала развивайся». В этой крайне нестабильной атмосфере A社 внезапно применил тормоза и открыто выставил на виду все эти неприглядные проблемы, заявив о новом подходе к ИИ: развиваться и одновременно регулировать.

Компания A — не благотворительная организация, она не поддалась эмоциям, а ведет очень умную бизнес-игру. Сегодня владельцы крупного капитала и правительства уже напуганы многочисленными инцидентами, вызванными ИИ: купить модель, которая показывает чуть более высокий или низкий результат, — не проблема, главный страх — вдруг она вдруг сойдет с ума и устроит крупный скандал, после которого будет невозможно все остановить. Компания A создала с помощью TAI образ «нормального человека», чтобы пользователи чувствовали себя в безопасности, а мир доверял ей.

(Источник изображения: сгенерировано ИИ)

В конце этой статьи о TAI также прямо указано: все исследования и ранние предупреждения TAI будут напрямую передаваться в ключевой орган Anthropic — Long-Term Benefit Trust (Доверительный фонд долгосрочных интересов). Миссия этого LTBT — неотступно контролировать коммерческие решения компании, чтобы каждый шаг Anthropic был направлен на долгосрочную выгоду всего человечества, а не на достижение краткосрочной прибыли по отчетам.

Это точно так же, как знаменитое заявление Google того времени — «Не будь злом»: с помощью TAI A-сообщество говорит всему миру, что, когда конкуренты соревнуются в скорости, мы не только быстро движемся, но и изучаем, как остановиться.

Ожидать, что технологические гиганты будут сами себя контролировать, действительно абсурдно, но в эпоху, когда все с завязанными глазами прихватили газ и несутся во весь опор, само по себе то, что ведущий игрок инициировал создание института TAI, вложил реальные деньги в изучение экономических индексов, моделирование интеллектуального взрыва и исследование деградации человеческого мозга, заслуживает внимания. Поэтому ReTech в самом начале заявляет, что запуск TAI важнее, чем прямой выпуск новой модели компанией A.

В Институте Антропик (TAI) мы будем использовать информацию, доступную в передовых лабораториях, для изучения влияния искусственного интеллекта на мир и делиться нашими исследованиями с общественностью. Здесь мы поделимся вопросами, лежащими в основе нашей исследовательской повестки.

Наша исследовательская программа в основном сосредоточена на четырех следующих областях:

• Экономическое расширение
• Угрозы и устойчивость
• Искусственный интеллект в реальном применении
• Искусственный интеллект для исследований и разработок

В статье «Основные взгляды на безопасность искусственного интеллекта» мы отметили, что для проведения эффективных исследований в области безопасности необходимо тесно взаимодействовать с передовыми системами искусственного интеллекта. То же самое относится и к проведению эффективных исследований о влиянии искусственного интеллекта на безопасность, экономику и общество.

В Anthropic мы уже видим, что такие области, как программная инженерия, претерпевают фундаментальные изменения. Мы наблюдаем, как внутренняя экономическая структура Anthropic начинает трансформироваться, а системы, которые мы создаем, сталкиваются с новыми угрозами — ранние признаки искусственного интеллекта ускоряют собственное развитие ИИ. Чтобы максимально использовать преимущества прогресса в области искусственного интеллекта, мы стремимся поделиться как можно большей частью этой информации. Мы изучаем, как эти динамические изменения повлияют на внешний мир и как общественность может помочь направить эти преобразования.

В TAI мы исследуем влияние искусственного интеллекта на реальный мир с точки зрения передовых лабораторий, а затем публикуем результаты этих исследований, чтобы помочь внешним организациям, правительствам и общественности принимать более обоснованные решения относительно развития искусственного интеллекта.

Мы поделимся результатами исследований, данными и инструментами, чтобы индивидуальным исследователям и учреждениям было проще заниматься этими исследовательскими темами. В частности, мы поделимся:

• Мы будем получать более детальную информацию из человеческих экономических индикаторов с более высокой частотой, чтобы понять влияние и применение искусственного интеллекта на рынок труда. Мы стремимся стать ранними индикаторами значительных изменений и потрясений.
• Исследование того, какие социальные сферы наиболее нуждаются в инвестициях для повышения устойчивости перед новыми рисками безопасности, связанными с искусственным интеллектом.
• Более подробно расскажем, как Anthropic использует новые инструменты ИИ для ускорения работы, а также значение потенциальной рекурсивной самосовершенствующейся системы ИИ.

TAI повлияет на решения Anthropic. Это может проявляться в том, что компания поделится с внешним миром некоторыми данными, которыми она иначе не поделилась бы (например, экономическими индексами), или будет публиковать технологии иным способом (например, анализом киберугроз, который предоставляет данные для таких программ, как «Стеклянные крылья»).

Мы ожидаем, что исследования, проводимые институтом TAI, будут все больше использоваться в качестве важной основы для Долгосрочного доверительного фонда выгод Anthropic (LTBT). Миссия LTBT заключается в обеспечении постоянной оптимизации действий Anthropic в интересах долгосрочного благополучия человечества. Мы совместно с LTBT и сотрудниками различных подразделений Anthropic разработали этот исследовательский план.

Это динамическая повестка дня, а не жестко зафиксированная. Мы будем постоянно совершенствовать эти вопросы по мере накопления доказательств и ожидаем появления новых вопросов, не охваченных сегодня. Мы приветствуем ваши отзывы по поводу этой повестки дня и будем корректировать ее на основе информации, полученной в ходе обсуждений.

Если вы заинтересованы в помощи нам в ответах на эти вопросы, мы приглашаем вас подать заявку на стажировку в Anthropic. Программа стажировки длится четыре месяца и проводится под руководством членов команды TAI; вы сможете исследовать одну или несколько связанных проблем. Более подробную информацию и возможность подать заявку на следующий цикл программы вы найдете здесь.

Наша исследовательская повестка дня:

Последнее обновление: 7 мая 2026 года

Экономическое расширение

Важно понимать, как внедрение все более мощных систем искусственного интеллекта меняет экономику. Нам также необходимо разработать необходимые экономические данные и прогнозные возможности, чтобы выбирать способы внедрения искусственного интеллекта, которые принесут пользу обществу.

Чтобы ответить на вопросы, поставленные в этом столбе исследования, мы将进一步 улучшить данные в Индексе человеческой экономики. Мы также изучим другие методы для улучшения нашей модели того, как мощный искусственный интеллект влияет на общество — будь то вызов безработицы, беспрецедентный экономический рост или другие аспекты.

Применение и распространение искусственного интеллекта

• Кто использует искусственный интеллект? Разработка искусственного интеллекта сосредоточена на немногих компаниях в немногих странах, но его внедрение имеет глобальный характер. Что определяет, может ли страна, регион или город получить доступ к искусственному интеллекту? Если доступ к нему возможен, как они извлекают из него экономическую ценность? Какие политики и бизнес-модели могут эффективно изменить эту ситуацию? Как свободные или открытые весовые модели способствуют изменению этой динамики?
• Применение искусственного интеллекта на корпоративном уровне: почему компании внедряют искусственный интеллект и какие последствия это имеет? Как искусственный интеллект изменяет масштаб, при котором компании или команды могут достигать максимальной эффективности? Насколько сосредоточено применение искусственного интеллекта между компаниями? Как изменения в степени сосредоточенности применения искусственного интеллекта влияют на прибыльность и долю труда? Если команда из трех человек или компания теперь могут выполнять работу, которую раньше требовалось делать 300 людям, как изменится структура отрасли? Или, если компании могут легче концентрировать знания, и такой подход обеспечивает экономию масштаба, не приведет ли это к появлению более крупных и расширяющихся компаний, которые будут более заинтересованы в систематическом наблюдении за сотрудниками?
• Является ли искусственный интеллект универсальной технологией? Следует ли искусственный интеллект модели предыдущих «универсальных технологий», согласно которой он быстрее всего распространяется в прибыльных коммерческих применениях, но медленнее всего — в областях, где общественная отдача превышает частную? Существуют ли политики или решения, способные изменить эту тенденцию?

Производительность и экономический рост

• Рост производительности: какое влияние окажет искусственный интеллект на скорость инноваций и рост производительности всей экономики?
• Распределение выгод: какие механизмы предварительного или повторного распределения могут эффективно более широко распространить выгоды от разработки и внедрения ИИ?
• Стоимость торговли на рынке: как искусственный интеллект влияет на торговые системы и стоимость торговли на рынке? В каких случаях поручение переговоров агенту повышает эффективность рынка и обеспечивает справедливые результаты? А в каких — нет?

Широкое влияние на рынок труда

• Искусственный интеллект и занятость: как искусственный интеллект изменит состояние занятости в различных секторах экономики? Какие новые задачи и рабочие места могут возникнуть по мере автоматизации существующих экономических процессов с помощью ИИ? Каковы будут различия в этих изменениях между различными регионами и странами? Наш «Индекс человеческой экономики» будет ежемесячно предоставлять информацию о том, как люди воспринимают влияние ИИ на свою работу и какие ожидания они имеют относительно будущего. Мы также будем обновлять экономические индексы, чтобы делиться более частыми и детализированными данными.
• Можно ли регулировать скорость распространения искусственного интеллекта? Центральные банки различных стран используют такие «инструменты регулирования», как процентные ставки и перспективные ориентиры, для сдерживания инфляции. Могут ли компании, работающие в сфере искусственного интеллекта (на отраслевом уровне, в сотрудничестве с правительством), применять аналогичные методы регулирования, постепенно контролируя скорость распространения ИИ в каждой отрасли? Приведет ли это к значимой общественной выгоде?

Будущее работы и рабочих мест

• Взгляды трудящихся на работу: как трудящиеся из различных отраслей воспринимают профессиональные изменения? Насколько велико их влияние на эти изменения? Можно ли сохранить или преобразовать силу «трудящихся»?
• Система подготовки профессиональных кадров: многие отрасли зависят от начальных должностей (например, помощники юристов, младшие аналитики и ассистенты разработчиков) для подготовки будущих высококвалифицированных специалистов. Если искусственный интеллект заменит работу, на которой ранее накапливалась профессиональная экспертиза, то как люди впервые станут экспертами в этой области? Что это означает для долгосрочного запаса высококвалифицированных кадров в этой сфере?
• Обучение для будущего: что следует изучать сегодня, чтобы подготовиться к будущему? Какие профессии будут востребованы в будущем? Как искусственный интеллект изменит способы обучения и развития профессиональных навыков?
• Роли с оплачиваемой работой: если искусственный интеллект значительно снизит центральную роль оплачиваемой работы в жизни людей, то при каких условиях люди смогут перераспределить своё время и энергию на другие значимые источники? Что мы можем узнать из истории или современности у групп, у которых работа была редкой или излишней? Как общество должно реагировать на такое изменение?

Угрозы и устойчивость

Искусственные интеллектуальные системы часто способны одновременно улучшать несколько навыков, включая двойное назначение. Например, ИИ с улучшенными биологическими способностями легче создает биологическое оружие. ИИ с высокими навыками компьютерного программирования легче проникает в компьютерные системы. Если мы сможем лучше понять угрозы, которые могут усугубляться искусственным интеллектом, общество сможет легче справляться с изменяющейся угрозой.

Мы задаем эти вопросы, чтобы способствовать установлению партнерств, направленных на усиление способности мира реагировать на трансформационный ИИ и создание систем раннего предупреждения о новых угрозах. Многие из этих вопросов будут направлять нашу передовую повестку дня исследований красной команды.

Оценка рисков и двойного назначения:

• Двухцелевая технология: Мощный искусственный интеллект по своей сути является двухцелевым — он может использоваться как для улучшения инструментов в здравоохранении и образовании, так и для наблюдения и подавления. Можем ли мы создать инструменты наблюдаемости, чтобы понять, происходит ли это и как именно?
• Как рационально оценивать риски: какие существуют эффективные, основанные на рынке методы повышения устойчивости общества к ожидаемым угрозам со стороны систем ИИ? Можем ли мы разработать новые методы оценки рисков или технологические инструменты и человеческие структуры для повышения устойчивости до наступления предсказуемых угроз, таких как усиление способностей ИИ к кибератакам?
• Баланс атаки и защиты: способности, предоставленные искусственным интеллектом, окажут ли фундаментальное преимущество атакующим сторонам в таких областях, как киберпространство и биобезопасность? Когда искусственный интеллект применяется в более традиционных областях, например, при все более тесной интеграции с системами управления и контроля, способствует ли он также атакующим сторонам? В более широком смысле, как искусственный интеллект изменит характер человеческих конфликтов?

Разработайте меры по снижению рисков:

• План реагирования на кризис: во время холодной войны президент США имел прямую линию связи с Кремлем для использования в случае ядерного кризиса. Тогда какая геополитическая инфраструктура необходима, если кризис вызван искусственным интеллектом? Такая инфраструктура не обязательно должна быть межгосударственной — она может быть межкорпоративной или между компаниями.
• Более быстрые механизмы защиты: возможности искусственного интеллекта могут значительно развиваться за несколько месяцев, в то время как ответные меры со стороны регулирования, страхования и инфраструктуры требуют нескольких лет. Как нам преодолеть этот разрыв? Могут ли такие механизмы защиты, как автоматические патчи, обнаружение угроз с помощью ИИ или предварительно развернутые реакционные возможности, успевать за скоростью и масштабом атак ИИ? Или это несимметричность является структурной? Как мы можем максимально эффективно внедрить эти механизмы защиты?

Разведывательные возможности для наблюдения

• Влияние искусственного интеллекта на наблюдение: как искусственный интеллект изменит способ функционирования наблюдения? Снизит ли он стоимость наблюдения, повысит его эффективность или и то, и другое?

Искусственный интеллект в реальном применении

Взаимодействие людей с организациями и системами искусственного интеллекта станет важным источником социальных изменений. Понимание того, как системы искусственного интеллекта могут изменить людей и институты, взаимодействующие с ними, является ключевой областью исследований нашей команды по социальному воздействию. Для изучения этих изменений мы совершенствуем существующие инструменты и разрабатываем новые, охватывая всё — от программного обеспечения для повышения наблюдаемости платформы до инструментов для проведения масштабных качественных исследований.

Влияние искусственного интеллекта на личность и общество:

• Эпистемология толпы: что происходит с нашей эпистемологией, когда значительная часть населения опирается на одни и те же несколько моделей? Можем ли мы найти способы измерить масштабные изменения в убеждениях, стиле письма и методах решения проблем, вызванные совместным использованием искусственного интеллекта?
• Критическое мышление: По мере того как системы искусственного интеллекта становятся все более мощными и надежными, как мы можем выявлять и предотвращать ухудшение способности человека к критическому мышлению из-за все большей зависимости от суждений ИИ?
• Интерфейс: интерфейс технологии определяет, как люди взаимодействуют с технологией — телевизоры превращают людей в пассивных зрителей, а компьютеры делают людей более способными стать творческими создателями. Какие интерфейсы мы можем создать, чтобы системы искусственного интеллекта улучшали и способствовали автономии человека?
• Управление системой человеческо-машинного взаимодействия: как люди эффективно управляют командами, состоящими из людей и искусственных интеллектов? И как системы искусственного интеллекта управляют командами, состоящими из людей, искусственного интеллекта или их сочетания?

Выявите значительное влияние искусственного интеллекта:

• Влияние на поведение: Как социальные сети изменяют поведение людей, так и искусственный интеллект может формировать человеческое поведение. Какие методы наблюдения или измерения могут помочь исследователям понять эти динамические изменения?
• Содействие исследованиям: существуют ли прозрачные механизмы и инструменты, позволяющие широкой публике (а не только передовым компаниям в области искусственного интеллекта) легко изучать применения искусственного интеллекта в реальном мире?

Понимание и управление моделями искусственного интеллекта:

• Системные «ценности»: какие «ценности» выражают искусственные интеллектуальные системы? Как эти ценности связаны с методами обучения системы? Более конкретно, как мы можем измерить влияние «состава» искусственного интеллекта на его поведение после развертывания? Мы расширим предыдущие исследования по этим вопросам.
• Управление автономными агентами: какие аспекты существующего законодательства, систем управления и механизмов подотчетности могут применяться к автономным ИИ-агентам? Например, как морское право решает вопросы о брошенных судах, связано с тем, как закон регулирует неуправляемых автономных агентов. С другой стороны, существуют ли в существующем законодательстве аспекты, которые уже применяются к ИИ-агентам, но на самом деле не должны применяться?
• Надежность агентов: какие аспекты автономных искусственных интеллектуальных агентов можно настроить для соответствия существующим правовым, управленческим и ответственным механизмам? Например, можем ли мы обеспечить уникальную и надежную идентичность искусственных интеллектуальных агентов даже в отсутствие прямого человеческого контроля?
• Искусственный интеллект управляет искусственным интеллектом: как мы можем эффективно использовать искусственный интеллект для управления системами искусственного интеллекта? В каких областях регулирования искусственного интеллекта люди обладают сравнительными преимуществами или обязаны участвовать в соответствии с правовыми или нормативными требованиями?
• Взаимодействие агентов: какие нормы возникают при взаимодействии между искусственными интеллектуальными агентами? Как различные агенты выражают свои предпочтения и как эти предпочтения влияют на других агентов?

Искусственный интеллект для исследований и разработок

По мере того как возможности систем искусственного интеллекта становятся все более мощными, ученые все чаще используют их для проведения все большего числа исследований. Это означает, что все больше научных исследований проводятся автономно или полунезависимо с минимальным участием человека. В области исследований искусственного интеллекта все более мощные системы могут использоваться для разработки собственных последующих версий. Мы иногда называем эту модель «исследования искусственного интеллекта, управляемые искусственным интеллектом».

Развитие искусственного интеллекта, управляемое искусственным интеллектом, может стать «естественным бонусом» для создания более умных и мощных систем. Как прогресс в программировании привел к развитию сетевых возможностей двойного назначения, так и прогресс в научных способностях может привести к появлению биологических возможностей двойного назначения; аналогично, прогресс в сложной технической работе может естественным образом породить системы ИИ, способные самостоятельно разрабатывать искусственный интеллект.

Разработка искусственного интеллекта с использованием искусственного интеллекта несёт в себе огромные потенциальные риски. При оценке мер, которые можно принять, политикам крайне важно понимать тенденции изменения скорости развития искусственного интеллекта, а также начнёт ли исследование в области искусственного интеллекта порождать эффект сложного процента.

Искусственный интеллект для разработки искусственного интеллекта

• Управление разработкой искусственного интеллекта: если системы искусственного интеллекта используются для автономной разработки и улучшения самих себя, как люди могут эффективно понимать и контролировать эти системы? В конечном итоге, что будет управлять этими системами?
• Экстренное упражнение по информационному взрыву: как проводить экстренное упражнение по информационному взрыву? Как организовать настольное упражнение, чтобы действительно проверить способность к принятию решений руководства лаборатории, совета директоров и правительства?
• Телеметрия разработки ИИ: как мы можем измерить общую скорость разработки ИИ? Какие технологии телеметрии и базовые технические средства необходимы для сбора этой информации? Как индикаторы, связанные с разработкой ИИ, могут служить ранними сигналами предупреждения для рекурсивного самосовершенствования?
• Контроль ускоренного развития ИИ: если приближается интеллектуальный взрыв, какие точки вмешательства могут замедлить или изменить скорость этого взрыва? Если предположить, что человечество может вмешиваться, то какие субъекты должны обладать такой способностью — правительства? Компании?

Применение искусственного интеллекта в области исследований — то есть исследования в других областях, управляемые искусственным интеллектом:

• Дерево технологий: искусственный интеллект ускоряет развитие некоторых научных областей намного быстрее, чем других, в зависимости от доступности данных, показателей оценки и того, насколько много знаний является неявным или ограничено институционально. Насколько неравномерен этот темп развития? Какие человеческие проблемы будут приоритетными в результате изменений, вызванных научным прогрессом?
• Крутой фронт: способности моделей сильнее в некоторых областях, чем в других. Области с огромными положительными внешними эффектами — например, разработка лекарств и материаловедение — получают инвестиции远远低于其价值应得的水平。市场根据私人回报引导模型改进的方向，但我们能否改进模型的性能以应对社会外部性？

Эта статья взята из официального аккаунта WeChat «Исследовательская группа по стоимости» (ID: jiazhiyanjiusuo), автор: Динси