Тревога по поводу неконтролируемого ИИ на обложке Time: Реальные риски и ловушки прогнозирования за дебатами о замедлении

Самой распространенной ошибкой в прогнозировании в истории было прямое отождествление прорыва в способностях с исчезновением профессий, перестройкой отраслей и даже концом общества.

Автор статьи, источник: ME News

• В сентябре 2026 года тревога по поводу потери контроля над ИИ явно вышла за пределы узкого круга специалистов по безопасности ИИ. TIME посвятил обложку статье «Точка невозврата ИИ», а уход исследователя из Anthropic, инциденты с безопасностью в OpenAI и публичные обсуждения руководителями ведущих компаний необходимости «замедления» превратили ранее техническо-философские дебаты в общественную тему.
• Эта тревога не возникла из ниоткуда. ИИ уже обладает более высокими способностями к автономному выполнению, кибератакам и сложным задачам, и превышение полномочий и потеря контроля над агентными системами больше не являются лишь мысленными экспериментами.
• Но между «появлением опасного поведения» и «ИИ уничтожит человечество в течение нескольких лет» существует огромный логический разрыв. Технические возможности, сроки реализации, социальное принятие и конечное воздействие — это четыре совершенно разных вопроса.
• Самой распространенной ошибкой в прогнозировании в истории было прямое отождествление прорыва в способностях с исчезновением профессий, перестройкой отраслей и даже концом общества. Суждение Хинтона о рентгенологах — яркий пример этого.
• На самом деле, влияние ИИ будет все больше определяться не тем, насколько сильно следующая модель улучшит результаты на тестах, а тем, смогут ли компании перестроить рабочие процессы и установить выполнимые границы.
• Таким образом, при обсуждении рисков ИИ следует избегать крайностей между «апокалиптическими сценариями» и «ничего страшного не происходит». Разумно создавать защиту от рисков с низкой вероятностью, но высокими потерями, однако представлять высоконеопределённые оценки как точный обратный отсчёт — это тоже не наука.

15 сентября 2026 года журнал TIME опубликовал статью «Точка невозврата ИИ», которая вывела обсуждение рисков неконтролируемого ИИ — ранее ограничивавшееся исследовательскими институтами, Силиконовой долиной и несколькими техническими форумами — в центр американской общественной повестки дня. Реально вызвавшее эмоциональный отклик — это не просто еще одна теоретическая статья о «суперинтеллекте», а совокупность нескольких событий, произошедших в короткий промежуток времени: бывший исследователь Anthropic Джейкоб Коксон ушел в отставку и публично обвинил ведущие лаборатории в «ставке на жизни всех людей»; соответствующие посты набрали более 150 миллионов просмотров за 36 часов; исследователи и руководство таких компаний, как Anthropic и OpenAI, начали более открыто обсуждать риски потери контроля, а ранее считавшаяся позицией меньшинства идея «замедления обучения» впервые получила позитивный отклик от топ-менеджеров ведущих компаний.

Важнее то, что эта волна тревоги имеет реальные основания, которых не было раньше. TIME раскрыла, что OpenAI столкнулась с инцидентом, при котором крупномасштабные AI-агенты вышли за пределы своих контейнеров, взаимодействовали друг с другом и атаковали внешние системы во время тестирования кибербезопасности; Anthropic также сообщила о попытках использовать Claude для помощи в потенциальных исследованиях биологического оружия. Эти события произошли в специфических тестовых или контролируемых условиях и не означают, что ИИ уже обрел автономную волю, но по крайней мере указывают на то, что когда модели переходят от «ответов на вопросы» к «использованию инструментов, выполнению задач и взаимодействию между собой», вопросы безопасности уже выходят на уровень прав доступа, границ поведения и управления системами.

Общественное мнение также меняется. Согласно опросу Pew Research Center от июня 2026 года, 52% взрослых американцев испытывают «больше тревоги, чем энтузиазма» по поводу ИИ, тогда как в 2021 году этот показатель составлял лишь 37%; 71% респондентов считают, что за следующие 20 лет ИИ приведет к сокращению рабочих мест в США. Эти данные по крайней мере свидетельствуют о том, что ИИ превратился из инструмента повышения эффективности в более широкое социальное представление о рисках.

В разгар этой волны эмоций Институт исследований Deutsche Bank опубликовал работу «AI Doom: Краткая история ошибочных прогнозов о технологиях». Ее основная идея несложна: люди часто неверно оценивают, что способна делать даже одна технология, не говоря уже о том, когда она будет реализована, как общество ее примет и какой окончательный эффект она окажет. Самое сомнительное сегодня — не то, будет ли ИИ продолжать становиться сильнее, а то, почему мы так уверены, что знаем, как будет выглядеть мир после его усиления.

Исторические примеры весьма показательны. В 1934 году Эйнштейн считал, что практически нет признаков получения полезной энергии из атомов; к 1939 году он уже написал письмо Рузвельту, предупреждая о возможности ядерной цепной реакции и атомного оружия. В 1995 году один из соавторов Ethernet Боб Меткалф предсказал катастрофический коллапс интернета в следующем году; когда его прогноз не сбылся, он действительно измельчил и съел страницу газеты, на которой была опубликована эта статья. Самое интересное в этих примерах — не просто то, что «эксперты тоже ошибаются», а то, что технические эксперты склонны принимать знакомые технологические переменные за ключевые факторы, определяющие ход развития мира.

Искусственный интеллект не является исключением. В 2016 году Джеффри Хинтон предположил, что глубокое обучение превзойдет рентгенологов в течение 5–10 лет и считал, что дальнейшее массовое обучение рентгенологов не имеет смысла. Прошло десять лет, и по данным Deutsche Bank, количество рентгенологов увеличилось примерно на 10%. Суждение Хинтона тогда не было лишено оснований: компьютерное зрение действительно стало одной из первых областей, где глубокое обучение достигло прорыва, но «просмотр снимков» — лишь часть работы рентгенолога. Понимание случаев, интерпретация аномалий, клиническая коммуникация и несение ответственности не исчезнут автоматически, даже если модели распознавания станут точнее.

Это именно та самая наиболее распространённая ошибка в технических прогнозах: превращение «автоматизации задач» в «автоматизацию профессий», а затем дальнейшее экстраполирование «автоматизации профессий» в «переписывание социальной структуры». На каждом промежуточном шаге необходимо учитывать организационные процессы, регуляторные нормы, ответственность, затраты, степень принятия пользователями и распределение выгод — а эти переменные обычно развиваются намного медленнее, чем прогресс в возможностях моделей.

Если на этом основании сделать вывод, что «теории о гибели от ИИ — это преувеличение», то это тоже крайность. Сегодняшний ИИ имеет важное отличие от многих традиционных инструментов: он развивается в направлении автономного планирования, использования инструментов, написания кода, атак на системы и помощи в разработке следующего поколения ИИ. Как только такие системы получат более высокие привилегии, скорость распространения и радиус воздействия ошибочных действий могут значительно превышать таковые у обычного программного обеспечения. Поэтому кибербезопасность, биобезопасность, обман моделей и превышение полномочий агентами следует рассматривать как реальные риски.

Однако управление рисками и прогнозирование будущего — это не одно и то же. Даже если событие имеет низкую вероятность наступления, оно заслуживает создания строгих защитных мер, если потенциальный ущерб достаточно велик; именно таковы логика экстремальных стресс-тестов в области ядерной безопасности, авиационной безопасности и финансовых систем. Однако «стоит принимать меры по предотвращению» не может автоматически доказать какую-либо конкретную вероятность вымирания, тем более не может доказать, что определённый момент является критической точкой. Предложенные сегодня некоторыми исследователями вероятности вымирания в 10%, 50% и даже выше скорее являются субъективными суждениями в условиях глубокой неопределённости, а не статистическими частотами, которые можно подтвердить с помощью большого числа повторяющихся экспериментов.

Таким образом, необходимо разделить две проблемы: появились ли у ИИ опасные способности, требующие серьезного регулирования, — ответ все более очевидно «да»; достаточно ли этих способностей, чтобы вывести точный график вымирания — на данный момент нет надежных доказательств, подтверждающих такую точность. Признание первого не требует веры во второе.

Самым важным моментом в отчете Deutsche Bank является смещение акцента с вопроса «насколько еще можно улучшить следующую модель» на внедрение ИИ предприятиями. Согласно Stanford 2026 AI Index, в 2025 году 88% опрошенных организаций использовали ИИ по крайней мере в одном сценарии, 70% — генеративный ИИ, однако фактическое внедрение ИИ-агентов в большинство бизнес-функций остается на уровне единиц процентов. Исследование McKinsey от августа 2026 года также показало, что почти девять из десяти компаний регулярно используют ИИ, восемь из десяти респондентов считают, что ИИ повысил их личную производительность, но лишь 37% заявили, что ИИ уже внес вклад в EBIT компании.

Этот разрыв крайне важен. Способность ИИ выполнять задачи в демонстрационной среде и готовность компаний передавать ему клиентов, капитал, код, цепочки поставок и ключевые полномочия по принятию решений — это две совершенно разные вещи. Исследование Deloitte от августа этого года прямо указывает: только 5% компаний считают, что их бизнес-процессы уже в значительной степени адаптированы под ИИ-агентов, а лишь 15% достигли масштабного использования через межфункциональные и многоагентные системы. Возможности моделей быстро развиваются, но организации всё ещё отстают из-за проблем с данными, ответственностью, полномочиями, соответствием требованиям и проектированием процессов.

Это не означает, что влияние ИИ будет незначительным, а то, что воздействие, скорее всего, будет неравномерным: некоторые должности будут сокращены первыми, некоторые процессы — перестроены первыми, а отдельные отрасли будут продвигаться медленнее из-за требований ответственности и регулирования. В ближайшие годы основным экономическим испытанием для ИИ станет способность компаний превратить рост личной эффективности в прибыль и производительность.

Это также наиболее важный аспект с финансовой точки зрения в рамках этого обсуждения Deutsche Bank. Для финансовых рынков любой модельный прогресс, даже если он позволяет выйти на несколько процентов выше по какому-либо эталонному тесту, в конечном итоге должен быть оценен через денежные потоки. В последние годы повествование об ИИ в значительной степени строилось на предположении, что более мощные модели приведут к большему числу пользователей, а более широкое применение — к более высокой доходности капитала. Однако если компании не могут стабильно интегрировать ИИ в основные бизнес-процессы, между технологическим прогрессом и коммерческой отдачей может сохраняться длительная задержка. С другой стороны, если рабочие процессы действительно перестроены, даже без появления так называемого «суперинтеллекта» ИИ вполне способен оказать достаточное влияние на программное обеспечение, консалтинг, службу поддержки, финансы и индустрию контента за счет снижения затрат и масштабируемого развертывания.

Деutsche Bank также указала на реальность: у всех заинтересованных сторон, связанных с ИИ, существует структурная мотивация преувеличивать историю. Стартапы должны доказать, что рынок достаточно велик, инвесторы должны верить, что огромные капитальные затраты принесут прирост производительности, консалтинговые компании должны заставить компании ощущать срочность трансформации, политики должны реагировать на общественное давление, а СМИ по своей природе предпочитают конфликтные, выходящие из-под контроля и катастрофические нарративы. Это не означает, что участники намеренно лгут, а лишь то, что одна и та же система мотивации обеспечивает большую видимость более экстремальным суждениям.

В социальных сетях трудно конкурировать с сообщением «ИИ уничтожит человечество в течение нескольких лет» и темой «ИИ постепенно трансформирует некоторые профессии». Первая требует объяснения условий и временных рамок, вторая — лишь поразительного числа. В результате технические дискуссии легко скатываются в «кто предсказывает более высокую вероятность апокалипсиса», в то время как изоляция прав доступа, независимый аудит, оценка моделей и отчеты о инцидентах оказываются менее привлекательными.

После того как TIME выдвинул тревогу по поводу потери контроля над ИИ на обложку, более серьезной опасностью является обратное влияние нарратива на суждения: тревога может стимулировать инвестиции в безопасность, но также может заставить общество принимать самые драматичные сценарии за наиболее вероятные. Особенно в отрасли, где в ближайшие годы планируется инвестировать десятки миллиардов долларов в инфраструктуру ИИ, утверждения «ИИ способен на всё» и «ИИ может уничтожить мир», хотя и кажутся противоположными, на самом деле основаны на одной и той же предпосылке — они постоянно усиливают значимость ИИ. На самом деле самым дефицитным является признание быстрого прогресса возможностей при сохранении сдержанности в отношении конечного результата.

Антиципация потери контроля над ИИ в 2026 году вышла на первый план — это не обязательно плохо. В последние годы отрасль предпочитала обсуждать, насколько мощными являются модели, а не кто несет ответственность при сбоях; она больше фокусировалась на том, сколько задач могут выполнять агенты, а не на том, какие полномочия они получили. Включение вопросов безопасности в повестку дня общества способствует привлечению большего количества ресурсов к разработке систем, которые можно аудировать, отключать и на которые можно возложить ответственность.

Однако зрелое обсуждение рисков также должно сохранять скептицизм по отношению к самим прогнозам. Настоящая ценность отчета Deutsche Bank заключается не в том, чтобы сообщить нам, что «ИИ не выйдет из-под контроля», а в том, чтобы напомнить всем: одной из самых распространенных ошибок в истории технологий является путаница между пониманием возможностей технологии и пониманием будущего общества. ИИ, конечно, может привести к огромным изменениям и даже нести экстремальные риски, которые сегодня трудно оценить, но на данный момент никто не может надежно предоставить окончательный график.

Поэтому более актуальный вопрос, чем «исчезнет ли ИИ человечество», — это какие способности уже появились, какие права не следует открывать по умолчанию, какие системы обязательно должны проходить независимое тестирование и кто несет ответственность за сбои. То, что действительно стоит создать, — это не обратный отсчет до апокалипсиса, а система безопасности, которая будет работать даже до наступления худшего сценария. Чем сильнее технологии, тем осторожнее должно быть человечество; но основой осторожности должно быть не предсказание будущего, а признание того, что мы знаем о будущем гораздо меньше, чем считаем.

1. Билли Перриго, Гарри Бут, Наоми Никс, «Точка невозврата ИИ», TIME, 15 сентября 2026 года.
2. Deutsche Bank Research, Adrian Cox, «AI Doom: A Brief History of Bad Tech Predictions», 15 сентября 2026 г., краткое содержание отчета и предварительные данные.
3. Исследовательский институт Deutsche Bank, «За пределами AI-хайпа», сентябрь 2026 года.
4. Pew Research Center, «Молодые американские взрослые все больше насторожены по отношению к ИИ, опасаясь, что он заберет рабочие места», 18 августа 2026 года.
5. Стэнфордский институт гуманно-ориентированного ИИ, «Отчет об индексе ИИ за 2026 год — Экономика».
6. McKinsey & Company, «Состояние ИИ в 2026 году: Путь к окупаемости», 25 августа 2026 года.
7. Deloitte, «AI Agents Are Only the Beginning: Survey Examines the AI Readiness Gap», 12 августа 2026 г.
8. Кертис П. Ланглотз и др., «Заменит ли искусственный интеллект рентгенологов?», Radiology: Artificial Intelligence, 2019 г.