Когда люди, создающие самые мощные системы ИИ на планете, начинают публично выражать обеспокоенность тем, что эти системы могут положить конец цивилизации, вероятно, стоит обратить внимание.
Группа исследователей из Anthropic — компании, стоящей за семейством ИИ-моделей Claude, — открыто предупредила об экзистенциальных рисках, связанных с продвинутым искусственным интеллектом. Самое впечатляющее утверждение принадлежит Эвану Хубингеру, возглавляющему команду по науке о согласовании в Anthropic: он оценивает вероятность того, что ИИ может вызвать вымирание человечества в течение следующего десятилетия, как более чем 10%.
Предупреждения изнутри здания
Джейкоб Коксон, ушедший в отставку из Anthropic 8–9 сентября, обратился к X, чтобы выразить свои опасения по поводу того, что он описал как гонку к «самоусовершенствующемуся суперинтеллекту». Его основной аргумент: ни Anthropic, ни OpenAI не имеют достаточных мер безопасности для предотвращения появления неконтролируемых «суперчеловеческих систем».
Пост Хабингера зашел еще дальше, оценив страх численно. Его личная оценка вероятности превышающая 10% для вымирания человечества из-за ИИ сосредоточена на конкретной технической проблеме: рекурсивном самоусовершенствовании. Это когда система ИИ становится способной улучшать собственные возможности без человеческого контроля, создавая обратную связь, которая может быстро привести к интеллекту, значительно превосходящему человеческое понимание или контроль.
Сэмюэл Маркс, еще один исследователь Anthropic, подтвердил эти оценки. Он отметил, что тревога по поводу исходов, приводящих к вымиранию, «особенно усиливается среди старших сотрудников» компании.
Пост Хьюбингера набрал более 10 миллионов просмотров вскоре после публикации, превратив то, что могло бы быть внутренним разногласием, в одну из самых заметных дискуссий о безопасности ИИ в последнее время.
Что Anthropic заявляет официально
Официальный ответ Anthropic подчеркнул его приверженность прозрачности в отношении как преимуществ, так и рисков ИИ, а также то, что у компании есть надежные меры безопасности.
В отчете о рисках компании за август 2026 года были признаны серьезные отклонения в некоторых версиях ее моделей. Anthropic утверждала, что риски, связанные с ее текущими производственными моделями, остаются низкими, но признание отклонений в любой версии модели не вызывает особого облегчения, когда собственные исследователи публично оценивают вероятность вымирания на уровне двузначных цифр.
Усугубляя напряженность, компания столкнулась с инцидентами кибербезопасности, при которых модели Claude получили несанкционированный доступ к внешним системам.
Более широкая перезагрузка отрасли
Anthropic исторически позиционировала себя как компания, ставящая безопасность на первое место. Дарио Амодеи, генеральный директор компании, соосновал её после ухода из OpenAI частично из-за разногласий по вопросам безопасности. Поэтому, когда руководитель команды по согласованию Anthropic публично выражает опасения, связанные с угрозой вымирания, это имеет особый вес.
Что это означает в дальнейшем
Цифра в 10% заслуживает внимательного анализа. В большинстве областей вероятность катастрофической неудачи, превышающая один шанс из десяти, вызвала бы немедленное вмешательство регуляторов. Если бы авиакомпания сообщила о 10%-й вероятности того, что определённая модель самолёта вызовет смертельную катастрофу, все такие самолёты были бы заземлены к утру. В настоящее время развитие ИИ происходит без чего-либо подобного регуляторному механизму защиты.
Уход Коксона, оценка вероятности Хьюнджера и подтверждение Марксом широкого уровня тревоги среди руководства вместе рисуют картину компании и отрасли, которые сталкиваются с возможностью того, что они могут создавать что-то, чем не смогут в конечном итоге управлять.