Anthropic сталкивается с сопротивлением со стороны правительства из-за модели Fable AI

Автор: Бен Томпсон

Перевод: Shenchao TechFlow

Обзор Shenchao: Новая модель Anthropic Fable была немедленно приостановлена правительством США спустя всего два месяца после выпуска — под предлогом «утечки безопасности», на самом деле это раскрывает двойную войну лабораторий ИИ с правительством и программной индустрией. Компания, позиционирующая себя как «безопасная», превращает нарратив о безопасности в коммерческую защиту, а на самом деле стремится завладеть пользовательскими данными, находящимися в руках таких компаний, как Microsoft.

Я понимаю позицию насмешников, которые всегда считают, что публичные заявления Anthropic, особенно при выпуске моделей, являются маркетинговым инструментом для распространения паники. Два месяца назад Anthropic объявила о запуске Mythos Preview, утверждая, что эта модель слишком опасна для публичного выпуска, особенно из-за её мощных возможностей в области кибербезопасности. Затем через два месяца компания публично выпустила Fable — версию Mythos с различными безопасными ограничениями.

На основе моего ограниченного опыта использования Fable — это действительно исключительно мощная модель. Сейчас, помимо программистских способностей, объективно оценить модели сложно, но субъективные ощущения всё же есть: я обнаружил, что взаимодействие с Fable невероятно приятно; оно делает все остальные модели, включая GPT 5.5 и Opus 4.8, кажущимися маленькими и глупыми. Раньше я испытывал такое ощущение только дважды — с GPT-4 и Grok 4, оба из которых представляли собой новое поколение базовых моделей по масштабу и сложности; я считаю, что Fable является результатом нового предварительного обучения и первой моделью нового поколения.

Поэтому я полностью принимаю, что Fable/Mythos действительно лучше справляется с выявлением и использованием уязвимостей, и осторожный запуск Anthropic имеет смысл. Но проблема публичного выпуска модели в том, что защитные механизмы можно обойти — и, как очевидно, это произошло вскоре после выпуска.

Далее произошло что-то неясное. В блог-посте Anthropic написала:

Правительство США, сославшись на полномочия в области национальной безопасности, выпустило указ об экспортном контроле, приостанавливающий доступ всех иностранных граждан к Fable 5 и Mythos 5, независимо от того, находятся ли они внутри или за пределами США, включая иностранных сотрудников Anthropic. Фактическим результатом этого указа стало то, что мы вынуждены внезапно отключить доступ к Fable 5 и Mythos 5 для всех клиентов для обеспечения соблюдения требований. Доступ ко всем другим моделям Anthropic остается неизменным.

Мы получили указание от правительства сегодня в 17:21 по восточному времени. В письме не были предоставлены конкретные детали, связанные с опасениями в области национальной безопасности. Мы понимаем, что правительство считает, что был найден способ обойти или «выйти за пределы» Fable 5. Мы изучили демонстрацию, использующую эту конкретную технологию для выявления небольшого количества известных уязвимостей. Все эти уязвимости выглядят относительно простыми, и мы обнаружили, что другие общедоступные модели также способны обнаруживать их без обхода.

Anthropic далее утверждает, что неуниверсальные обходы неизбежны и ограничены по масштабу, при этом нет доказательств существования универсальных обходов; обнаруженные обходы, по-видимому, были сообщены Amazon, что примечательно, поскольку Amazon является как инвестором Anthropic, так и основным поставщиком сервисов вывода компании. На момент написания этой статьи руководители Anthropic находятся в Вашингтоне, пытаясь разрешить ситуацию, которую они называют недопониманием, в то время как чиновники Белого дома намекают на безразличие руководства компании к законным вопросам национальной безопасности.

Учитывая, что существует слишком много спорных фактов, у меня нет ничего добавить к текущему конфликту; однако я не удивлен, что конфликт происходит: я уже объяснил в статье «Anthropic и выравнивание», что конфликт между правительством США и Anthropic неизбежен. В этом контексте те, кто считает, что Mythos пока недостаточно мощен, чтобы заслуживать решительных действий со стороны правительства, упускают суть: если сейчас он еще недостаточно мощен, то следующий будет, или еще следующий, особенно теперь, когда модели становятся все более полезными в создании своих преемников.

Однако это порождает другой вопрос — вопрос, который, кажется, подтверждает точку зрения насмешников: если Mythos настолько опасен, почему вообще запускать Fable и противостоять правительству в попытке сделать то, что вы утверждаете, что хотите сделать? На самом деле, я считаю, что действия Anthropic вполне понятны; уникальность компании заключается в том, как она оправдывает эти действия — именно эти оправдания и дают насмешникам повод для критики, и одновременно придают Anthropic магию.

В первые годы ИИ наибольшая экономическая ценность потекла в вычислительные мощности, и причина очевидна: мы не имели достаточного предложения для удовлетворения спроса, что привело к резкому росту цен; основными受益者 стали NVIDIA, TSMC и производители памяти (SK Hynix, Samsung и Micron). В то же время Anthropic и OpenAI в совокупности понесли убытки в сотни миллиардов долларов на разработку передовых моделей, которые после выпуска были дистиллированы и коммерциализированы открытыми моделями, в основном из Китая.

Это отражает пессимистичный сценарий для лабораторий — они никогда не смогут покрыть свои расходы, поскольку их дифференциация времenna, а бесплатные альтернативы становятся «достаточно хорошими» — я считаю это обоснованным. В мире, где модели взаимозаменяемы, модели становятся товарами, а большая часть стоимости перемещается в другие места. Сейчас это вычислительные мощности, но со временем, когда у нас будет достаточно вычислительных мощностей, самое ценное место в цепочке создания стоимости останется тем же, что и всегда: доступ к пользователям.

Поэтому для передовых лабораторий экономическая необходимость быть ближе к пользователям всегда была для меня очевидна. Если у вас есть контакт с пользователем, у вас есть значимая привязка, а лучший способ обладать контактом с пользователем — стать холстом, на котором они совершают все необходимые действия. Это, в свою очередь, означает, что передовые лаборатории вступают в конфликт с программными компаниями: программное обеспечение владеет контактом с пользователем, но долгосрочные интересы передовых лабораторий заключаются не в том, чтобы просто стать товарным входом для программного обеспечения, а в прямой замене программного обеспечения.

В то же время программные компании стремятся делать противоположное. Сатья Наделла изложил свое видение того, как компании должны строить модели, в статье на X:

Каждая компания должна создать то, что я называю человеческим капиталом и токен-капиталом. Человеческий капитал включает в себя знания, способность к суждению, связи, изобретательность и распознавание паттернов сотрудников, а токен-капитал — это способности к ИИ, которые компания создает и владеет. Важно, что по мере роста токен-капитала человеческий капитал не становится менее ценным. Он становится только ценнее! Я верю, что инициатива человека будет движущей силой роста токен-капитала. Люди будут ставить амбициозные цели, соединять точки между различными областями, строить связи и выявлять наиболее важные паттерны. Без человеческого руководства ваши вычислительные мощности просто простаивают.

Это означает, что настоящая возможность заключается не в выборе лучшей модели, а в построении цикла обучения поверх модели, позволяющего капиталу труда и токеновому капиталу расти по сложному проценту. Вы можете делегировать задачу, даже целую работу, но вы никогда не сможете делегировать свое обучение. Будущее компаний заключается в способности обеспечивать рост этого обучения за счет взаимодействия между людьми и ИИ. Для этого требуется новый архитектурный подход, позволяющий каждому предприятию создавать системы агентов, которые улучшаются со временем, сохраняя при этом контроль над своей интеллектуальной собственностью. Компании должны иметь возможность заменять «общие» модели, не теряя при этом накопленные в их системах обучения знания «ветеранов компании». Это ключевой «тест» на контроль и суверенитет в эпоху будущего.

Наделла начал это видение с предупреждения:

Мы не хотим видеть мир, в котором каждая компания в каждой отрасли передает свою ценность нескольким моделям, поглощающим всё. Если вся ценность будет захвачена лишь несколькими моделями, политическая экономика просто не позволит этого. Общество не даст разрешения на ИИ-будущее, которое опустошает целые отрасли.

Подумайте, что произошло на первом этапе глобализации: вся промышленная экономика была передана на аутсорсинг и опустошена. На поверхности цифры ВВП выглядели неплохо, но безработица была реальной, и последствия до сих пор ощущаются. Давайте не переносить эту динамику в эпоху ИИ, когда несколько систем ИИ захватят всю экономическую выгоду, а целые отрасли обнаружат, что их знания были коммерциализированы прямо у них на глазах.

Проблема этой аналогии в том, что глобализация действительно произошла, и промышленные экономики действительно были опустошены. Это может быть не предупреждением, а пророчеством; неудивительно, что Наделла поднимает тревогу, поскольку Microsoft может быть одним из пострадавших. Точно так же экономическая необходимость производителей моделей заключается именно в этом.

Эти модели — даже Mythos — еще не дошли до этого этапа. Им нужно не только больше вычислительных мощностей, но и больше и лучших данных. Улучшения моделей все чаще происходят благодаря обучению с подкреплением; некоторые из них могут быть синтезированы, но самым мощным рычагом для передовых лабораторий остается использование в реальном мире.

Я считаю, что именно поэтому OpenAI и Anthropic предлагают подписки с крупными субсидиями. SemiAnalysis недавно оценила, что план за 200 долларов позволяет получить токены Claude на сумму 8000 долларов и токены Codex на сумму 14000 долларов. Конечно, обе компании конкурируют за долю внимания пользователей и разработчиков, но они также борются за доступ к данным о реальном использовании для улучшения моделей.

Anthropic значительно усилила свои усилия на Fable, объявив, что будет хранить все используемые данные в течение 30 дней, даже для корпоративных планов, которые ранее обещали нулевое хранение данных. Компания заявляет, что не будет использовать эти данные для обучения, однако не предусмотрела никаких гарантий, чтобы исключить возможность такого использования в будущем (например, хранение данных у третьих сторон). Если это изменение политики (при возобновлении работы Fable) не приведет к массовому оттоку клиентов, я сомневаюсь, что использование данных для них — лишь вопрос времени: это слишком ценно для их конечной цели.

Также обратите внимание на положительный цикл, связанный с перемещением вверх к точкам взаимодействия с пользователем: чем больше рабочих процессов выполняется напрямую с помощью Claude или Codex, тем больше данных каждая компания может получить для обратной связи и использования в обучении, что делает их продукты более мощными и полезными, расширяет количество рабочих процессов, которые они могут обслуживать, и увеличивает доступ к данным.

Наделла подчеркнул важность этих данных, но Натур считает, что они должны быть независимы от модели:

Компании необходимо преобразовать рабочие процессы, предметные знания и накопленные суждения в ИИ-систему, которая улучшается с каждым использованием. Частные оценки должны фиксировать, улучшает ли модель действительно те результаты, которые важны для бизнеса (а не только внешние эталоны!). Частная среда усиления обучения должна делать модель сильнее на основе реальных траекторий внутри организации. Ее база знаний делает институциональную память доступной для запросов и повышает эффективность использования токенов.

Этот цикл стал новой интеллектуальной собственностью компании. Я рассматриваю его как машину для подъема в гору. В отличие от большинства активов, он работает по принципу сложного процента. Каждое улучшение рабочего процесса генерирует более качественные обучающие сигналы, что ускоряет накопление неявных знаний, уникальных для компании. Компании, которые первыми создадут эту систему, получат труднореплицируемое преимущество, независимо от любых новых возможностей отдельных моделей.

Этот цикл становится новым ИП компании. Я воспринимаю его как машину для подъема в гору. В отличие от большинства активов, он способен к сложному росту. Каждое улучшение рабочего процесса генерирует более качественные обучающие сигналы, ускоряя накопление скрытых знаний, уникальных для компании. Компании, которые рано сформируют эту способность, получат труднореплицируемое преимущество, независимо от того, насколько сильно будут повышаться возможности отдельных моделей в будущем.

Однако что, если компании, соблюдающие политику данных Anthropic, уже сейчас могут добиться лучших результатов? Или что, если существующие компании сопротивляются, оставляя возможность новым компаниям — или самим производителям моделей — победить их на рынке? Anthropic действительно проверяет решимость, призываемую Наделлой.

Политика сохранения данных, связанная с Fable/Mythos, даже не является самой спорной частью выпуска. Напротив, Anthropic заявила при выпуске, что если Fable будет использоваться для разработки LLM, его производительность будет тайно снижена; в системной карточке указано:

Мы также добавили меры защиты, связанные с передовыми разработками в области больших языковых моделей. Как обсуждалось в разделе 6.1 нашего отчета о рисках за февраль 2026 года, мы обеспокоены риском ускорения темпов общего развития ИИ, хотя степень серьезности этих рисков остается неопределенной. В частности, наша обеспокоенность заключается — как мы писали тогда — в «ускорении создания другими разработчиками ИИ мощных систем ИИ, аналогичных нашей, но без соответствующих мер защиты».

Учитывая недавнюю способность моделей ускорять собственную разработку, мы внедрили новые меры вмешательства, ограничивающие эффективность Claude при запросах, связанных с разработкой передовых LLM (например, создание конвейеров предварительной подготовки, распределенной инфраструктуры обучения или проектирование ML-beschleuniger). Использование Claude для разработки конкурирующих моделей уже нарушало наши условия обслуживания, но внедрение защитных мер для принудительного соблюдения этого ограничения позволяет предотвратить ускорение действий тех, кто наиболее склонен нарушать эти условия.

В отличие от наших вмешательств в области кибербезопасности, биохимии и дистилляции, эти меры защиты невидимы для пользователей. Fable 5 не будет откатываться на другую модель. Вместо этого эффективность будет ограничиваться с помощью модификации промптов, векторов направления или эффективной тонкой настройки параметров (PEFT). Эти вмешательства не влияют на подавляющее большинство программных задач. Мы оцениваем, что они затронут около 0,03% трафика, сосредоточенного менее чем в 0,1% организаций. Когда эти меры вступают в силу, мы ожидаем, что их влияние на поведение модели будет минимальным, за исключением ограничения эффективности ее передовых LLM. Claude по-прежнему будет давать полезные ответы на запросы пользователей. Мы будем продолжать повышать точность методов обнаружения после выпуска этой модели.

Anthropic отозвала это изменение — Fable будет передавать запросы, связанные с LLM, Opus 4.8, и информировать пользователей об этой передаче — но я считаю, что первоначальная политика была очень показательной. С одной стороны, я действительно не виню Anthropic за то, что они не хотят помогать конкурентам; с другой стороны, должно быть совершенно ясно, что Anthropic считает, что никто, кроме них самих, не должен создавать передовые LLM.

Более примечательно то, что эта политика была введена всего через два месяца после спора Anthropic с военным ведомством: последнее хотело использовать Claude для любых законных целей, тогда как первое стремилось к более строгому контролю над системами наблюдения и автономным оружием. Эта мера снижения уровня доступа одновременно демонстрирует как способность Anthropic тайно изменять свои модели в соответствии со своими политическими предпочтениями, так и ее желание сделать это. Другими словами, Anthropic активно подтвердила наибольшие опасения критиков, связанные с тем, что она представляет собой риск для цепочки поставок.

Однако более широкий вывод, сделанный из этого инцидента, заключается в том, что Anthropic считает, что они должны иметь окончательный контроль над тем, как используется Anthropic; учитывая их убеждение, что только они должны разрабатывать передовые ИИ, они фактически считают, что только они должны иметь окончательный контроль над ИИ в целом. Когда вы объединяете это понимание с заявлением компании о том, что ИИ способен осуществлять всю экономическую деятельность, вы осознаете, что руководство Anthropic на самом деле хочет обладать властью над всем и всеми.

Конечно, Anthropic никогда не выразит это так прямо; вместо этого история о безопасности:

Я ожидаю, что Anthropic будет все чаще открывать возможности своих моделей конечным пользователям через все более специализированные для различных рабочих процессов точки доступа, даже при ограничении API. Такая замена программного обеспечения и ограничение доступа будут оправдываться в интересах безопасности, несмотря на то, что Anthropic стремится удовлетворить свои экономические потребности, приближаясь к конечным пользователям.

Anthropic объясняет свои значительные изменения в политике хранения данных соображениями безопасности. В частности, компания утверждает, что сохранение всех пользовательских данных в течение 30 дней необходимо для предотвращения утечек, вызывающих опасения у американских властей. Я вполне могу представить будущее, в котором соображения безопасности заставят их также использовать эти данные для обучения, чтобы лучше защищаться от злонамеренного использования.

Вся история возникновения Anthropic основана на убеждении основателей, что OpenAI недостаточно серьезно относится к безопасности; компания считает, что только она может контролировать ИИ, и поскольку она уникально заботится о безопасности, у нее есть основания пытаться контролировать всех остальных, включая правительство США.

Что касается этих причин безопасности, проблема в том, что они кажутся мне обоснованными, потому что для Anthropic они не являются причинами. Компания действительно верит, что она единственная, кто верит в сверхразум, и поэтому единственная, кто всерьез относится к опасностям. Это оправдывает одно решение за другим, одну политику за другой, один конфликт за другим — для внешних наблюдателей это выглядит как странное сочетание цинизма и наивности.

Сравнение с OpenAI огромно: я считаю, что один из способов понять, как и почему OpenAI утратила свои позиции, — это то, что в годы после запуска ChatGPT компания была в состоянии внутренней войны, когда когда-то исследовательская лаборатория внезапно оказалась под тяжестью обязанностей стать случайной потребительской технологической компанией; в процессе решения этого конфликта OpenAI потеряла множество талантов в пользу таких компаний, как Anthropic.

С другой стороны, Anthropic обладает идеальной согласованностью между талантами, миссией и бизнесом. Компания может продвигать видение создания машинного божества исследователям, придавая себе ореол заботы об опасностях и достаточной умности, чтобы представлять интересы человечества в борьбе с этими опасностями; при этом каждое возникающее в результате изменение политики оказывается выгодным для бизнеса — это самое прекрасное совпадение в мире.

Я уважаю эту последовательность и боюсь её одновременно. Я уважаю её, потому что она явно очень эффективна; ближайшая аналогия — Apple, которая всегда маскирует каждое эгоистичное действие под заботу о том, чтобы сделать для пользователей правильное дело — и часто действительно так и происходит. То же самое и с Anthropic. Однако меня беспокоит то, что позволить тем, кто уверен, что лучше всех знает, создавать смартфон, который я могу принять или отвергнуть, — это одно; позволить им создавать сверхразум, способный соперничать или превзойти мощь национальных государств или даже крупных корпораций — это совсем другое. История умных людей, уверенных, что они знают, чего хотят люди, — грязная, именно потому, что они убедили себя в том, что их намерения хороши, и тем самым оправдали действия, которые на самом деле таковыми не были.