Стратегия DeepSeek: создание экосистемы ИИ-оборудования на $10 триллионов

Великая стратегия DeepSeek на 10 триллионов долларов США

Автор оригинала: @bookwormengr

Пегги, BlockBeats

Редакционная заметка: В течение последнего года обсуждения, связанные с DeepSeek, в основном сосредотачивались на производительности модели, стратегии открытого исходного кода и ценовой конкуренции. Однако если понимать DeepSeek только через призму «продавать ли подписку», «есть ли мультимодальность» или «может ли он быть агентом для программирования», можно недооценить то, что он действительно стремится изменить.

Эта статья предлагает более радикальную оценку: цель DeepSeek, возможно, не в том, чтобы монетизировать приложения в краткосрочной перспективе, а в том, чтобы с помощью серии инноваций в базовой архитектуре перестроить структуру затрат на обучение и вывод ИИ и косвенно способствовать формированию новой аппаратной экосистемы. От MoE и MLA до DSA, CSA, mHC и Engram, а также Dual Path и TileLang — технологическая стратегия DeepSeek постоянно сосредоточена на одной ключевой проблеме: как добиться более мощных моделей с меньшим количеством высококлассных вычислительных ресурсов при ограничениях на HBM, передовые технологические процессы, упаковку и экосистему CUDA.

Самое важное в статье — не то, сможет ли DeepSeek заработать несколько сотен миллионов долларов через API или подписку, а то, связывает ли она возможности моделей, архитектуру памяти и экосистему отечественного оборудования воедино. Сжатие KV Cache снижает зависимость от HBM, NAND и SSD могут использоваться для длительного кэширования, LPDDR — для потоковой загрузки весов и хранения Engram, а TileLang стремится ослабить защиту CUDA. Если эти инновации продолжат распространяться, выгоду получат не только DeepSeek, но и производители хранилищ, ASIC, GPU, сетевых чипов и вся цепочка инфраструктуры ИИ.

Конечно, суждения о «экосистеме отрасли в 10 триллионов долларов» и «оценке в 1 триллион долларов» по-прежнему носят сильный характер предположений. Однако они предлагают важный путь для понимания DeepSeek: открытость не обязательно означает отказ от коммерциализации, а низкая цена не всегда является просто субсидированием рынка. Для DeepSeek настоящий бизнес, возможно, не находится на уровне приложений, а заключается в обеспечении большего количества аппаратных решений в рабочем состоянии и возможности создания более дешевых решений для ИИ. Другими словами, он продает не саму модель, а жизнеспособность инфраструктуры следующего поколения ИИ.

Следует перевести:

Вы когда-нибудь задумывались, как именно DeepSeek будет зарабатывать деньги и, возможно, много денег?

Он не предлагает конкурентоспособных подписок на программирование, таких как GLM, MoonShot и MiniMax; также у него нет мультимодальных, аудио- и видеомоделей. До сих пор у него даже нет собственной оболочки — внешней исполняющей среды для вызова моделей, подключения инструментов и выполнения задач — хотя недавно они начали набирать персонал на соответствующие должности, чтобы создать эту систему.

В то же время DeepSeek, похоже, долго и твердо стоит на стороне открытого исходного кода и даже охотно делится своими «секретами». Разве это не безумие? Не является ли это просто бесполезным сжиганием денег? Разве те, кто планирует инвестировать в него 10 миллиардов долларов, не бросают свои деньги в канализацию?

Я лично считаю, что ответ прямо противоположный.

Далее я сделаю несколько наблюдений на основе того, что DeepSeek уже сделала до настоящего момента, и проанализирую стратегию, которой, похоже, она следует. Цель генерального директора DeepSeek Лян Вэньфэна, возможно, выходит далеко за рамки текущей конкуренции моделей. Он может преследовать более крупную цель: DeepSeek имеет возможность достичь оценки в 1 триллион долларов и одновременно способствовать формированию новой отрасли масштабом в 10 триллионов долларов.

TechInAsia о последнем раунде финансирования DeepSeek

DeepSeek всегда действовал против ветра. Вместо того чтобы постоянно запускать немного более мощные модели и спешить превращать их в непосредственно прибыльные приложения, такие как подписки на программирование, 27 января 2025 года я опубликовал широко распространённый твит, в котором описал «героический путь» DeepSeek, по моему мнению. Сегодня эта история стала ещё интереснее.

Пока другие пытаются создавать плотные модели, DeepSeek выбрала более сложную в обучении модель смеси экспертов (Mixture of Experts, MoE).

Они применили подход «первичных принципов» и разработали новый алгоритм GRPO, чтобы заменить тогдашний доминирующий, но более дорогостоящий в реализации алгоритм PPO для усиленного обучения.

Они обнаружили, что усиление обучения на основе проверяемых наград (Reinforcement Learning from Verified Rewards, RLVR) является ключевой стратегией для повышения способности модели к рассуждению.

Они также предложили простую стратегию предсказательного декодирования с помощью «многотокенного предсказания» (Multi Token Prediction), одновременно делая обучающие сигналы более плотными.

Они усовершенствовали конвейер «ZERO bubble» для повышения эффективности использования ограниченных ресурсов GPU.

Они выпустили экспертизный балансировщик нагрузки, который делает развертывание моделей MoE проще для всех. Особенно благодаря стратегии «широкого параллелизма экспертов» (Wide Expert Parallel) модели могут обслуживаться с большим размером пакета, что значительно снижает стоимость вывода.

Они разработали механизмы MLA, DSA, CSA, HCA и другие для снижения потребности в KV Cache и поддержания вычислительных потребностей на максимально близком к постоянному уровне при увеличении длины контекста.

Они изобрели Engram, обменивая память на вычислительную эффективность.

Они также разработали mHC, позволяющий обеспечивать стабильное обучение при масштабировании моделей. Подобных примеров множество.

В самой распространённой повествовательной структуре «Путешествие героя» герой никогда не начинает своё путешествие, зная, куда оно приведёт. Он постепенно осознаёт свою истинную величайшую миссию в процессе обучения и выполняет её, преодолевая множество препятствий. Он сталкивается с множеством скептиков, но выбирает игнорировать их. Он также встречает множество враждебных действующих лиц. У него есть явные недостатки или слабости, но в конечном итоге он преодолевает эти проблемы и выполняет свою миссию. Он сталкивается с кажущимися непреодолимыми вызовами, находит способы заключить союзы и учится мудро использовать ограниченные и ценные ресурсы. Именно это заставляет зрителей болеть за героя. Именно это делает DeepSeek объектом последовательности, глобального уважения и противодействия.

Как я подробно объясню далее, DeepSeek уже давно идет по этому пути и постепенно осознала свою судьбу: ее цель — не продавать подписки на программирование, а продвигать китайскую экосистему ИИ-оборудования стоимостью в 10 триллионов долларов и достичь оценки в 1 триллион долларов. В процессе она также создаст возможности для многих новых участников в западной экосистеме оборудования.

Начнем с нескольких интересных вычислений KV Cache

Посмотрите на этот своевременный твит от @SemiAnalysis_:

DeepSeek уже лучше всех решил эту проблему!

Давайте проведем несколько интересных расчетов KV Cache. Не волнуйтесь, даже если вы не любите математику — мы воспользуемся недавно выпущенным калькулятором KV Cache, чтобы посмотреть, сколько памяти KV Cache можно сэкономить с помощью DeepSeek V4 Pro, и сравнить это с новейшими моделями GLM и Qwen.

Здесь я провожу расчет с длиной контекста в 1 миллион, предполагая точность KV на 8 бит и точность индексатора на 16 бит. Вы также можете самостоятельно попробовать этот калькулятор: https://kvcache.ai/tools/kv-cache-calculator/

Вы также можете сами открыть калькулятор и проверить!

При длине контекста в 1 миллион:

·DeepSeek V4 требует всего 5,48 ГБ HBM;

·GLM-5 требует 60 ГБ HBM;

·Qwen3-235B-A22B требует до 89 ГБ HBM.

Обратите внимание:

·DeepSeek — это модель с 1,6 триллиона параметров;

·GLM-5 имеет примерно 700 миллиардов параметров и уже использует MLA и DSA от DeepSeek, но пока не применяет новейший механизм сжатия внимания;

Qwen3-235B-A22B имеет примерно 235 миллиардов параметров и использует механизм внимания GQA.

DeepSeek внес фундаментальный вклад в снижение нагрузки на память. Если такие инновации будут широко внедрены, это значительно снизит стоимость запуска агентов с длительным циклом и откроет новые серии применений.

Сравнение использования KV Cache при масштабе модели и контексте в 1 миллион токенов

Методология за «безумием»

KV Cache может быть таким маленьким, не жертвуя качеством модели, именно поэтому DeepSeek может предоставлять длительное кэширование по крайне низкой цене — она даже меньше 3% от цены кэширования Sonnet 4.6, и DeepSeek может сохранять кэш в течение нескольких часов.

Для задач с длительным циклом небольшой KV Cache позволяет более экономично выгружать его на SSD и повторно загружать при необходимости, что снижает зависимость от HBM. С точки зрения китайской индустрии AI-аппаратного обеспечения, HBM не только имеет дефицит на рынке, но и является одним из самых сложных типов памяти для производства.

Кроме того, DeepSeek разработала технологию более быстрой загрузки KV Cache с SSD, о чем подробно описано в их статье Dual Path.

DeepSeek V4 значительно сжимает KV Cache, настолько, что этот шаг может вообще перестать быть необходимым.

Так кто же является самым прямым受益者ом сжатия KV Cache?

Кто является крупным поставщиком SSD? Не забывайте, что YMTC (Yangtze Memory Technologies) активно становится лидером в области 3D NAND. NAND может помочь DeepSeek избежать повторных вычислений KV. В свою очередь, DeepSeek создает огромный рынок для NAND и SSD — это принесет пользу не только Yangtze Memory Technologies, но и другим связанным производителям.

Однако речь идет не только о NAND и SSD.

LPDDR-память также обладает огромным потенциалом. Она может использоваться для хранения весов модели и потоковой передачи этих весов в HBM по мере необходимости, что снижает нагрузку на HBM. Команда SGLang опубликовала отличный блог, посвящённый этому подходу. Ниже приведена схема, иллюстрирующая, как работает эта схема.

Хотя DeepSeek не был специально разработан для этой схемы, его архитектура MoE, большое количество экспертов и особенность 4-битных весов делают эту схему более легкой для реализации.

Эта схема показывает, как может использоваться память и как веса модели потоково передаются из LPDDR в HBM. Рекомендуем обязательно прочитать блог SGLang.

Если эта инновация будет сочетаться с чрезвычайно компактным и безпотерянным KV Cache, это значительно снизит потребность в HBM.

Так кто же в Китае производит LPDDR? Это CXMT, то есть ChangXin Memory Technologies. Они отстают примерно на полупоколение по скорости LPDDR и на одно поколение по плотности — разница не так велика.

Помимо достаточного объема NAND, китайская экосистема ИИ в ближайшем будущем также будет обладать достаточным объемом поставок LPDDR. Это поможет снизить нагрузку на вычислительные мощности? Ответ: да. Продолжайте читать.

Умное использование памяти также может снизить нагрузку на GPU / ASIC

Использование NAND для хранения KV Cache легко понять: это позволяет сохранять KV Cache дольше, снижая нагрузку на HBM, а также избегая повторных вычислений KV Cache, что уменьшает вычислительную нагрузку на GPU и ASIC.

Тогда может ли LPDDR играть аналогичную роль? Может ли он дополнительно снизить вычислительную нагрузку, кроме как выступать в качестве места хранения, из которого веса могут «по требованию и мгновенно» передаваться в HBM?

Ответ: да.

LPDDR можно использовать для хранения большого объема контента, называемого Engram. В статье DeepSeek об Engram они отмечают, что MoE может расширять емкость модели за счет условных вычислений, но сам Transformer не обладает встроенным механизмом «поиска знаний». Поэтому Transformer часто вынужден неэффективно имитировать процесс поиска с помощью вычислений.

Для решения этой проблемы DeepSeek предложила модуль Engram. Он модернизировал классическое N-gram-встраивание, превратив его в хешируемый механизм поиска O(1), создав таким образом дополнительный разреженный путь, который они называют условной памятью (conditional memory).

Этот метод позволяет сэкономить вычислительные ресурсы, но требует памяти для хранения таблицы вложений, которая сама по себе может быть очень большой.

По сути, это типичный подход «обмена памяти на вычисления». Однако его ключевая идея заключается в том, что с точки зрения стоимости чтения каждого бита данных, сторона «памяти» значительно дешевле — один запрос LPDDR намного дешевле, чем пропускать данные через несколько слоев Transformer для выполнения одного прямого прохода. Таким образом, в масштабных сценариях это очень выгодный обмен.

Это то, как DeepSeek жертвует частью памяти ради экономии вычислительных ресурсов.

Стоит пожертвовать

Из-за отсутствия аналогичной плотности транзисторов в чипах и отсутствия EUV китайские GPU и ASIC, вероятно, долгосрочно отстают от западных GPU по исходной производительности в FLOPs. Они также по-прежнему значительно отстают в передовых упаковочных технологиях. Поэтому такие компромиссы крайне оправданы, особенно при условии, что Китай способен массово производить NAND и LPDDR-память.

Из этих инноваций кажется, что цель DeepSeek — не заработать несколько сотен миллионов долларов прибыли прямо сейчас. Многие из его прошлых решений это подтверждают: до сих пор нет мультимодельной модели, нет голосовой модели, а о видео-модели и речь не идет.

Он действительно участвует в долгосрочной игре, требующей терпения и потенциально охватывающей 10 триллионов долларов: создании альтернативной экосистемы AI-аппаратного обеспечения.

Это не только позволяет китайским производителям памяти стать ключевыми игроками на китайском и глобальном рынке AI-оборудования, но и кардинально снижает потребность в ресурсах, делая обучение и обслуживание AI-моделей более экономически эффективными. В результате многие производители GPU, ASIC и сетевых чипов получают возможность стать жизнеспособными вариантами.

В то же время эти инновации также принесут пользу западной экосистеме с открытым исходным кодом и новому поколению производителей оборудования.

Все признаки уже появились. Давайте подробно рассмотрим эти инновации, представленные DeepSeek до настоящего момента:

1. Модель с экспертом-смешиванием (MoE) и MLA, введенные в DeepSeek V2

DeepSeek в V2 внедрил MoE и MLA. MoE сократил вычислительные затраты, необходимые для обучения высокоинтеллектуальных моделей, примерно на 40–50%; MLA сократил KV Cache на 90%.

Это делает выгрузку KV Cache на SSD довольно эффективной.

Эти идеи впервые появились в статье DeepSeek V2, опубликованной DeepSeek в мае 2024 года. Позже они легли в основу обучения DeepSeek V3. Тогда DeepSeek обучил систему, производительность которой приближалась к уровню закрытых моделей, используя всего 2048 сниженно производительных GPU H800.

2. DSA: Введена в DeepSeek V3.2 Exp для снижения вычислительных затрат в сценариях с длинным контекстом и смягчения нагрузки на пропускную способность HBM.

Основная роль DSA — обеспечить, чтобы вычислительная нагрузка не продолжала расти с увеличением длины контекста. Посмотрите на график ниже: с увеличением длины контекста время обработки DeepSeek-V3.2 остается в основном стабильным.

3. mHC: DeepSeek представил в статье «mHC: Manifold-Constrained Hyper-Connections» в декабре 2025 года.

mHC — это инновация DeepSeek на макроархитектурном уровне, которая переосмысливает способ передачи информации между слоями Transformer.

Ранее, начиная с ResNet, модели обычно использовали стандартные остаточные соединения в виде x + F(x). В подходе mHC остаточный поток расширяется до нескольких параллельных информационных каналов, позволяя модели выполнять обучаемое смешивание между этими каналами. Ключевым моментом является ограничение матрицы смешивания до дважды стохастической матрицы, то есть ограничение её на многограннике Биркгофа с помощью проекции Синкхорна-Кноппа. Это математически гарантирует, что амплитуда сигнала останется стабильной независимо от глубины модели.

Это решило проблему катастрофической нестабильности, с которой сталкивались ранее неконтролируемые Hyper-Connections. Hyper-Connections изначально были предложены ByteDance, но без ограничений усиление сигнала на масштабе 27 миллиардов параметров возрастало до 3000 раз, что в конечном итоге приводило к полному сбою обучения.

Вычислительная стоимость mHC невелика: она увеличивает время обучения лишь на около 6,7%, поскольку не изменяет количество операций с плавающей запятой в слоях внимания или FFN, а лишь изменяет способ маршрутизации выходных данных этих слоев между слоями.

Однако повышение производительности является значительным: при масштабе в 27 миллиардов параметров mHC показал улучшение на 7,2 балла в задачах вывода BIG-Bench Hard, на 3,2 балла в DROP, на 2,8 балла в математической задаче GSM8K и на 1,4 балла в задаче общих знаний MMLU. Все эти улучшения достигнуты при том же масштабе модели и почти том же вычислительном бюджете.

По сути, mHC достигает более высокой интеллектуальной производительности на единицу параметров, предоставляя сети более богатую и выразительную топологию маршрутизации межуровневой информации, практически без увеличения дополнительных FLOPs.

mHC представляет собой сложную архитектурную конструкцию, но она обеспечивает более стабильный процесс обучения и более высокую интеллектуальную мощность на единицу параметров.

4, CSA, HSA: DeepSeek был введен в V4 в апреле 2026 года.

Цель CSA и HSA — дополнительно снизить потребность в KV Cache на 90% за счет сжатия KV Token, а также значительно сократить необходимое количество FLOPs, тем самым одновременно снизив нагрузку на HBM и GPU/ASIC.

5. Engram: Введён DeepSeek в первом квартале 2026 года, суть которого заключается в обмене вычислительной эффективности на память, а именно на LPDDR-память.

Как показано на подробной диаграмме ниже, Engram обеспечивает значительное повышение производительности при одинаковом общем бюджете параметров.

6. Engram: Введён DeepSeek в первом квартале 2026 года, суть которого заключается в обмене вычислительной эффективности на память, а именно на LPDDR-память.

Как показано на подробной диаграмме ниже, Engram обеспечивает значительное повышение производительности при одинаковом общем бюджете параметров.

Это рекомендации, которые DeepSeek поделились с производителями оборудования в статье V4. Я уверен, что в оффлайн-общении они дали еще больше обратной связи.

7. Вложения в TileLang также указывают на одно и то же направление: DeepSeek решает не только собственные проблемы с вычислительными ресурсами, но и способствует формированию в Китае аппаратной экосистемы, способной конкурировать с западной.

С помощью TileLang разработчики могут написать kernel — низкоуровневый код для вычислений — всего один раз, а затем запустить его на нескольких аппаратных платформах, при условии, что для этих платформ уже существуют соответствующие бэкенды TileLang.

Я ожидаю, что другие китайские лаборатории ИИ также постепенно присоединятся. Это поможет китайским производителям оборудования косвенно противостоять так называемому «водоему CUDA». В то же время это высвободит больший потенциал западного оборудования, например, AMD.

Следует отметить, что многие китайские платформы для ИИ-аппаратного обеспечения уже предоставляют совместимость с CUDA или слои трансляции CUDA. Например, Moore Threads, Musen, Biren и Tenstorrent — это китайские чип-производители, которые достигают высокой совместимости с CUDA через слои трансляции. Следовательно, теоретически им не обязательно нужен TileLang.

Масштабное обучение с подкреплением и RSI

По мере того как DeepSeek получает больше источников вычислительной мощности, то есть увеличивается выбор оборудования, а сама модель требует меньше вычислительных ресурсов, она может реализовывать более амбициозные проекты по обучению, особенно по усилению обучения после предварительного обучения.

Обучение с подкреплением требует генерации большого количества траекторий, то есть создания триллионов токенов. Этот процесс очень быстро становится чрезвычайно дорогим. Более того, для обучения модели с длиной контекста в 1 миллион необходимо генерировать траектории такой же длины. Только на таких сверхдлинных траекториях модель может действительно поддерживать долгосрочные задачи.

Кроме того, с увеличением количества аппаратных опций у DeepSeek будет больше аппаратных ресурсов, что будет способствовать автоматизированному исследованию, то есть RSI. RSI означает, что ИИ самостоятельно проектирует и проводит эксперименты. Этот подход включает множество попыток и ошибок, и его стоимость быстро растет. Однако RSI критически важен для исследования полного пространства проектных решений модели. Прежде чем перейти к AGI, а затем к ASI, DeepSeek должен обладать способностью RSI.

То, что DeepSeek делает сегодня, весь отрасль последует завтра

Инновации DeepSeek в области экспертов-смешанных моделей, MLA, DSA и других направлений постепенно внедряются другими AI-лабораториями по всему миру и в Китае.

Например, разработчик серии моделей GLM, ZAI, использует MLA и DSA. Kimi, то есть Moonshot, также применяет MLA и открыто заявляет, что его архитектура разработана на основе архитектуры DeepSeek. В свою очередь, DeepSeek использует оптимизатор Muon, который впервые был применен Kimi (Moonshot) при масштабном обучении.

Следует отметить, что:

MoE впервые был предложен Google в 2017 году, ключевым автором стал Ноам Шазер. Вклад DeepSeek заключается в масштабном применении MoE и разработке собственных сопутствующих методик.

Muon, то есть MomentUm Orthogonalized by Newton-Schulz оптимизатор, был предложен исследователем машинного обучения Келлером Джорданом в конце 2024 года. Команда Kimi (Moonshot) стала первой, кто применил его для масштабного обучения.

Мы можем рассмотреть интересный пример OpenAI.

OpenAI получила варранты/опционы на покупку акций AMD и Cerebras по более низкой цене, привязанные к вехам потребления вычислительных мощностей. Для AMD и Cerebras это очень выгодная сделка, поскольку, как только OpenAI обязуется использовать их оборудование, вероятность их долгосрочного успеха значительно возрастает.

В объявлении AMD содержится следующий фрагмент:

В рамках соглашения, для дальнейшей координации стратегических интересов сторон, AMD выдала OpenAI варранты на покупку до 160 миллионов обыкновенных акций AMD, которые будут вступать в силу по мере достижения определенных вех. Первая партия вступит в силу после завершения первоначального развертывания мощности в 1 ГВт, а последующие партии — по мере увеличения закупок до 6 ГВт. Условия вступления в силу также связаны с достижением AMD определенных целевых цен на акции, а также с реализацией OpenAI технологических и коммерческих вех, необходимых для масштабного развертывания AMD.

Я ожидаю, что DeepSeek также заключит аналогичные соглашения с рядом китайских производителей памяти, ASIC, CPU и сетевых технологических стеков и будет тесно сотрудничать с ними, чтобы обеспечить возможность их аппаратных стеков справляться с передовыми рабочими нагрузками ИИ.

Учитывая, что общая рыночная капитализация всех западных акций ИИ, включая союзников в Восточной Азии, уже превышает 10 триллионов долларов США, такой подход «получения доли прибыли через сотрудничество» даст DeepSeek возможность помочь Китаю создать аналогичную крупную отрасль и занять в ней свою долю, в конечном итоге достигнув оценки в 1 триллион долларов США.

Это не только позволит DeepSeek заработать значительно больше денег, чем традиционные подписки на приложения, но и реализует её цель — «сделать AGI доступным для каждого». Лян Вэньфэн — преданный поклонник Джима Саймонса и достаточно умный игрок на рынке капитала, чтобы не упустить этот момент.

Если вы взглянете назад на всё, что DeepSeek сделал до сих пор, только одно объяснение имеет смысл.

Это ключевые акции в сфере ИИ. Крупнейшие облачные провайдеры и многие другие связанные компании еще не включены на графике.

Исходная ссылка