Samsung и SK Hynix расходятся в стратегиях проектирования HBM

На конференции Hot Chips Samsung и SK Hynitz согласились, что GPU, память, веб-производство и упаковка должны проектироваться как единая система. С тех пор их решения начали расходиться.

Samsung is transforming the base chip into an active component of the system. It plans to move the memory controller from the GPU onto the logic base chip, freeing up 5–10% of GPU area for additional computation and potentially increasing performance by 10–20%. Selective AI operations can also run on the base chip to reduce data movement. In the long term, it is advancing zHBM technology, which directly stacks the GPU and DRAM, expected to reduce DRAM power consumption by approximately 70% while more than doubling bandwidth.

SK Hynix сосредоточена на более высоких стеках и управлении возникающими при этом проблемами тепла и деформации. Она подтвердила, что HBM4 с 12-уровневым стеком уже перешел в фазу производства, а 16-уровневая версия находится на стадии проверки клиентами. Гибридное связывание является путем к стекам из 20 уровней и более, позволяя использовать более толстые чипы и более плотные шаги. Ее метод iHBM добавляет специальный теплопроводный путь внутри самых горячих областей стека. Эта конкуренция больше не касается только пропускной способности и емкости. Базовая архитектура чипов и передовые упаковки становятся решающим полем битвы.

На выступлении Hot Chips 2026 Samsung Electronics представила zHBM — финальную эволюцию высокоскоростной памяти с широкой пропускной способностью. Эта концепция отказывается от 2,5D-интерпозитора, вертикально размещая DRAM непосредственно над вычислительными чипами, такими как GPU, создавая настоящую 3D-интегрированную архитектуру с целью снижения энергопотребления DRAM на 70% и увеличения пропускной способности в 2,3 раза по сравнению с HBM4E.

Samsung разработала трехэтапную дорожную карту для преобразования базовых чипов из пассивных каналов передачи данных в активных вычислительных партнеров. На первом этапе контроллер памяти будет перемещен из xPU на базовый чип для освобождения площади кремния; на втором этапе базовый чип получит возможности расширения памяти и вычислений с вниманием; на третьем этапе будет окончательно реализовано zHBM.

Далее рассмотрим решение Samsung.

Во время выступления произошел сбой, и они показали несколько графиков, иллюстрирующих тенденции развития HBM5 по параметрам. Хотя еще все не решено, интересно взглянуть на график в правом верхнем углу.

HBM5 SSD объемом 60 ГБ и пропускной способностью 6 ТБ/с — это отличный вариант. Давайте рассчитаем конкретные параметры. Пропускная способность 6 ТБ/с при 2048 каналах означает скорость передачи 23,5 Гбит/с на каждый вывод. Наша текущая передовая скорость составляет 16 Гбит/с, что представляет собой огромный прогресс, и достижение этой скорости, вероятно, станет возможным с использованием передовых логических узлов. Если емкость каждого чипа составляет 3 ГБ, а общая емкость — 60 ГБ, то высота стека составит 20 слоев.

На другом слайде Samsung подтвердила, что скорость передачи на один вывод HBM4E составляет 16 Гбит/с. Наши предыдущие расчеты для HBM5 также подтверждены на приведенном ниже рисунке.

Очевидное преимущество Samsung заключается в наличии собственных разработанных логических чипов, в то время как Micron и SK Hynix должны сотрудничать с другими компаниями для их получения. Samsung подчеркивает свое преимущество и объясняет важность пользовательских чипов. Samsung производит память с использованием технологии 1C, а логические чипы — с использованием технологии 4 нм, что значительно снижает энергопотребление чипов. На нижнем рисунке иронично изображена Micron, которая использует технологию DRAM для производства логических чипов в чипах HBM4.

Еще лучше то, что, как упоминалось ранее, Samsung четко разделил свою дорожную карту продуктов на три этапа. Мы подробно рассмотрим каждый из них.

Когда логические узлы находятся внутри базовой пластины, физическая площадь модуля HBM PHY уменьшается, а энергоэффективность повышается. Это означает, что размер межчипового модуля, соединяющего HBM и XPU, будет меньше. Это имеет два преимущества:

Увеличьте площадь в XPU для выполнения большего количества вычислений;

Увеличить доступную площадь базовой платы HBM для реализации более продвинутых функций.

Уменьшение размера приводит к более высокой тепловой плотности этих областей. Интересно, что они предоставляют фактические размеры PHY-модулей для различных поколений HBM.

Samsung также отметила, что они не склоняются к использованию UCIe в D2D-связях, поскольку UCIe имеет большие размеры и более высокое энергопотребление на бит. Они заявили, что их собственная реализация PHY демонстрирует лучшую производительность. При переходе на HBM5 они продемонстрировали концепцию интегрированного блока теплового пути (HPB) для охлаждения области D2D PHY.

Еще одним ключевым преимуществом является смещение контроллера памяти с XPU на специализированную базовую микросхему. Это освобождает пространство на чипе XPU, которое можно использовать для размещения большего количества процессоров с плавающей запятой.

Новое преимущество интеграции логических узлов на подложке заключается в возможности реализации SRAM. Если ячейка в стеке DRAM выходит из строя, информация из этой ячейки может временно храниться в SRAM, а контроллер памяти будет извлекать эти данные из SRAM, а не из поврежденной ячейки DRAM. SRAM можно представить как запасную тетрадь — она служит временной записной книжкой для хранения данных, которые не могут быть сохранены в поврежденных ячейках DRAM.

Использование логических узлов в качестве подложки означает, что при меньших размерах транзисторов площадь кремния, необходимая для множества таких функций, также будет меньше. Экономия пространства может быть использована для различных целей, например, для повышения восстанавливаемости, доступности и обслуживаемости (RAS), проведения тестирования и сбора телеметрических данных о состоянии и здоровье стека памяти HBM. Учитывая, что телеметрические данные HBM являются вторым по значимости фактором, приводящим к сбоям при обучении, они будут крайне полезны.

Если остается свободная площадь кремния, можно добавить еще один. Контроллер расширения памяти используется для подключения еще одного стека HBM за первым стеком HBM или для вставки чипов DRAM для расширения памяти.

Наконец, раз логические транзисторы доступны, почему бы не интегрировать некоторые вычислительные функции и на подложке? Преимущество такого подхода заключается в том, что такие вычисления, как матричное сжатие или кодирование, могут выполняться на логическом чипе без выхода за пределы подложки. Это дает преимущества как по задержке, так и по эффективности.

Если всё пойдёт по плану, теоретически можно создать изящный ускоритель в правом нижнем углу. Нарисовать такую блок-схему легко, и концептуально это интересно, но стоит сомневаться, насколько значимым будет реальное повышение производительности.

Заключительный этап включает использование пользовательских базовых чипов и HBM, которые устанавливаются поверх логического чипа. Расстояние между вычислительным чипом и чипом памяти минимально, что позволяет передавать данные на более короткие расстояния, повышая энергоэффективность и увеличивая пропускную способность памяти за счет использования большего количества параллельных путей передачи данных в пределах области чипа (а не только на его краях).

Всё это непросто, но для компании крайне важно разработать дорожную карту технических улучшений. Это свидетельствует о их уверенности в том, что в будущем они выпустят более качественные продукты, что хорошо для компании. То, готов ли рынок принять этот продукт — это уже другой вопрос.

Вице-президент по упаковочным технологиям SK Hynix America Джесик Ли выступил на конференции Hot Chips 2026 23 августа и заявил, что SK Hynix ожидает, что технология гибридного связывания не сможет удовлетворить потребности HBM4E, что отложит наиболее ожидаемый переход в упаковке памяти до HBM5.

Как он описал, проблема заключается в том, что общая толщина HBM-куба ограничена 775 микронами — стандартной толщиной 300-миллиметровых логических вайфлов — поэтому каждое добавление слоя DRAM требует более тонких чипов и более узких зазоров. В настоящее время проходящая сертификацию клиентами 16-уровневая высокоплотная HBM4 (емкость одного куба 48 ГБ, в то время как 12-уровневая высокоплотная HBM4 уже находится в серийном производстве) уменьшает толщину ядерных чипов до примерно 50 микрон и вдвое сокращает зазоры между чипами. В выступлении Ли также подробно описана архитектура охлаждения iHBM, представленная компанией через три месяца после анонса в мае. Ли объяснил, что эта архитектура имеет ограничение: модуль рассеивания тепла не может быть применен к любому HBM-продукту, уже находящемуся в разработке.

JED EC Стандарт HBM4 увеличил верхний предел толщины корпуса с 720 микрометров, использовавшихся в HBM3E, до 775 микрометров, что снизило нагрузку, связанную с применением технологии гибридного связывания. Ли отметил, что при установке холодильной пластины на GPU часть логического чипа и стека памяти шлифуется, обнажая чистый кремний. Поскольку толщина логической виллы составляет 775 микрометров, дальнейшее увеличение высоты чипов памяти приведет к тому, что они будут превышать высоту соседнего процессора. «Это предел, которого мы можем достичь сейчас, поскольку толщина логической виллы также составляет 775 микрометров», — сказал Ли.

Более тонкие чипы означают более высокое соотношение оксидных слоев в стеке, а теплопроводность оксидов значительно ниже, чем у кремния. Кроме того, скорость выводов увеличилась с 1 Гбит/с у ранних версий HBM до 8 Гбит/с у HBM4, что приводит к увеличению потребляемой мощности на ту же площадь. Собственные данные SK Hynix показывают, что тепловая нагрузка в среднем выше в 2,2 раза по сравнению с предыдущими поколениями HBM, а количество слоев в стеке удваивается каждые два поколения.

Процесс массового формования с заполнением под основанием (MR-MUF) компании, при котором все чипы укладываются методом захвата и размещения и соединяются за один проход пайки, уже принес убытки: по словам Ли, заполнение, сокращающее зазор вдвое и контролирующее деформацию чипов размером менее 50 микрон, является основным производственным вызовом для 16-Hi.

В мае прошлого года Samsung официально заявила о намерении использовать технологию гибридного связывания для производства HBM4, в то время как SK Hynix рассматривала медно-медное связывание в качестве альтернативного решения для передовой технологии MR-MUF. Затем JED EC Ограничения по толщине были ослаблены, что сделало гибридную связь не приоритетной задачей. В настоящее время отрасль обсуждает увеличение толщины стека из 20 слоев до 825–900 микрометров, что снова отложит внедрение медной связки.

Еще в марте отраслевые эксперты заявили, что SK Hynix разместила первый крупномасштабный заказ на гибридную связь — систему однолинейного типа стоимостью около 20 миллиардов вон (15 миллионов долларов США), объединяющую оборудование от Applied Materials и Besi. Counterpoint Research ожидает, что эта технология войдет в полномасштабное производство HBM примерно в 2029–2030 годах с запуском HBM5.

Согласно дорожной карте SK Hynix, технология гибридного связывания пока находится на стадии разработки и предназначена для стеков из 20 слоев и более; SK Hynix все еще определяет, какой продукт первым применит эту технологию. Г-н Ли не раскрыл, о какой именно генерации продукта идет речь, но после исключения HBM4E наиболее вероятно, что HBM5 станет первой моделью, использующей эту технологию. Эта технология соединяет плоские медные площадки и оксидные поверхности при комнатной температуре, а затем использует тепловое расширение меди в процессе отверждения для формирования соединения.

«Этот процесс, кажущийся простым, на самом деле чрезвычайно сложен», — сказал Ли. «Нам необходимо 16 или даже 20 слоев для достижения гибридного соединения, что кардинально отличается от одиночного стекирования». Полное устранение микровыступов позволяет увеличить толщину ядра чипа на 24% при высоте в 20 слоев по сравнению с MR-MUF той же высоты, снижая тепловое сопротивление примерно на 35%, а шаг выступов (в соответствии с картой слоев чипа) может быть менее 18 микрометров, в то время как текущий шаг MR-MUF составляет 30 микрометров. При шаге выступов HBM4 традиционные микровыступы по-прежнему применимы, и каждый JED EC При повышении верхнего предела толщины MR-MUF сохраняют свою жизнеспособность и продолжают использоваться в следующем поколении продуктов.

Концепция iHBM встраивает теплопроводящие и изолирующие блоки в межчиповые PHY-области базового чипа (зоны с пиковыми значениями плотности мощности), что, как утверждается, снижает тепловое сопротивление более чем на 30%.

Слайды Ли напрямую сравнивают iHBM с решением Samsung Heat Path Block. Решение Samsung Heat Path Block отводит тепло из стека чипов с помощью специальных тепловых столбиков, в то время как переосмысленная схема чип-подложки Micron утверждает, что повышает энергоэффективность более чем на 20%. Все три утверждения являются заявлениями производителей и основаны на разных критериях оценки. Дизайны SK Hynix и Samsung планируются для использования в HBM5, но их серийное производство не ожидается до 2028 года. Ли отметил, что поскольку эти модули расположены внутри упаковки вместе с чипом D2D PHY, их необходимо оптимизировать под дизайн клиента и нельзя применять к уже спроектированным поколениям чипов, что делает iHBM совместной разработкой. «Это хороший вариант, который мы можем реализовать, но мы не можем применить его к уже спроектированным поколениям чипов».

Во время сессии вопросов и ответов Тань Беннетт из SemiAnalysis отметил, что увеличение высоты стека памяти снижает пропускную способность самого кремниевого чипа. При работе на уровне ячеек DRAM обеспечивает пропускную способность около 20 ТБ/с на квадратный сантиметр, тогда как стек высотой в 20 слоев имеет максимальную пропускную способность около 4 ТБ/с, а производственные мощности, необходимые для HBM, значительно превышают мощности, требуемые для DDR5 или LPDDR с аналогичными характеристиками. «Когда высота стека достигает 20 слоев, средняя скорость такой памяти оказывается ниже, чем у DDR5», — сказал Беннетт. «Почему не использовать высоту стека HBM, а вместо этого разместить вокруг него более дешевую память?»

Ли ответил, что обучающие рабочие нагрузки требуют как пропускной способности, так и емкости, а затем добавил, что процесс вывода может совмещать оба аспекта, сохраняя кэш ключ-значение в памяти с высокой пропускной способностью, одновременно перенаправляя часть нагрузки в память LPDDR. Эта технология разделения уже применяется в таких продуктах, как платформа NVIDIA Vera Rubin, которая специально предназначена для объединения LPDDR5X и HBM4 с помощью протокола NVLink-C2C. Кроме того, стандарт высокоскоростной флэш-памяти, разработанный SK Hynix и SanDisk, расширяет эту иерархическую концепцию на флэш-память NAND.

Ли, говоря о многоуровневых решениях, отметил: «Это также вопрос, который нам нужно будет рассмотреть в будущем». Согласно сообщениям за январь, SK Hynix получила заказы на около 70% чипов HBM поколения Vera Rubin от NVIDIA, все из которых будут использовать технологию MR-MUF. Ли заявил, что компания еще не решила, какой продукт первым будет использовать технологию MR-MUF.

В своем выступлении Micron исследует развивающиеся архитектуры памяти в области искусственного интеллекта. Как известно, Micron подробно расскажет о том, как высокопроизводительная память и передовые технологии упаковки становятся ключевыми элементами в проектировании систем искусственного интеллекта.

Выступление Micron началось с теории передовых достижений OpenAI в области вычислительной эффективности, объясняя, почему память имеет решающее значение для масштабирования языковых моделей. Micron отметил, что между размером модели, размером набора данных и объемом вычислений при обучении существует степенная зависимость, и считает, что все три фактора должны масштабироваться синхронно для повышения производительности языковых моделей. Память является ключевым ресурсом, связывающим эти три аспекта.

Теперь поговорим о проблеме узкого места памяти. Micron отмечает, что производительность AI-ускорителей по TFLOPS (плавающая точка) увеличивается примерно в три раза каждые два года, тогда как пропускная способность 2.5D-дополнительной памяти (например, HBM) растет менее чем в два раза за тот же период. Именно растущий разрыв между этими показателями делает технологии памяти ключевым ограничивающим фактором производительности AI-систем.

Micron позиционирует HBM как мост между вычислениями и памятью и отслеживает рост емкости, пропускной способности и энергоэффективности от поколения HBM2e до HBM5. Вам стоит хорошо оценить эту техническую конференцию без обозначений на оси Y.

Здесь Micron демонстрирует типичный GPU с площадью упаковки более 12 000 квадратных миллиметров, включающий базовый чип и восемь экземпляров HBM4. Это означает, что при использовании 12 слоев HBM4 площадь памяти кремния может превышать площадь самого GPU-чипа в восемь раз. Это действительно очень наглядная демонстрация.

HBM повысил верхний предел пропускной способности памяти, изменив границы ограничений памяти, что позволило интенсивным по памяти рабочим нагрузкам ИИ работать быстрее до достижения лимитов памяти.

Сейчас выступление Micron подробно объясняет, что такое HBM, и прослеживает эволюцию каждого поколения HBM. Таблица продуктов демонстрирует развитие от HBM1 до HBM4. Каждое поколение HBM повысило скорость передачи данных, количество псевдо-каналов и высоту стека, обеспечив большую пропускную способность и больший объем памяти.

Установка HBM осуществляется так же, как и стандартная EC Отличается от RDIMM. На приведенной ниже схеме показано, как стек HBM интегрируется с GPU или ускорителем в гетерогенной системе и упаковывается в виде системной упаковки (SiP), а не в виде отдельного модуля с разъемом. Многие из вас, вероятно, уже видели такую архитектуру.

Каждый чип DRAM содержит несколько независимых каналов, каждый из которых имеет два псевдоканала; HBM3E обеспечивает 128 банков на чип, тогда как HBM4 удваивает это значение до 256. Базовый чип расположен между хостом и стеком DRAM; с хостовой стороны используется PHY с микровыводами, а со стороны стека — PHY с 3D TSV, соединённые через высокоплотный точка-точка посредник, увеличивая количество IO с 1K у HBM3E до 2K у HBM4.

Micron сейчас демонстрирует компромисс между производительностью и емкостью. Однако здесь они действительно не показывают различия между площадью PCB и энергопотреблением. Возможно, это будет показано на последующих слайдах?

Micron теперь замечает стоимость кремния, связанную с такой скоростью. Комплексные затраты, включая архитектуру проектирования, сложные упаковочные технологии и производственные процессы, означают, что для достижения объема HBM3E, равного DDR5, требуется примерно в три раза больше кремния.

Micron затем в своем выступлении резюмировала параметры памяти, поддерживающие инновации в области ИИ, включая производительность, емкость и энергопотребление.

Более высокоскоростные интерфейсы I/O и более крупные промежуточные слои продолжают стимулировать развитие технологии SiP, включая более быстрые проектирования I/O, SERDES и PHY для чипов, оптимизированные для памяти, а также оптические компоненты, совместно упакованные с интерфейсами. Более крупные SiP на основе технологий, таких как CoWoS-L и CoWoS-R, а также стеклянные субстраты также являются частью пути развития упаковочных технологий.

Теперь поговорим о надежности, включая взаимодействие чипа и упаковки, а также вызовы RAS. В гетерогенных интегрированных устройствах HBM несоответствие коэффициентов теплового расширения различных материалов создает термомеханические напряжения. На самом деле, с более широкой точки зрения, это одна из самых больших проблем, с которыми столкнулись при реализации WSE от Cerebras. EC Объем покрытия C разделен на два уровня: во-первых, HBM3, на системном уровне каждые 256 бит доступа используют 16 метабит; во-вторых, реализованная на чипе символьная кодировка Рида-Соломона EC C.

Для контроля тепловыделения увеличение активности чипов DRAM, повышение высоты стека и более продвинутые функции базы чипа приводят к росту тепловыделения. Micron отмечает, что жидкостное охлаждение, гибридное соединение, а также улучшения в области припоя и боковой формы являются инновационными технологиями теплоотвода, необходимыми для обеспечения расширения пропускной способности и емкости.

Пакетный тренд, похоже, вот-вот подойдет к концу.

В целом, эти данные показывают, как Micron Technology реагирует на эволюцию архитектуры памяти в области искусственного интеллекта. Micron Technology оценивает баланс между повышением пропускной способности и емкости HBM и затратами на упаковку, теплоотвод и надежность, связанными с размещением такой большой емкости памяти рядом с вычислительными блоками.

Как, по мнению пользователей, будет развиваться HBM?

Эта статья взята из официального аккаунта WeChat «Наблюдатель за полупроводниковой индустрией» (ID: icbank), автор: редакция