Samsung і SK Hynix розходяться у стратегіях дизайну HBM

На конференції Hot Chips Samsung і SK Hynitz погодилися, що GPU, пам’ять, виробництво власних чіпів і упаковка повинні розроблятися як система. З того часу їхні рішення почали розходитися.

Samsung перетворює базовий чіп на активну частину системи. Він планує перемістити контролер пам’яті з GPU на логічний базовий чіп, що звільнить 5–10% площі GPU для додаткових обчислень і може підвищити продуктивність на 10–20%. Обрані операції штучного інтелекту також можуть виконуватися на базовому чіпі, щоб зменшити переміщення даних. У довгостроковій перспективі він розвиває технологію zHBM, яка безпосередньо стекує GPU і DRAM, що передбачає зниження споживання потужності DRAM приблизно на 70% та подвоєння пропускної здатності.

SK Hynix зосереджується на більш високих стеках та управлінні теплом і деформацією, що виникають внаслідок цього. Вона підтвердила, що HBM4 з 12-рівневим стеком вже перейшов у фазу виробництва, а 16-рівнева версія перебуває на етапі перевірки клієнтами. Гібридне з’єднання є шляхом до стеків з 20 рівнями та більше, оскільки дозволяє використовувати більш товсті чіпи та більш щільний розміщення. Її метод iHBM додає спеціальний теплопровідний шлях у найгарячіших областях стеку. Ця конкуренція більше не обмежується лише пропускною здатністю та ємністю. Базова архітектура чіпа та передові упаковки стають вирішальним полем битви.

На виступі Hot Chips 2026 року Samsung Electronics представила zHBM — фінальну еволюцію пам’яті з високою пропускною здатністю. Ця концепція відмовляється від 2,5D інтерпозиту, вертикально розміщуючи DRAM над обчислювальними чіпами, такими як GPU, утворюючи справжню 3D-інтегровану архітектуру з метою зменшення споживання потужності DRAM на 70% та збільшення пропускної здатності в 2,3 рази порівняно з HBM4E.

Samsung розробила триетапну дорожню карту для перетворення базових чіпів із пасивних каналів передачі даних у активних обчислювальних партнерів. На першому етапі контролер пам’яті переміщується з xPU на базовий чіп для відновлення площі кремнію; на другому етапі базовий чіп отримує можливості розширення пам’яті та обчислень уваги; на третьому етапі досягається zHBM.

Далі розглянемо рішення Samsung.

Під час виступу вони показали кілька діаграм, що ілюструють тенденції розвитку HBM5 за параметрами. Хоча ще нічого не вирішено, цікаво подивитися на діаграму в правому верхньому куті.

HBM5 SSD з об’ємом 60 ГБ та пропускною здатністю 6 ТБ/с — це чудово. Давайте розрахуємо конкретні дані. Пропускна здатність 6 ТБ/с при 2048 каналах означає швидкість передачі 23,5 Гбіт/с на кожний пін. Наша найсучасніша наразі швидкість — 16 Гбіт/с, це величезний прогрес, і досягти цього, ймовірно, допоможе використання передових логічних нодів. Якщо об’єм кожного чіпу становить 3 ГБ, а загальний об’єм — 60 ГБ, то висота стеку буде 20 рівнів.

На іншому слайді Samsung підтвердила, що швидкість передачі на один контакт HBM4E становить 16 Гбіт/с. Наші попередні розрахунки щодо HBM5 також підтверджено на наведеному нижче графіку.

Очевидна перевага Samsung полягає в наявності власних розроблених логічних чіпів, тоді як Micron і SK Hynix змушені співпрацювати з іншими, щоб отримати такі чіпи. Samsung підкреслює свою перевагу та пояснює важливість спеціалізованих чіпів. Samsung виробляє пам’ять за допомогою технології 1C, а логічні чіпи — за допомогою технології 4 нм, що значно знижує споживання енергії чіпів. Нижче наведено сатиричне зображення Micron, яка використовує технологію DRAM для виробництва логічних чіпів у HBM4.

Ще краще те, що, як зазначалося раніше, Samsung чітко розподілив свою дорожню карту продуктів на три етапи. Ми розглянемо їх по черзі.

Коли в базовій пластині присутні логічні вузли, фізичний розмір модуля HBM PHY зменшується, а енергоефективність зростає. Це означає, що розміри міжчіпового модуля, що з’єднує HBM і XPU, будуть меншими. Це має дві переваги:

Збільште площу в XPU для виконання більшої кількості обчислень;

Збільшення доступної площі підкладки HBM для реалізації більш просунутих функцій.

Зменшення розміру призводить до більшої теплової щільності цих областей. Цікаво, що вони наводять фактичні розміри PHY-модулів для різних поколінь HBM.

Samsung також зазначив, що вони не схильні використовувати UCIe у D2D з’єднаннях, оскільки UCIe має більший розмір і вищу енергоспоживання на біт. Вони зазначили, що їхні власні реалізації PHY демонструють кращу продуктивність. Під час переходу на HBM5 вони продемонстрували концепцію інтегрованого блоку теплового шляху (HPB) для охолодження області D2D PHY.

Іншою ключовою перевагою є вивантаження контролера пам’яті на спеціалізовану базову мікросхему. Це звільняє простір на чіпі XPU, який можна використати для підключення більшої кількості процесорів з рухомою комою.

Нова перевага інтеграції логічних вузлів на підкладці полягає в можливості реалізації SRAM. Якщо один із елементів у стосі DRAM пошкоджений, інформація з цього елемента може тимчасово зберігатися у SRAM, а контролер пам’яті отримує цю інформацію з SRAM, а не з пошкодженого елемента DRAM. SRAM можна уявити як запасну зошит, який працює як тимчасовий блокнот для зберігання даних, що не можуть бути збережені у пошкоджених елементах DRAM.

Використання логічних вузлів як підкладки означає, що при менших розмірах транзисторів площа кремнію, необхідна для багатьох таких функцій, також зменшується. Зекономлений простір можна використати для різних цілей, наприклад, для підвищення ремонтопридатності, доступності та обслуговуваності (RAS), проведення тестування та збору телеметричних даних про стан/здоров’я стека пам’яті HBM. Оскільки телеметричні дані HBM є другою за значущістю причиною невдач під час навчання, ці дані будуть дуже корисними.

Якщо залишається вільна площа кремнію, можна додати ще один. Контролер розширення пам’яті використовується для підключення ще одного стека HBM після першого або для вставлення чипів DRAM для розширення пам’яті.

Нарешті, оскільки логічні транзистори доступні, чому б не інтегрувати деякі обчислювальні функції також на підкладці? Перевага такого підходу полягає в тому, що обчислення, такі як матричне стиснення або кодування, можуть виконуватися на логічному чипі, не виходячи за межі підкладки. Це дає переваги щодо затримки та ефективності.

Якщо все піде за планом, теоретично можна збудувати цей витончений прискорювач у нижньому правому куті. Намалювати таку діаграму легко, і концепція цікава, але чи буде реальний приріст продуктивності значним, залишається під сумнівом.

Останній етап полягає у використанні спеціально розроблених підкладок із чіпами та HBM, які розміщуються поверх логічного чіпа. Відстань між обчислювальним чіпом і чіпом пам’яті дуже мала, тому біти даних передаються на коротшу відстань, що підвищує енергоефективність і збільшує пропускну здатність пам’яті завдяки можливості використання більшої кількості паралельних шляхів даних у межах чіпа (а не лише на його передній межі).

Це не просто, але для компанії дуже важливо розробити дорожню карту технічного вдосконалення. Це свідчить про їхню впевненість у тому, що в майбутньому вони запустять більш якісні продукти, що є добре для компанії. Щодо того, чи готовий ринок прийняти цей продукт — це інша справа.

Віце-президент з інжинірингу упаковки SK Hynix America Джесік Лі (Jaesik Lee) 23 серпня на конференції Hot Chips 2026 заявив, що SK Hynix очікує, що технологія гібридного з’єднання не зможе задовольнити вимоги HBM4E, що відкладе найбільш очікувану перехідну зміну в упаковці пам’яті до HBM5.

Як він описав, проблема полягає в тому, що загальна товщина HBM-куба обмежена 775 мікронами — стандартною товщиною 300-мм логічних валиків — тому кожне додавання шару DRAM вимагає більш тонких чіпів і вужчих проміжків. Зараз проходить сертифікацію клієнтами 16-шарова високогустинна HBM4 (об’єм одного куба 48 ГБ, на відміну від 12-шарової високогустинної HBM4, яка вже виробляється масово), яка зменшує товщину ядерних чіпів до приблизно 50 мікронів і зменшує у два рази проміжки між чіпами. У доповіді Лі також детально розглядається архітектура охолодження iHBM, запущена компанією через три місяці після її оголошення у травні. Лі пояснив, що ця архітектура має обмеження: модулі розсіювання тепла не можуть застосовуватися до будь-яких HBM-продуктів, які вже знаходяться у розробці.

JED EC Стандарт HBM4 підвищив верхню межу товщини упаковки з 720 мікрометрів, використовуваних у HBM3E, до 775 мікрометрів, що зменшило навантаження, пов’язане з використанням технології гібридного з’єднання. Лі зазначив, що під час встановлення холодильної пластини на GPU частину логічного чіпа та стеку пам’яті зносяться, відкриваючи чистий кремній. Оскільки товщина логічного відрізка становить 775 мікрометрів, додаткове збільшення висоти чіпів пам’яті призведе до того, що вони вийдуть за межі висоти сусіднього процесора. «Це межа, яку ми можемо зараз подолати, оскільки товщина логічного відрізка також становить 775 мікрометрів», — сказав Лі.

Тонші чіпи означають вищий відсоток оксидних шарів у стеку, а оксиди мають набагато нижчу теплопровідність порівняно з кремнієм. Крім того, швидкість пінів зросла з 1 Гбіт/с у ранніх версіях HBM до 8 Гбіт/с у HBM4, що призводить до більшого споживання потужності в тому ж обсязі. Дані SK Hynix показують, що теплове навантаження в середньому вище на 2,2 рази у порівнянні з попередніми поколіннями HBM, а кількість шарів у стеку подвоюється кожні два покоління.

Процес масового формування з заповненням нижньої частини (MR-MUF) компанії, який використовує метод підйому та розміщення для стекування всіх чіпів та їх з’єднання за допомогою одного паяльного процесу, приніс втрати прибутку: за словами Лі, заповнення, яке зменшило вдвічі розмір проміжку та контролювало деформацію чіпів менше 50 мікрометрів, є основним виробничим викликом для 16-Hi.

У травні минулого року Samsung публічно пообіцяв використовувати технологію гібридного з’єднання для виробництва HBM4, тоді як SK Hynix розглядала мідно-мідне з’єднання як альтернативу для передової технології MR-MUF. Після цього JED EC Обмеження товщини було зняті, що зробило гібридне з’єднання не найважливішою задачею. Зараз галузь обговорює подальше збільшення товщини стеку з 20 шарів до 825–900 мікрометрів, що знову відтермінує поширення мідного з’єднання.

Ще у березні фахівці заявили, що SK Hynix замовив перший масовий виробничий замовлення на гібридне з’єднання — комплекс однолінійних систем вартістю приблизно 20 мільярдів корейських вон (15 мільйонів доларів США), що поєднує інструменти Applied Materials та Besi. Counterpoint Research передбачає, що ця технологія вийде на повномасштабне виробництво HBM близько 2029–2030 років із запуском HBM5.

Згідно з доріжною картою SK Hynix, технологія гібридного з’єднання наразі перебуває на етапі дослідження та розробки і призначена для структур зі стекуванням 20 шарів і більше. SK Hynix ще вирішує, який продукт першим застосує цю технологію. Г-н Лі не розкрив конкретну генерацію продукту, але після виключення HBM4E, HBM5, ймовірно, стане першою моделлю, що використовуватиме цю технологію. Ця технологія з’єднує плоскі мідні контактні площадки та оксидні поверхні при кімнатній температурі, а потім використовує теплове розширення міді під час процесу затвердіння для формування з’єднання.

«Цей, на перший погляд, простий процес насправді надзвичайно складний», — сказав Лі. «Нам потрібно 16 або навіть 20 шарів, щоб досягти змішаного з’єднання, що кардинально відрізняється від однорівневого стекування». Повне видалення мікропіків дозволяє збільшити товщину ядра чіпа на 24% при висоті 20 шарів, зменшити тепловий опір приблизно на 35% порівняно з MR-MUF такої ж висоти, а також зменшити крок піків (згідно з картою шарів чіпа) нижче 18 мікрометрів, тоді як поточний крок MR-MUF становить 30 мікрометрів. При кроці піків HBM4 традиційні мікропіки все ще застосовні, і кожен JED EC Під час підвищення верхньої межі товщини MR-MUF зберігає свою придатність і продовжується у наступному поколінні продуктів.

Концепція iHBM вбудовує теплопровідні та ізоляційні блоки в область PHY між чіпами базового чіпа (інтерфейсні гарячі точки з найвищою щільністю потужності), що, як стверджується, зменшує тепловий опір більше ніж на 30%.

Слайди Лі прямо порівнюють iHBM із рішенням Samsung Heat Path Block. Рішення Samsung Heat Path Block виводить тепло зі стеку чіпів за допомогою спеціальних теплових колонок, тоді як перероблена схема підкладки чіпа Micron стверджує, що ефективність зростає більше ніж на 20%. Усі три твердження є заявами виробників і базуються на різних критеріях вимірювання. Дизайни SK Hynix і Samsung призначені для HBM5, але їх серійне виробництво не очікується раніше 2028 року. Лі зазначив, що оскільки ці модулі розташовані всередині пакету разом із чіпом D2D PHY, їх потрібно оптимізувати під дизайн клієнта, а не застосовувати до вже спроектованих поколінь чіпів, що робить iHBM спільною розробкою. «Це варіант, який ми можемо зробити добре, але ми не можемо застосувати його до вже спроектованих поколінь чіпів».

У під час сеансу запитань і відповідей Тань Беннетт із SemiAnalysis зазначив, що стекування більш високих об’ємів пам’яті зменшує пропускну здатність самого кристала. Під час роботи DRAM на рівні комірок пропускна здатність становить приблизно 20 ТБ/с на квадратний сантиметр; тоді як стек висотою 20 шарів має максимальну пропускну здатність близько 4 ТБ/с, а виробничі потужності, необхідні для HBM, значно перевищують такі для DDR5 або LPDDR з аналогічними параметрами. «Коли висота стеку досягає 20 шарів, середня швидкість такої пам’яті навіть повільніша, ніж у DDR5», — сказав Беннетт. «Чому використовувати висоту стеку HBM, а не розмістити навколо нього більш дешеву пам’ять?»

Лі відповів, що навантаження навчання вимагає як пропускної здатності, так і ємності, а потім додав, що висновок може поєднувати обидва аспекти, зберігаючи кеш ключ-значення у пам’яті з високою пропускною здатністю, одночасно вивантажуючи частину роботи на LPDDR-пам’ять. Ця технологія розділення вже застосовується у продуктах, таких як платформа NVIDIA Vera Rubin, яка саме для цієї мети об’єднує LPDDR5X і HBM4 за допомогою протоколу NVLink-C2C. Крім того, високопропускна флеш-пам’ять, розроблена SK Hynix та SanDisk разом, розширює цю ієрархічну концепцію на NAND-пам’ять.

Лі, коментуючи шарові рішення, сказав: «Це також питання, яке нам потрібно розглянути в майбутньому». За повідомленнями за січень, SK Hynix отримала близько 70% замовлень на чіпси HBM покоління Vera Rubin від NVIDIA, усі з яких будуть використовувати технологію MR-MUF. Лі зазначив, що компанія ще не вирішила, який продукт першим використає технологію MR-MUF.

У своїй промові Micron розгляне розвиваються архітектури пам’яті в галузі штучного інтелекту. Відомо, що Micron детально роз’яснить, як пам’ять з високою пропускною здатністю та передові технології упаковки стають ключовими для проектування систем штучного інтелекту.

Промова Micron розпочалася з теорії про передові досягнення OpenAI у галузі обчислювальної ефективності, пояснюючи, чому пам’ять є критично важливою для масштабування мовних моделей. Micron зазначила, що між розміром моделі, розміром набору даних і обчислювальними ресурсами для навчання існує степенева залежність, і вважає, що ці три фактори повинні розширюватися синхронно, щоб підвищити продуктивність мовних моделей. Пам’ять є ключовим ресурсом, що зв’язує ці три аспекти.

Зараз поговоримо про обмеження пам’яті. Micron зазначає, що TFLOPS (плаваюча точка продуктивність) AI-акселераторів зростає приблизно в 3 рази кожні два роки, тоді як пропускна здатність 2.5D додаткової пам’яті (наприклад, HBM) зростає менше ніж в 2 рази за той самий період. Саме це зростаюче розрив є причиною того, що технології пам’яті стають ключовим обмеженням продуктивності AI-систем.

Micron позиціонує HBM як міст між обчисленнями та пам’яттю, стежачи за зростанням ємності, пропускної здатності та енергоефективності від HBM2e до HBM5. Варто дійсно оцінити цю технічну конференцію без позначок на осі Y.

Тут Micron продемонструвала типовий GPU, площа пакету якого перевищує 12 000 квадратних міліметрів, включаючи базовий чіп і вісім екземплярів HBM4. Це означає, що при використанні 12 шарів HBM4 площа кремнієвої пластини пам’яті може перевищувати площу чіпа GPU в понад 8 разів. Це дійсно дуже наочна демонстрація.

HBM підвищив верхню межу пропускної здатності пам’яті, змінивши межі обмежень пам’яті, що дозволило інтенсивним за пам’яттю завантаженням штучного інтелекту працювати швидше до досягнення обмежень пам’яті.

У виступі Micron зараз детально розглядається, що таке HBM, та історія розвитку кожного покоління HBM. Таблиця продуктів показує еволюцію від HBM1 до HBM4. Кожне покоління HBM підвищує швидкість передачі даних, кількість псевдо-каналів та висоту стеку, що забезпечує більшу пропускну здатність та більшу ємність.

Спосіб встановлення HBM такий самий, як і у стандартного EC Відрізняється від RDIMM. На нижченаведеному малюнку показано, як стек HBM інтегрується з GPU або прискорювачем у гетерогенній інтеграційній системі та упаковується у вигляді системи в упаковці (SiP), а не як окремий модуль слота. Думаю, багато хто з STH раніше бачив такий дизайн.

Кожен чіп DRAM містить кілька незалежних каналів, кожен з яких має два псевдоканали; HBM3E має 128 банків на чіп, тоді як HBM4 подвоює цю кількість до 256. Базовий чіп розташований між хостом і стеком DRAM; з боку хоста використовується PHY з мікропіками, а з боку стека — PHY з 3D TSV, що з’єднуються через високогустинний точково-точковий інтерпозит, що збільшує кількість IO з 1K у HBM3E до 2K у HBM4.

Micron зараз демонструє компроміс між продуктивністю та ємністю. Але тут вони справді не показують різницю між площею друкованої плати та споживанням енергії. Можливо, це буде показано на наступних слайдах?

Micron зараз враховує витрати на кремній, пов’язані з такою швидкістю. Комплексні витрати на архітектуру проектування, передові упаковки та виробничі процеси означають, що для досягнення об’єму HBM3E, рівного DDR5, потрібно приблизно втричі більше кремнію.

Після цього Micron у своїй промові підсумувала параметри пам’яті, що підтримують інновації в галузі штучного інтелекту, зокрема продуктивність, ємність та споживання енергії.

Більш швидкі I/O-зв’язки та більші міжшарові структури безперервно розвивають технології SiP, включаючи швидші дизайни I/O, SERDES та PHY для чіпів, оптимізовані для пам’яті, а також співпакетні оптичні пристрої на стороні інтерконектів. Більші за розміром SiP на основі технологій, таких як CoWoS-L і CoWoS-R, а також скляні підкладки, також є частиною шляху розвитку упаковочних технологій.

Зараз ми поговоримо про надійність, включаючи взаємодію чіпа та упаковки та виклики RAS. У гетерогенних інтегрованих пристроях HBM незбіг коефіцієнтів теплового розширення різних матеріалів призводить до теплових механічних напружень. На справді, з більш загальної точки зору, це саме одна з найбільших викликів, з якими стикнувся Cerebras під час реалізації WSE. EC Обсяг покриття C поділено на два рівні: перший — HBM3, на системному рівні, кожен доступ на 256 біт використовує 16 метабітів; другий — на чіпі реалізований символ-орієнтований код Ріда-Соломона EC C.

Для контролю тепловиділення збільшення активності чіпів DRAM, збільшення висоти стеку та впровадження більш просунутих функцій чіпа призводять до зростання тепловиділення. Micron зазначає, що рідинне охолодження, гібридне з’єднання, а також покращення припою та бічного модуля є інноваційними технологіями охолодження, необхідними для забезпечення розширення пропускної здатності та ємності.

Тренд на упаковку, схоже, наближається до кінця.

Загалом ці дані показують, як Micron Technology реагує на еволюцію архітектури пам’яті в галузі штучного інтелекту. Micron Technology зважує переваги збільшення пропускної здатності та об’єму HBM проти витрат на упаковку, охолодження та надійність, пов’язаних із розміщенням такої великої кількості пам’яті поруч з обчислювальними одиницями.

Як, на вашу думку, буде рухатися HBM?

Цей матеріал надійшов із微信-каналу «Нагляд за напівпровідниковою галуззю» (ID: icbank), автор: редакція