Samsung et SK Hynix divergent dans leurs stratégies de conception HBM

Lors de la conférence Hot Chips, Samsung et SK Hynix ont tous deux convenu que les GPU, la mémoire, la fabrication de puces et le conditionnement doivent être conçus comme un système. Depuis lors, leurs solutions ont divergé.

Samsung transforme le puce de base en une partie active du système. Elle prévoit de déplacer le contrôleur de mémoire depuis le GPU vers la puce logique de base, libérant ainsi 5 à 10 % de la surface du GPU pour plus de calculs et potentiellement augmentant les performances de 10 à 20 %. Des opérations AI sélectives peuvent également s'exécuter sur la puce de base pour réduire le déplacement des données. À long terme, elle développe la technologie zHBM, qui empile directement le GPU et le DRAM, prévoyant une réduction d'environ 70 % de la consommation d'énergie du DRAM et une augmentation de la bande passante de plus de deux fois.

SK Hynix se concentre sur des empilements plus élevés et gère les problèmes de chaleur et de déformation qui en résultent. Elle a confirmé que l'empilement HBM4 à 12 couches est entré en production, tandis que la version à 16 couches est en phase de validation client. Le hybrid bonding est la voie vers des empilements de 20 couches et plus, permettant l'utilisation de puces plus épaisses et d'espacements plus serrés. Sa méthode iHBM intègre un chemin de conduction thermique dédié à l'intérieur des zones les plus chaudes de l'empilement. La concurrence ne porte plus uniquement sur la bande passante et la capacité. L'architecture des puces de base et le packaging avancé deviennent le champ de bataille décisif.

Lors de la conférence Hot Chips 2026, Samsung Electronics a dévoilé le zHBM, la forme ultime d'évolution de la mémoire à large bande passante. Ce concept élimine le substrat 2.5D et empile verticalement le DRAM directement sur des puces de calcul telles que les GPU, créant une architecture véritablement 3D, avec pour objectif de réduire la consommation d'énergie du DRAM de 70 % et d'augmenter la bande passante de 2,3 fois par rapport à HBM4E.

Samsung a établi une feuille de route en trois étapes pour transformer le puce de base d'un canal de transmission de données passif en un partenaire de calcul actif. La première étape consiste à déplacer le contrôleur de mémoire du xPU vers la puce de base afin de récupérer de la surface de silicium ; la deuxième étape ajoute à la puce de base des capacités d'extension de mémoire et de calcul d'attention ; la troisième étape réalise enfin le zHBM.

Ensuite, examinons la solution de Samsung.

Lors de la présentation, ils ont présenté certains graphiques illustrant les tendances de développement du HBM5 en termes de spécifications. Bien que tout ne soit pas encore définitif, il est intéressant d'observer le graphique en haut à droite.

Un SSD HBM5 de 60 Go de capacité et 6 To/s de bande passante serait excellent. Calculons les chiffres précis : une bande passante de 6 To/s sur 2048 canaux signifie un débit de 23,5 Gbps par broche. Notre vitesse actuelle la plus avancée est de 16 Gbps, ce qui représente une avancée considérable, et cette performance est probablement réalisable avec des nœuds logiques avancés. Si chaque puce a une capacité de 3 Go pour un total de 60 Go, la hauteur d’empilement sera de 20 couches.

Sur une autre diapositive, Samsung a confirmé que la vitesse de transmission par broche pour HBM4E est de 16 Gbps. Nos calculs précédents pour HBM5 ont également été vérifiés dans le graphique ci-dessous.

L'avantage évident de Samsung réside dans sa capacité à concevoir ses propres puces logiques, tandis que Micron et SK Hynix doivent collaborer avec des tiers pour les obtenir. Samsung met en avant cet avantage et souligne l'importance des puces personnalisées. Samsung utilise un processus 1C pour fabriquer la mémoire et un processus 4nm pour les puces logiques, réduisant ainsi considérablement la consommation d'énergie des puces. Le graphique ci-dessous ironise Micron, qui utilise un processus DRAM pour fabriquer les puces logiques dans ses puces HBM4.

Encore mieux, comme mentionné précédemment, Samsung a clairement divisé sa feuille de route produit en trois phases. Nous les présenterons une par une.

Lorsqu'un nœud logique est présent dans le substrat, la surface physique du module HBM PHY est réduite et son efficacité énergétique est améliorée. Cela signifie que le module inter-chip reliant HBM et XPU sera plus petit. Cela présente deux avantages :

Augmentez la surface dans XPU pour effectuer plus de calculs ;

Augmenter la surface disponible du substrat HBM pour permettre des fonctionnalités plus avancées.

Le rétrécissement des dimensions entraîne une densité thermique plus élevée dans ces zones. Intéressant, ils fournissent les dimensions réelles des modules PHY pour différentes générations de HBM.

Samsung a également mentionné qu'ils ne privilégient pas l'utilisation de UCIe dans les liens D2D, car UCIe est plus volumineux et consomme plus d'énergie par bit. Ils ont indiqué que leur solution PHY personnalisée offre de meilleures performances. Lors de la transition vers HBM5, ils ont présenté le concept d'un bloc de chemin thermique intégré (HPB) pour refroidir la région PHY D2D.

Un autre avantage majeur est le déchargement du contrôleur mémoire, qui peut être transféré vers une puce de base personnalisée. Cela libère de l'espace sur la puce XPU, qui peut être utilisé pour alimenter davantage de processeurs d'opérations en virgule flottante.

La nouvelle avantage de l'intégration de nœuds logiques sur le substrat est la possibilité d'implémenter de la SRAM. Si une cellule dans la pile DRAM est endommagée, les informations contenues dans cette cellule peuvent être temporairement stockées dans la SRAM, et le contrôleur mémoire récupérera ces informations depuis la SRAM au lieu de les chercher dans la cellule DRAM endommagée. On peut imaginer la SRAM comme un cahier de secours, un carnet temporaire utilisé pour sauvegarder les données qui ne peuvent pas être stockées dans les cellules DRAM endommagées.

L'utilisation de nœuds logiques comme substrat signifie que, si les transistors sont plus petits, la surface de silicium requise pour de nombreuses fonctions de ce type est également réduite. L'espace économisé peut être utilisé à diverses fins, telles que l'amélioration de la réparabilité, de la disponibilité et de la maintenabilité (RAS), les tests, ainsi que la collecte de données télémétriques sur l'état et la santé des piles de mémoire HBM. Étant donné que les données télémétriques HBM constituent le deuxième facteur principal de défaillance lors de l'entraînement, elles seront extrêmement utiles.

S'il reste de la surface de silicium, un autre peut être ajouté. Le contrôleur d'extension de mémoire permet de connecter un autre empilement HBM derrière le premier, ou d'insérer des puces DRAM pour étendre la mémoire.

Enfin, puisque des transistors logiques sont disponibles, pourquoi ne pas intégrer également certaines fonctions de calcul sur le substrat ? L’avantage est que des calculs tels que la compression matricielle ou le codage peuvent être effectués sur le puce logique sans quitter le substrat, offrant des avantages en termes de latence et d’efficacité.

Si tout se passe bien, il serait théoriquement possible de construire l'accelérateur sophistiqué en bas à droite. Dessiner ce schéma est facile et le concept est intéressant, mais il reste douteux que ses gains de performance réels soient significatifs.

La dernière étape consiste à utiliser des puces de base personnalisées et des HBM, que l'on empile au-dessus de la puce logique. La distance entre la puce de calcul et la puce mémoire est très courte, ce qui permet de transmettre les bits de données sur une distance plus réduite, améliorant ainsi l'efficacité énergétique et augmentant la bande passante mémoire grâce à l'utilisation de davantage de chemins de données parallèles sur la surface de la puce (et non seulement sur son bord).

Tout cela n'est pas facile, mais il est essentiel pour l'entreprise de définir une feuille de route pour les améliorations techniques. Cela démontre leur confiance en la possibilité de lancer des produits de meilleure qualité à l'avenir, ce qui est positif pour l'entreprise. Quant à savoir si le marché est prêt à adopter ce produit, c'est une autre question.

Jaesik Lee, vice-président de l'ingénierie d'empaquetage de SK Hynix America, a déclaré le 23 août lors de la conférence Hot Chips 2026 que SK Hynix s'attend à ce que la technologie de liaison hybride ne puisse pas répondre aux besoins du HBM4E, reportant ainsi la transition d'emballage mémoire la plus attendue de l'industrie à au moins le HBM5.

Comme il l'a décrit, le problème réside dans le fait que l'épaisseur totale du cube HBM est limitée à 775 micromètres — l'épaisseur standard des wafer logiques de 300 mm — ce qui signifie que chaque couche supplémentaire de DRAM nécessite des puces plus fines et des espaces plus étroits. Le HBM4 à haute densité à 16 couches, actuellement en cours de certification client (avec une capacité de 48 Go par cube, contre 12 couches pour le HBM4 à haute densité déjà en production), réduit l'épaisseur des puces centrales à environ 50 micromètres et divise par deux l'espace entre les puces. La présentation de Lee a également détaillé l'architecture de refroidissement iHBM lancée trois mois après sa publication en mai. Lee a expliqué que cette architecture présente une limitation : le module de dissipation thermique ne peut pas être appliqué à tout produit HBM déjà conçu.

JED EC La norme HBM4 augmente la limite d'épaisseur du package de 720 micromètres, héritée d'HBM3E, à 775 micromètres, ce qui soulage la pression induite par la technologie de liaison hybride. Lee indique que, lors de l'installation de la plaque froide sur les packages GPU, une partie du chip logique et des couches empilées de mémoire est usée pour exposer le silicium nu. Étant donné que l'épaisseur du wafer logique est de 775 micromètres, une augmentation supplémentaire de la hauteur des chips mémoire dépasserait la hauteur du processeur voisin. « C'est la limite actuelle que nous pouvons atteindre, car l'épaisseur du wafer logique est également de 775 micromètres », a déclaré Lee.

Des puces plus fines signifient une proportion plus élevée de couches oxydées dans les empilements, et les couches oxydées ont une conductivité thermique bien inférieure à celle du silicium. De plus, la vitesse des broches est passée de 1 Gbps pour les premières générations d'HBM à 8 Gbps pour l'HBM4, ce qui nécessite une consommation d'énergie plus élevée sur la même surface. Selon les données internes de SK Hynix, la charge thermique moyenne est supérieure de 2,2 fois entre les générations successives d'HBM, et le nombre de couches empilées double tous les deux cycles.

Le processus de moulage par reflow à grande échelle avec remplissage sous-chip (MR-MUF) de l'entreprise, qui assemble toutes les puces par pickup and placement et les relie en un seul reflow, a sacrifié des marges : selon Lee, le remplissage réduit de moitié l'espace tout en contrôlant la déformation des puces inférieures à 50 micromètres, ce qui constitue le principal défi de fabrication pour 16-Hi.

En mai de l'année dernière, Samsung a publiquement annoncé son intention d'utiliser la technologie de hybrid bonding pour produire le HBM4, tandis que SK Hynix a proposé la technologie de bonding cuivre-cuivre comme solution de remplacement pour la technologie avancée MR-MUF. Ensuite, JED EC Les limites d'épaisseur ont été assouplies, rendant la technologie de liaison hybride moins urgente. Actuellement, l'industrie discute de l'augmentation de l'épaisseur des empilements de 20 couches à 825 à 900 micromètres, ce qui repoussera à nouveau la généralisation de la technologie de liaison au cuivre.

Début mars, des experts du secteur ont affirmé que SK Hynix avait passé sa première commande de production en série de liaison hybride, un système de ligne unique d'une valeur d'environ 20 milliards de wons (15 millions de dollars américains), combinant les outils d'Applied Materials et de Besi. Counterpoint Research prévoit que cette technologie entrera en phase de production complète HBM vers 2029-2030 avec le lancement du HBM5.

Selon la feuille de route de SK Hynix, la technologie de liaison hybride est actuellement en phase de recherche et développement, adaptée aux structures empilées de 20 couches et plus. SK Hynix en est encore à déterminer quel produit sera le premier à l'adopter. M. Li n'a pas révélé quelle génération de produit exacte, mais après élimination du HBM4E, le HBM5 est très probablement le modèle qui l'adoptera en premier. Cette technologie relie les pads de cuivre plans et les surfaces oxydées à température ambiante, puis utilise la dilatation thermique du cuivre pendant le processus de durcissement pour former la liaison.

« Ce procédé, qui semble simple, est en réalité extrêmement complexe », a déclaré Lee. « Nous devons utiliser 16 à même 20 couches pour réaliser le hybrid bonding, ce qui est radicalement différent de l’empilement en couche unique. » L’élimination complète des micro-bumps permet d’augmenter l’épaisseur du chip central de 24 % à une hauteur de 20 couches, de réduire la résistance thermique d’environ 35 % par rapport au MR-MUF de même hauteur, et de réduire l’espacement des bumps (selon le schéma des couches de puce) à moins de 18 micromètres, contre 30 micromètres pour le MR-MUF actuel. Pour l’espacement des bumps de HBM4, les micro-bumps traditionnels restent applicables, et chaque JED EC Lors de l'augmentation de la limite d'épaisseur, MR-MUF conserve toujours sa faisabilité et s'étend aux produits de la génération suivante.

Le concept iHBM intègre des blocs thermiquement conducteurs et isolants dans la région PHY entre les puces du chip de base (zone d'interface à densité de puissance maximale), ce qui réduirait de plus de 30 % la résistance thermique.

Les diapositives de Li comparent directement iHBM à la solution de module de chemin de dissipation thermique (Heat Path Block) de Samsung. Le module de chemin de dissipation thermique de Samsung utilise des colonnes de dissipation thermique dédiées pour évacuer la chaleur hors de la pile de puces, tandis que la re conception du circuit de la puce de Micron prétend améliorer l'efficacité énergétique de plus de 20 %. Ces trois affirmations proviennent des fabricants et utilisent des critères de mesure différents. Les conceptions de SK Hynix et de Samsung sont prévues pour HBM5, mais ne devraient pas être mises en production avant 2028. Li a indiqué que, puisque ces modules sont situés à l'intérieur du package avec le puce D2D PHY, ils doivent être optimisés en fonction de la conception du client et ne peuvent pas être appliqués à des générations de puces déjà conçues, ce qui fait de iHBM un travail de co-conception. « C'est une excellente option que nous pouvons proposer, mais nous ne pouvons pas l'appliquer aux générations de puces déjà conçues. »

Lors de la session de questions-réponses, Tanj Bennett de SemiAnalysis a souligné que l'empilement de mémoire plus élevé réduit le débit propre du silicium. Lorsqu'elle fonctionne au niveau des cellules, la DRAM offre un débit d'environ 20 To/s par cm² ; tandis qu'un empilement de 20 couches atteint un débit maximal d'environ 4 To/s, et que la capacité de fabrication requise pour le HBM est bien supérieure à celle nécessaire pour du DDR5 ou du LPDDR de spécifications équivalentes. « Lorsque la hauteur d'empilement atteint 20 couches, la vitesse moyenne de cette mémoire est en réalité plus lente que celle du DDR5 », a déclaré Bennett. « Pourquoi exploiter la hauteur d'empilement du HBM plutôt que de placer astucieusement des mémoires moins chères autour ? »

Li a répondu que les charges de formation nécessitent à la fois de la bande passante et de la capacité, puis a ajouté que le processus d'inférence peut équilibrer les deux en conservant le cache clé-valeur dans une mémoire à haute bande passante tout en déchargeant une partie du travail vers la mémoire LPDDR. Cette technique de séparation est déjà appliquée dans des produits tels que la plateforme NVIDIA Vera Rubin, qui regroupe spécifiquement LPDDR5X et HBM4 via le protocole NVLink-C2C à cet effet. De plus, la norme de mémoire flash à haute bande passante développée conjointement par SK Hynix et SanDisk étend ce concept de hiérarchisation au flash NAND.

Li a déclaré concernant les solutions en couches : « C’est également une question que nous devrons envisager à l’avenir. » Selon des rapports de janvier, SK Hynix a obtenu environ 70 % des commandes pour les puces HBM de la génération Vera Rubin d’NVIDIA, qui utiliseront toutes la technologie MR-MUF. Li a indiqué que l’entreprise n’a pas encore décidé quel produit adoptera en premier la technologie MR-MUF.

Lors de son intervention, Micron Technology explorera les architectures mémoire en évolution dans le domaine de l'intelligence artificielle. On apprend que Micron Technology détaillera comment la mémoire à large bande passante et les technologies de conditionnement avancées deviennent centrales dans la conception des systèmes d'intelligence artificielle.

La présentation de Micron a commencé par les théories les plus récentes sur l'efficacité computationnelle d'OpenAI, expliquant pourquoi la mémoire est essentielle à l'échelle des modèles linguistiques. Micron a souligné l'existence d'une relation de puissance entre la taille du modèle, la taille du jeu de données et le calcul d'entraînement, et a affirmé que ces trois éléments doivent être étendus simultanément pour améliorer les performances des modèles linguistiques. La mémoire est précisément la ressource clé qui relie ces trois facteurs.

Maintenant, parlons des goulots d'étranglement mémoire. Micron indique que les TFLOPS (performance en opérations en virgule flottante) des accélérateurs IA augmentent d'environ trois fois tous les deux ans, tandis que la bande passante de la mémoire additionnelle 2.5D (comme le HBM) augmente de moins de deux fois tous les deux ans. Ce écart croissant est précisément la raison pour laquelle les technologies mémoires deviennent un facteur limitant essentiel des performances des systèmes IA.

Micron positionne le HBM comme un pont entre le calcul et la mémoire, et suit l'amélioration continue de la capacité, de la bande passante et de l'efficacité énergétique à travers les générations, de HBM2e à HBM5. Vous devriez vraiment apprécier cette conférence technique sans axe Y étiqueté.

Ici, Micron présente une GPU typique avec une surface de paquetage dépassant 12 000 mm², comprenant le puce de base et huit instances de mémoire HBM4. Cela signifie qu'avec 12 couches de mémoire HBM4, la surface de la puce mémoire peut dépasser huit fois celle de la puce GPU. C'est une démonstration très intuitive.

HBM a augmenté la limite de bande passante mémoire, repoussant les frontières des contraintes mémoire, permettant aux charges de travail AI intensives en mémoire de s'exécuter plus rapidement avant d'atteindre les limites mémoire.

La présentation de Micron détaille actuellement ce qu'est le HBM et l'évolution de chaque génération de HBM. Le tableau des produits illustre l'évolution depuis le HBM1 jusqu'au HBM4. Chaque génération de HBM a augmenté la vitesse de données, le nombre de pseudo-canaux et la hauteur d'empilement, offrant ainsi une bande passante plus élevée et une capacité plus importante.

La méthode d'installation de HBM est identique à celle du standard EC C'est différent des RDIMM. Le schéma ci-dessous illustre comment la pile HBM est intégrée avec un GPU ou un accélérateur dans un système hétérogène et encapsulée sous forme de package système (SiP), et non comme un module indépendant. Beaucoup d'entre vous chez STH ont probablement déjà vu ce type de conception.

Chaque puce DRAM contient plusieurs canaux indépendants, chacun comportant deux pseudo-canaux ; HBM3E intègre 128 banques par puce, tandis que HBM4 les double à 256. La puce de base se situe entre l'hôte et l'empilement DRAM ; du côté hôte, on utilise une PHY à micro-bumps, et du côté empilement, une PHY à TSV 3D, connectées par un interposant point-à-point à haute densité, passant de 1K IO pour HBM3E à 2K IO pour HBM4.

Micron présente actuellement un compromis entre performance et capacité. Mais ils n'ont pas vraiment montré la différence entre la surface du PCB et la consommation d'énergie ici. Peut-être que cela sera présenté dans les diapositives suivantes ?

Micron prend maintenant en compte le coût des puces lié à cette vitesse. La complexité combinée de l'architecture de conception, du packaging avancé et des procédés de fabrication signifie que la quantité de silicium nécessaire pour atteindre une capacité HBM3E équivalente à celle du DDR5 est environ trois fois supérieure.

Micron a ensuite résumé dans son discours les paramètres mémoire soutenant l'innovation en intelligence artificielle, notamment les performances, la capacité et la consommation d'énergie.

Des liaisons I/O plus rapides et une couche intermédiaire plus grande continuent de faire progresser la technologie SiP, notamment grâce à des conceptions I/O plus rapides, des SERDES et des PHY inter-puces optimisés pour la mémoire, ainsi que des dispositifs optiques co-emballés sur le lien d'interconnexion. Les SiP de plus grande taille basés sur des technologies telles que CoWoS-L et CoWoS-R, ainsi que les substrats en verre, font également partie de la trajectoire de développement des technologies d'emballage.

Maintenant, parlons de la fiabilité, y compris les interactions entre le package et les puces, ainsi que les défis RAS. Dans les dispositifs HBM à intégration hétérogène, le déséquilibre des coefficients de dilatation thermique entre les différents matériaux génère des contraintes thermomécaniques. En réalité, d’un point de vue plus global, c’est précisément l’un des principaux défis auxquels a été confrontée la réalisation du WSE de Cerebras. EC La couverture C est divisée en deux niveaux : d'abord le HBM3, au niveau système, chaque accès de 256 bits utilise 16 bits de métadonnées ; ensuite, la mise en œuvre sur puce basée sur des symboles de Reed-Solomon EC C.

Pour contrôler la chaleur, l'augmentation de l'activité des puces DRAM, la hauteur de empilement plus élevée et les fonctionnalités de base de puce plus avancées augmentent la génération de chaleur. Micron souligne que le refroidissement liquide, le hybrid bonding, ainsi que les améliorations des soudures et des moules latéraux sont des innovations thermiques nécessaires pour maintenir l'extension de la bande passante et de la capacité.

La tendance à l’emballage semble sur le point de prendre fin.

Dans l'ensemble, ces données illustrent comment Micron fait face à l'évolution de l'architecture mémoire dans le domaine de l'intelligence artificielle. Micron évalue les coûts liés au conditionnement, à la dissipation thermique et à la fiabilité associés à la proximité des unités de calcul, tout en cherchant à augmenter la bande passante et la capacité des HBM.

Que pensez-vous de la trajectoire future de HBM ?

Cet article provient du compte officiel WeChat « Semiconductor Industry Watch » (ID : icbank), auteur : rédaction