Samsung y SK Hynix divergen en las estrategias de diseño de HBM

En la conferencia Hot Chips, Samsung y SK Hynix acordaron que las GPU, la memoria, la fabricación de obleas y el empaquetado deben diseñarse como un sistema. Desde entonces, sus soluciones han comenzado a divergir.

Samsung está transformando el chip base en una parte activa del sistema. Planea mover el controlador de memoria desde la GPU al chip base lógico, liberando entre un 5 y un 10% del área de la GPU para más cálculo y posiblemente aumentando el rendimiento entre un 10 y un 20%. Las operaciones de IA selectivas también pueden ejecutarse en el chip base para reducir el movimiento de datos. A largo plazo, está impulsando la tecnología zHBM, que apila directamente la GPU y el DRAM, con la expectativa de reducir el consumo de energía del DRAM en aproximadamente un 70% y duplicar más que el ancho de banda.

SK Hynix se centra en apilamientos más altos y en gestionar el calor y la distorsión resultantes. Confirma que la pila de 12 capas de HBM4 ya ha entrado en producción, mientras que la versión de 16 capas se encuentra en fase de validación por clientes. La unión híbrida es el camino hacia apilamientos de 20 capas o más, ya que permite utilizar chips más gruesos y distancias más cercanas. Su método iHBM añade una ruta de conducción térmica dedicada dentro de las áreas más calientes de la pila. Esta competencia ya no se trata solo de ancho de banda y capacidad. La arquitectura del chip base y el empaquetado avanzado se han convertido en el campo de batalla decisivo.

En la conferencia Hot Chips de 2026, Samsung Electronics presentó el zHBM, la evolución definitiva de la memoria de alto ancho de banda. Este concepto elimina el intermediario 2.5D, apilando verticalmente el DRAM encima de chips de cómputo como las GPU, creando una arquitectura verdaderamente 3D integrada, con el objetivo de reducir el consumo de energía del DRAM en un 70% y aumentar el ancho de banda en 2.3 veces respecto al HBM4E.

Samsung ha establecido una hoja de ruta en tres fases para transformar el chip base de un canal pasivo de transmisión de datos en un compañero de cómputo activo. La primera fase traslada el controlador de memoria desde el xPU al chip base para recuperar área de silicio; la segunda fase añade al chip base capacidad de expansión de memoria y cálculo de atención; la tercera fase logra finalmente el zHBM.

A continuación, veamos la propuesta de Samsung.

Durante la presentación, ocurrió un problema y mostraron algunos gráficos que ilustran la tendencia de desarrollo del HBM5 en términos de especificaciones. Aunque aún no está decidido nada, es interesante echar un vistazo al gráfico en la esquina superior derecha.

Un SSD HBM5 con una capacidad de 60 GB y un ancho de banda de 6 TB/s sería excelente. Calculemos los datos específicos: un ancho de banda de 6 TB/s con 2048 canales implica una velocidad de transmisión de 23.5 Gbps por pin. Nuestra velocidad más avanzada actual es de 16 Gbps, lo que representa un avance significativo, y es probable que se logre mediante nodos lógicos avanzados. Si cada chip tiene una capacidad de 3 GB y la capacidad total es de 60 GB, la altura de apilamiento será de 20 capas.

En otra diapositiva, Samsung confirmó que la velocidad de transmisión por pin de HBM4E es de 16 Gbps. Nuestros cálculos previos para HBM5 también se validan en la siguiente figura.

La ventaja clara de Samsung radica en su capacidad de desarrollar chips lógicos propios, mientras que Micron y SK Hynix necesitan colaborar con terceros para obtener estos chips. Samsung enfatiza esta ventaja propia y explica la importancia de los chips personalizados. Samsung fabrica la memoria con un proceso de 1C y los chips lógicos con un proceso de 4 nm, reduciendo significativamente el consumo energético del chip. La siguiente imagen satiriza a Micron, que utiliza un proceso DRAM para fabricar los chips lógicos en los chips de memoria HBM4.

Lo mejor es que, como se mencionó anteriormente, Samsung ha dividido claramente su hoja de ruta de productos en tres etapas. Las presentaremos una por una.

Cuando existen nodos lógicos dentro del sustrato, el área física del módulo HBM PHY se reduce y su eficiencia energética mejora. Esto significa que el tamaño del módulo entre chips que conecta HBM y XPU será más pequeño. Esto tiene dos ventajas:

Aumentar el área en XPU para realizar más cálculos;

Aumentar el área disponible del sustrato HBM para lograr funciones más avanzadas.

La reducción de tamaño conlleva la desventaja de una mayor densidad térmica en estas áreas. Curiosamente, proporcionan las dimensiones reales del módulo PHY en distintas generaciones de HBM.

Samsung también mencionó que no prefieren utilizar UCIe en los enlaces D2D, ya que UCIe es de mayor tamaño y tiene un mayor consumo energético por bit. Indicaron que su implementación personalizada de PHY ofrece un mejor rendimiento. Al transicionar hacia HBM5, presentaron el concepto de un bloque de ruta térmica integrada (HPB) para enfriar la región D2D PHY.

Otra ventaja principal es la descarga del controlador de memoria, que se puede transferir desde la XPU a un chip base personalizado. Esto libera espacio en el chip XPU que puede utilizarse para impulsar más procesadores de operaciones en punto flotante.

La nueva ventaja de integrar nodos lógicos en la base permite implementar SRAM. Si una celda en la pila DRAM se daña, la información de esa celda puede almacenarse temporalmente en SRAM, y el controlador de memoria buscará esos datos en la SRAM en lugar de en la celda DRAM dañada. Se puede imaginar la SRAM como un cuaderno de respaldo, que actúa como una libreta temporal para guardar datos que no pueden almacenarse en las celdas DRAM dañadas.

Utilizar nodos lógicos como sustrato significa que, si los transistores son más pequeños, el área de silicio utilizada para muchas de estas funciones también será menor. El espacio ahorrado puede destinarse a múltiples propósitos, como mejorar la reparabilidad, disponibilidad y mantenibilidad (RAS), realizar pruebas y recopilar telemetría sobre el estado/salud de la pila de memoria HBM. Dado que los datos de telemetría de HBM son el segundo factor más común que causa fallos en el entrenamiento, estos datos serán extremadamente útiles.

Si aún queda área de silicio disponible, se puede construir otro. El controlador de expansión de memoria se utiliza para conectar otro stack HBM detrás del primer stack HBM o para insertar chips DRAM para expandir la memoria.

Finalmente, dado que los transistores lógicos están disponibles, ¿por qué no integrar también algunas funciones de cálculo en el sustrato? La ventaja es que cálculos como la compresión matricial o la codificación pueden realizarse en el chip lógico sin necesidad de salir del sustrato, lo que ofrece ventajas en términos de latencia y eficiencia.

Si todo sale según lo planeado, teóricamente se podría construir el sofisticado acelerador en la esquina inferior derecha. Dibujar este diagrama es sencillo y el concepto es interesante, pero duda si realmente ofrece una mejora significativa en el rendimiento.

La última etapa consiste en utilizar sustratos personalizados con chips HBM y apilarlos encima del chip lógico. La distancia entre el chip de cálculo y el chip de memoria es muy corta, por lo que los bits de datos solo necesitan transmitirse sobre distancias más cortas, lo que mejora la eficiencia energética y aumenta el ancho de banda de memoria al permitir el uso de más rutas de datos paralelas dentro del área del chip (y no solo en su borde frontal).

Todo esto no es fácil, pero es fundamental que la empresa elabore una hoja de ruta para mejorar la tecnología. Esto demuestra su confianza en lanzar productos de mayor calidad en el futuro, lo cual es positivo para la empresa. En cuanto a si el mercado está preparado para aceptar este producto, es otro asunto.

Jaesik Lee, vicepresidente de ingeniería de empaquetado de SK Hynix America, declaró el 23 de agosto en la conferencia Hot Chips 2026 que SK Hynix espera que la tecnología de unión híbrida no pueda satisfacer las necesidades de HBM4E, lo que retrasará la transición más esperada en el empaquetado de memoria hasta HBM5 como mínimo.

Como él describió, el problema radica en que el grosor total del cubo HBM está limitado a 775 micrómetros, que es el grosor estándar de los obleas lógicas de 300 mm; por lo tanto, cada capa adicional de DRAM requiere chips más delgados y espacios más estrechos. El HBM4 de alta densidad de 16 capas, actualmente en proceso de certificación por clientes (con una capacidad de 48 GB por cubo, frente a los 12 capas de HBM4 de alta densidad ya en producción), reduce el grosor del chip central a aproximadamente 50 micrómetros y reduce a la mitad el espacio entre chips. La charla de Lee también detalló la arquitectura de enfriamiento iHBM lanzada por la empresa tres meses después de su anuncio en mayo. Lee explicó que esta arquitectura tiene una limitación: el módulo de disipación térmica no puede aplicarse a ningún producto HBM ya diseñado.

JED EC El estándar HBM4 aumenta el límite de grosor del paquete de 720 micrómetros, utilizado en HBM3E, a 775 micrómetros, lo que alivia la presión causada por la tecnología de unión híbrida. Lee indicó que, al instalar la placa fría en el paquete de GPU, se desgastan partes tanto del chip lógico como de las capas apiladas de memoria, exponiendo el silicio desnudo. Dado que el grosor del oblea lógica es de 775 micrómetros, si la altura de los chips de memoria aumentara aún más, superaría la altura del procesador adyacente. “Este es el límite actual que podemos alcanzar, ya que el grosor del oblea lógica también es de 775 micrómetros”, dijo Lee.

Chips más delgados significan una proporción más alta de capas de óxido en la pila, y la conductividad térmica del óxido es mucho menor que la del silicio. Además, la velocidad de los pines aumentó de 1 Gbps en las primeras generaciones de HBM a 8 Gbps en HBM4, lo que requiere consumir más potencia en la misma área. Los datos propios de SK Hynix muestran que, entre las distintas generaciones de HBM mostradas, la carga térmica promedio es 2.2 veces mayor, y el número de capas apiladas se duplica cada dos generaciones.

El proceso de reflow masivo de relleno bajo chip (MR-MUF) de la empresa, que apila todos los chips mediante pick-and-place y los une en un solo reflow, ha sacrificado beneficios: según Lee, llenar la mitad del espacio entre ellos mientras se controla la deformación de chips menores a 50 micrómetros es el principal desafío de fabricación para 16-Hi.

En mayo del año pasado, Samsung se comprometió públicamente a utilizar la tecnología de unión híbrida para producir HBM4, mientras que SK Hynix consideró la tecnología de unión cobre-cobre como una opción alternativa para la tecnología avanzada MR-MUF. Posteriormente, JED EC Se ha relajado la restricción de grosor, lo que hace que la tecnología de unión híbrida ya no sea una prioridad. Actualmente, la industria está discutiendo aumentar aún más el grosor de la pila de 20 capas hasta 825 a 900 micrómetros, lo que retrasará nuevamente la adopción de la tecnología de unión de cobre.

A principios de marzo, expertos de la industria afirmaron que SK Hynix emitió su primer pedido a gran escala de unión híbrida, un sistema de línea única valorado en aproximadamente 20.000 millones de won coreanos (15 millones de dólares estadounidenses) que combina herramientas de Applied Materials y Besi. Counterpoint Research espera que esta tecnología entre en producción masiva de HBM alrededor de 2029-2030 con el lanzamiento del HBM5.

Según la hoja de ruta de SK Hynix, la tecnología de unión híbrida aún se encuentra en fase de investigación y desarrollo, y está diseñada para estructuras apiladas de 20 capas o más; SK Hynix aún está decidiendo qué producto implementará primero esta tecnología. El Sr. Li no reveló qué generación específica de producto, pero tras descartar el HBM4E, el HBM5 es muy probable que sea el primer modelo en aplicar esta tecnología. Esta técnica une planos de cobre y superficies de óxido a temperatura ambiente, y luego utiliza la expansión térmica del cobre durante el proceso de curado para formar la unión.

“Este proceso, que parece sencillo, es en realidad muy desafiante,” dijo Lee. “Necesitamos 16 o incluso 20 capas para lograr la unión híbrida, lo cual es completamente diferente a la apilación de una sola capa.” Eliminar completamente los microbumps permite que el chip central se vuelva 24% más grueso a una altura de 20 capas, reduciendo aproximadamente un 35% la resistencia térmica en comparación con el MR-MUF de la misma altura, y el espaciado de los bumps (según el diseño de la capa del chip) puede ser inferior a 18 micrómetros, mientras que el espaciado actual del MR-MUF es de 30 micrómetros. Bajo el espaciado de bumps de HBM4, los microbumps tradicionales siguen siendo aplicables, y cada JED EC Al aumentar el límite de grosor, MR-MUF puede mantener su viabilidad y extenderse a la próxima generación de productos.

El concepto iHBM inserta bloques térmicamente conductores e aislantes en la región PHY entre chips del chip base (la interfaz de puntos calientes de densidad de potencia máxima), lo que supuestamente reduce más del 30 % de la resistencia térmica.

Las diapositivas de Li comparan directamente iHBM con la solución de módulo de ruta de disipación de calor (Heat Path Block) de Samsung. El módulo de ruta de disipación de calor de Samsung extrae el calor de la pila de chips mediante columnas de disipación dedicadas, mientras que el rediseño del circuito del sustrato del chip de Micron afirma mejorar la eficiencia energética en más del 20%. Estas tres afirmaciones provienen de los fabricantes y utilizan métricas diferentes. Los diseños de SK Hynix y Samsung están planeados para HBM5, pero no se espera que entren en producción masiva antes de 2028. Li señaló que, dado que estos módulos se encuentran dentro del paquete junto con el chip D2D PHY, deben optimizarse según el diseño del cliente y no pueden aplicarse a generaciones de chips ya diseñadas, lo que convierte a iHBM en un trabajo de diseño colaborativo. "Es una opción que podemos hacer bien, pero no podemos aplicarla a las generaciones de chips que ya hemos diseñado."

Durante la sesión de preguntas y respuestas, Tanj Bennett de SemiAnalysis señaló que apilar memoria más alta reduce el throughput del propio chip. Cuando la DRAM opera a nivel de celda, su throughput es de aproximadamente 20 TB/s por cm²; sin embargo, una pila de 20 capas alcanza un throughput máximo de aproximadamente 4 TB/s, y la capacidad de fabricación requerida para HBM es mucho mayor que la de DDR5 o LPDDR con especificaciones equivalentes. “Cuando la altura de la pila alcanza 20 capas, la velocidad promedio de esta memoria es más lenta que la de DDR5”, dijo Bennett. “¿Por qué aprovechar la altura de la pila HBM en lugar de colocar inteligentemente memoria más barata a su alrededor?”.

Li respondió que las cargas de entrenamiento requieren tanto ancho de banda como capacidad, y añadió que el proceso de inferencia puede equilibrar ambos aspectos, manteniendo el caché clave-valor en memoria de alto ancho de banda mientras desplaza parte del trabajo a memoria LPDDR. Esta técnica de separación ya se ha implementado en productos como la plataforma Vera Rubin de NVIDIA, que específicamente está diseñada para agrupar LPDDR5X y HBM4 mediante el protocolo NVLink-C2C. Además, la norma de memoria flash de alto ancho de banda desarrollada conjuntamente por SK Hynix y SanDisk extiende este concepto de jerarquía al flash NAND.

Li, al referirse a los esquemas de capas, dijo: "También es algo que necesitaremos considerar en el futuro." Según informes de enero, SK Hynitz obtuvo aproximadamente el 70% de los pedidos de los chips HBM de la generación Vera Rubin de NVIDIA, todos los cuales utilizarán la tecnología MR-MUF. Li indicó que la empresa aún no ha decidido qué producto adoptará primero la tecnología MR-MUF.

En su discurso, Micron Technology explorará la arquitectura de memoria en evolución en el campo de la inteligencia artificial. Se sabe que Micron Technology detallará cómo la memoria de alto ancho de banda y las tecnologías de empaquetado avanzado se han convertido en elementos fundamentales en el diseño de sistemas de inteligencia artificial.

La charla de Micron comenzó con la teoría de vanguardia de OpenAI sobre la eficiencia computacional, explicando por qué la memoria es crucial para la escalabilidad de los modelos de lenguaje. Micron señaló que existe una relación de potencia entre el tamaño del modelo, el tamaño del conjunto de datos y la cantidad de cálculo de entrenamiento, y consideró que estos tres factores deben escalarse simultáneamente para mejorar el rendimiento de los modelos de lenguaje. La memoria es precisamente el recurso clave que conecta estos tres elementos.

Hablemos ahora del cuello de botella de memoria. Micron indica que el rendimiento TFLOPS de los aceleradores de IA aumenta aproximadamente tres veces cada dos años, mientras que el ancho de banda de la memoria adicional 2.5D (por ejemplo, HBM) crece menos de dos veces cada dos años. Esta brecha cada vez mayor es la razón por la que la tecnología de memoria se ha convertido en un factor clave que limita el rendimiento de los sistemas de IA.

Micron posiciona el HBM como un puente entre la computación y la memoria, y ha rastreado el aumento continuo en capacidad, ancho de banda y eficiencia energética desde HBM2e hasta HBM5. Debes apreciar bien esta reunión técnica sin etiquetas en el eje Y.

Aquí, Micron muestra una GPU típica con un área de empaquetado superior a 12,000 mm², que incluye el chip base y ocho instancias de memoria HBM4. Esto significa que, al utilizar 12 capas de HBM4, el área del silicio de memoria puede superar ocho veces el área del propio chip GPU. Esto es realmente una demostración muy intuitiva.

HBM aumentó el límite de ancho de banda de memoria, cambió los límites de la memoria y permitió que las cargas de trabajo de IA intensivas en memoria se ejecuten más rápido antes de alcanzar los límites de memoria.

La presentación de Micron está detallando actualmente qué es HBM y la evolución de cada generación de HBM. La tabla de productos muestra la evolución desde HBM1 hasta HBM4. Cada generación de HBM ha aumentado la velocidad de datos, el número de pseudo-canales y la altura de apilamiento, proporcionando así un ancho de banda mayor y una capacidad más grande.

La instalación de HBM es la misma que la del estándar EC C RDIMM es diferente. La siguiente imagen muestra cómo la pila HBM se integra con una GPU o acelerador en un sistema de integración heterogénea y se empaqueta en forma de paquete de sistema (SiP), en lugar de como un módulo de ranura independiente. Muchos de los de STH probablemente ya hayan visto este diseño.

Cada chip DRAM contiene múltiples canales independientes, cada uno con dos pseudo-canales; HBM3E lleva 128 bancos por chip, mientras que HBM4 duplica esta cifra a 256. El chip base se encuentra entre el host y la pila DRAM, utilizando una PHY de micro-bump en el lado del host y una PHY de 3D TSV en el lado de la pila, conectados mediante un intermediario de alta densidad punto a punto, aumentando de 1K IO en HBM3E a 2K IO en HBM4.

Micron ahora muestra el equilibrio entre rendimiento y capacidad. Pero aquí realmente no muestran la diferencia entre el área del PCB y el consumo de energía. ¿Quizás esto se mostrará en diapositivas posteriores?

Micron ahora nota el costo de los wafers que conlleva esta velocidad. La complejidad combinada del diseño arquitectónico, el empaquetado avanzado y los procesos de fabricación significa que, para lograr la misma capacidad de HBM3E que DDR5, se requiere aproximadamente tres veces más silicio que DDR5.

Micron luego resumió en su discurso los parámetros de memoria que respaldan la innovación en inteligencia artificial, incluyendo rendimiento, capacidad y consumo de energía.

Las conexiones I/O de mayor velocidad y la capa intermedia más grande están impulsando continuamente el avance de la tecnología SiP, incluyendo diseños I/O más rápidos, SERDES optimizados para memoria y PHY entre chips, así como dispositivos ópticos co-empaquetados en el lado de interconexión. Los SiP de mayor tamaño basados en tecnologías como CoWoS-L y CoWoS-R, así como sustratos de vidrio, también forman parte de la trayectoria de desarrollo de la tecnología de empaquetado.

Ahora hablemos sobre la confiabilidad, incluyendo la interacción entre el chip y el paquete, y los desafíos RAS. En dispositivos HBM con integración heterogénea, la incompatibilidad entre los coeficientes de expansión térmica de diferentes materiales genera tensiones termomecánicas. De hecho, desde una perspectiva más amplia, este es precisamente uno de los mayores desafíos enfrentados en la implementación del WSE de Cerebras. EC El alcance de C se divide en dos capas: primero, HBM3, a nivel de sistema, cada acceso de 256 bits utiliza 16 bits de metadatos; segundo, la implementación en chip basada en símbolos de Reed-Solomon EC C.

Para controlar el calor, el aumento de la actividad del chip DRAM, la mayor altura de apilamiento y las funciones avanzadas de la base del chip incrementan la generación de calor. Micron señala que la refrigeración líquida, la unión híbrida, así como mejoras en el soldador y el molde lateral son innovaciones térmicas necesarias para mantener la expansión del ancho de banda y la capacidad.

La tendencia de empaquetamiento parece estar a punto de llegar a su fin.

En conjunto, estos datos muestran cómo Micron Technology está abordando la evolución de la arquitectura de memoria en el campo de la inteligencia artificial. Micron Technology está evaluando el equilibrio entre aumentar el ancho de banda y la capacidad de HBM y los costos de empaquetado, disipación térmica y confiabilidad asociados con colocar tal gran cantidad de memoria junto a las unidades de cálculo.

¿Qué opinan todos sobre la tendencia futura del HBM?

Este artículo proviene del canal de WeChat "Observatorio de la Industria Semiconductora" (ID: icbank), autor: Redacción