Samsung e SK Hynix divergem nas estratégias de design de HBM

Na conferência Hot Chips, a Samsung e a SK Hynix concordaram que GPU, memória, fabricação de wafers e embalagem devem ser projetadas como um sistema. Desde então, suas soluções começaram a divergir.

A Samsung está transformando o chip base em uma parte ativa do sistema. Ela planeja mover o controlador de memória da GPU para o chip base lógico, liberando 5 a 10% da área da GPU para mais computação e potencialmente aumentando o desempenho em 10 a 20%. Operações de IA seletivas também podem ser executadas no chip base para reduzir a movimentação de dados. A longo prazo, ela está impulsionando a tecnologia zHBM, que empilha diretamente a GPU e o DRAM, com expectativa de reduzir o consumo de energia do DRAM em cerca de 70% e aumentar a largura de banda em mais do que o dobro.

A SK Hynix concentra-se em empilhamentos mais altos e gerencia os problemas de calor e empeno resultantes. Ela confirmou que a pilha HBM4 de 12 camadas já entrou na fase de produção, enquanto a versão de 16 camadas está na fase de validação pelo cliente. A ligação híbrida é o caminho para pilhas de 20 camadas ou mais, permitindo o uso de chips mais espessos e espaçamentos mais apertados. Seu método iHBM adiciona um caminho térmico dedicado dentro das regiões mais quentes da pilha. A competição já não se trata apenas de largura de banda e capacidade. A arquitetura do chip base e o empacotamento avançado estão se tornando o campo de batalha decisivo.

Na palestra Hot Chips de 2026, a Samsung Electronics lançou o zHBM, a forma definitiva de evolução da memória de alta largura de banda. O conceito descarta o intermediário 2.5D, empilhando verticalmente o DRAM sobre chips de computação, como GPUs, formando uma arquitetura verdadeiramente 3D integrada, com o objetivo de reduzir o consumo de energia do DRAM em 70% e aumentar a largura de banda em 2,3 vezes em relação ao HBM4E.

A Samsung estabeleceu um plano em três fases para transformar o chip básico de um canal passivo de transmissão de dados em um parceiro de computação ativo. A primeira fase transfere o controlador de memória do xPU para o chip básico, recuperando área de silício; a segunda fase adiciona ao chip básico capacidades de expansão de memória e cálculo de atenção; a terceira fase finalmente realiza o zHBM.

Agora, vamos analisar a solução da Samsung.

Durante a palestra, houve um problema e eles apresentaram alguns gráficos mostrando a tendência de desenvolvimento do HBM5 em termos de especificações. Embora ainda não esteja definido, é interessante observar o gráfico no canto superior direito.

Um SSD HBM5 com capacidade de 60 GB e largura de banda de 6 TB/s seria ótimo. Vamos calcular os dados exatos. Uma largura de banda de 6 TB/s com 2.048 canais significa uma taxa de transmissão de 23,5 Gbps por pino. Nossa velocidade mais avançada atual é de 16 Gbps, o que representa um grande avanço, e é provável que isso seja alcançado com nós lógicos avançados. Se cada chip tiver capacidade de 3 GB e a capacidade total for de 60 GB, a altura da pilha será de 20 camadas.

Em outro slide, a Samsung confirmou que a taxa de transmissão por pino do HBM4E é de 16 Gbps. Nossos cálculos anteriores para o HBM5 também foram validados na figura abaixo.

A vantagem clara da Samsung é sua capacidade de desenvolver próprios chips lógicos, enquanto Micron e SK Hynix precisam colaborar com terceiros para obtê-los. A Samsung destacou essa vantagem e explicou a importância dos chips personalizados. A Samsung fabrica memória com o processo 1C e chips lógicos com o processo de 4nm, reduzindo significativamente o consumo de energia dos chips. A imagem abaixo ironiza a Micron, que utiliza o processo DRAM para fabricar os chips lógicos no chip de memória HBM4.

Mais ainda, como mencionado anteriormente, a Samsung dividiu claramente seu roadmap de produtos em três fases. Vamos abordá-las uma por uma.

Quando há nós lógicos dentro do substrato, a área física do módulo HBM PHY é reduzida e a eficiência energética é aumentada. Isso significa que o módulo entre chip que conecta o HBM e o XPU será menor. Isso tem duas vantagens:

Aumente a área no XPU para realizar mais cálculos;

Aumentar a área disponível do substrato HBM para permitir funcionalidades mais avançadas.

A redução do tamanho traz como desvantagem uma maior densidade térmica nessas áreas. Curiosamente, eles fornecem as dimensões reais do módulo PHY nas diferentes gerações de HBM.

A Samsung também mencionou que não prefere usar o UCIe em links D2D, pois o UCIe é maior e apresenta maior consumo de energia por bit. Eles afirmaram que sua implementação personalizada de PHY oferece melhor desempenho. Na transição para o HBM5, eles apresentaram o conceito de um bloco de caminho térmico integrado (HPB) para resfriar a área da PHY D2D.

Outra vantagem principal é o offload do controlador de memória, que pode ser transferido para um chip base personalizado. Isso libera espaço no chip XPU, que pode ser usado para acionar mais processadores de operações de ponto flutuante.

A nova vantagem de integrar nós lógicos no substrato é a capacidade de implementar SRAM. Se uma célula na pilha de DRAM estiver danificada, as informações nessa célula podem ser temporariamente armazenadas na SRAM, e o controlador de memória buscará essas informações na SRAM, em vez de na célula de DRAM danificada. A SRAM pode ser imaginada como um caderno de reserva, funcionando como um bloco de notas temporário para armazenar dados que não podem ser salvos nas células de DRAM danificadas.

Usar nós lógicos como substrato significa que, se os transistores forem menores, a área de silício utilizada para muitas dessas funções também será menor. O espaço economizado pode ser utilizado para diversos fins, como melhorar a reparabilidade, disponibilidade e manutenibilidade (RAS), realizar testes e coletar telemetria sobre a saúde/estado das pilhas de memória HBM. Dado que os dados de telemetria da HBM são o segundo maior fator causador de falhas no treinamento, esses dados serão muito úteis.

Se ainda houver área de silício disponível, pode-se construir outro. O controlador de expansão de memória é usado para conectar outro stack HBM atrás do primeiro stack HBM ou para inserir chips DRAM para expandir a memória.

Por fim, como transistores lógicos estão disponíveis, por que não integrar também algumas funções de computação no substrato? A vantagem disso é que cálculos como compressão de matriz ou codificação podem ser realizados no chip lógico sem precisar sair do substrato, oferecendo benefícios em termos de latência e eficiência.

Se tudo correr bem, teoricamente é possível construir o sofisticado acelerador no canto inferior direito. Desenhar esse diagrama é fácil e conceitualmente interessante, mas ainda é duvidoso se seu ganho de desempenho real é significativo.

A última fase envolve o uso de substratos personalizados e HBM, empilhados sobre o chip lógico. A distância entre o chip de computação e o chip de memória é curta, permitindo que os bits de dados sejam transmitidos em distâncias menores, aumentando a eficiência energética e a largura de banda da memória, graças à possibilidade de utilizar mais caminhos de dados paralelos dentro da área do chip (e não apenas na frente do chip).

Tudo isso não é fácil, mas é essencial para a empresa elaborar um plano de melhoria tecnológica. Isso demonstra sua confiança em lançar produtos ainda melhores no futuro, o que é positivo para a empresa. Quanto ao mercado estar pronto para aceitar esse produto, essa é outra questão.

Jaesik Lee, vice-presidente de engenharia de embalagem da SK Hynix America, declarou em 23 de agosto, durante a Hot Chips 2026, que a SK Hynix espera que a tecnologia de ligação híbrida não consiga atender às demandas do HBM4E, adiando a tão aguardada transição de embalagem de memória até, no mínimo, o HBM5.

Conforme descrito por ele, o problema reside no fato de que a espessura total do cubo HBM é limitada a 775 micrômetros — a espessura padrão dos waferes lógicos de 300 mm —, portanto, cada camada adicional de DRAM exige chips mais finos e espaçamentos mais estreitos. O HBM4 de alta densidade com 16 camadas, atualmente em processo de certificação de clientes (com capacidade de 48 GB por cubo, enquanto o HBM4 de alta densidade com 12 camadas já está em produção em massa), reduziu a espessura dos chips centrais para cerca de 50 micrômetros e reduziu pela metade o espaçamento entre os chips. A palestra de Lee também detalhou a arquitetura de resfriamento iHBM lançada pela empresa três meses após seu anúncio em maio. Lee explicou que essa arquitetura possui uma limitação: o módulo de dissipação de calor não pode ser aplicado a nenhum produto HBM já em design.

JED EC O padrão HBM4 aumenta o limite de espessura do pacote de 720 micrômetros, utilizado no HBM3E, para 775 micrômetros, aliviando a pressão causada pela tecnologia de ligação híbrida. Lee afirmou que, ao instalar a placa de refrigeração no pacote GPU, tanto o chip lógico quanto as camadas empilhadas de memória são desgastadas parcialmente, expondo o silício nu. Como a espessura do wafer lógico é de 775 micrômetros, qualquer aumento adicional na altura dos chips de memória ultrapassaria a altura do processador adjacente. “Este é o limite atual que podemos alcançar, pois a espessura do wafer lógico também é de 775 micrômetros,” disse Lee.

Chips mais finos significam uma proporção maior de camadas de óxido na pilha, e a condutividade térmica do óxido é muito inferior à do silício. Além disso, a velocidade dos pinos aumentou de 1 Gbps nas primeiras versões de HBM para 8 Gbps no HBM4, resultando em maior consumo de energia na mesma área. Dados próprios da SK Hynix mostram que, entre as gerações de HBM apresentadas, a carga térmica média aumentou 2,2 vezes, e o número de camadas empilhadas dobra a cada duas gerações.

O processo de moldagem por reflow em massa com preenchimento (MR-MUF) da empresa, que empilha todos os chips por meio de pick-and-place e os conecta em um único reflow, já sacrificou lucros: segundo Lee, o preenchimento reduziu pela metade o espaçamento, enquanto controla a warpage de chips menores que 50 micrômetros, sendo o principal desafio de fabricação do 16-Hi.

Em maio do ano passado, a Samsung se comprometeu publicamente a utilizar a tecnologia de ligação híbrida para produzir o HBM4, enquanto a SK Hynix considerou a tecnologia de ligação cobre-cobre como uma alternativa para a tecnologia avançada MR-MUF. Em seguida, a JED EC As restrições de espessura foram relaxadas, tornando a tecnologia de ligação híbrida menos urgente. Atualmente, a indústria está discutindo aumentar ainda mais a espessura da pilha de 20 camadas para 825 a 900 micrômetros, o que novamente adiará a adoção da tecnologia de ligação de cobre.

Em março, especialistas da indústria afirmaram que a SK Hynix fez o primeiro pedido em larga escala de ligação híbrida, um sistema de linha única no valor de cerca de 20 bilhões de wons sul-coreanos (15 milhões de dólares americanos), que combina equipamentos da Applied Materials e da Besi. A Counterpoint Research prevê que essa tecnologia entrará na fase completa de produção de HBM por volta de 2029 a 2030, com o lançamento do HBM5.

De acordo com o roadmap da SK Hynix, a tecnologia de ligação híbrida ainda está em fase de pesquisa e desenvolvimento, sendo aplicável a estruturas empilhadas de 20 camadas ou mais; a SK Hynix ainda está decidindo qual produto adotará essa tecnologia em primeiro lugar. O Sr. Li não revelou qual geração específica, mas, excluindo o HBM4E, o HBM5 é provavelmente o modelo mais provável a adotar essa tecnologia. A tecnologia conecta pads de cobre planos e superfícies de óxido em temperatura ambiente e, em seguida, utiliza a expansão térmica do cobre durante o processo de cura para formar a ligação.

“Este processo, que parece simples, é na verdade extremamente desafiador,” disse Lee. “Precisamos de 16 ou até 20 camadas para alcançar a ligação híbrida, o que é totalmente diferente do empilhamento de camada única.” A remoção completa dos microbumps permite que o chip central aumente sua espessura em 24% em uma altura de 20 camadas, reduzindo a resistência térmica em cerca de 35% em comparação com o MR-MUF da mesma altura, e o espaçamento dos bumps (de acordo com o mapa da camada do chip) pode ser inferior a 18 micrômetros, enquanto o espaçamento atual do MR-MUF é de 30 micrômetros. Sob o espaçamento de bumps do HBM4, os microbumps tradicionais ainda são aplicáveis, e cada JED EC Ao aumentar o limite de espessura, o MR-MUF mantém sua viabilidade e se estende para os próximos produtos.

O conceito iHBM insere blocos térmicos e isolantes na região PHY entre chips do chip base (ponto quente na interface de pico de densidade de potência), supostamente reduzindo em mais de 30% a resistência térmica.

Os slides de Li compararam diretamente o iHBM com a solução de módulo de caminho de calor da Samsung. O módulo de caminho de calor da Samsung conduz o calor fora da pilha de chips por meio de colunas térmicas dedicadas, enquanto a reprojetação do circuito do substrato da Micron afirma melhorar a eficiência energética em mais de 20%. Trata-se de alegações das fabricantes, com critérios de medição diferentes. Os projetos da SK Hynix e da Samsung são destinados ao HBM5, mas não devem entrar em produção em massa antes de 2028. Li afirmou que, como esses módulos estão localizados dentro do pacote junto com o chip D2D PHY, precisam ser otimizados conforme o design do cliente e não podem ser aplicados a gerações de chips já projetadas, tornando o iHBM um trabalho de co-projeto. “É uma boa opção que podemos fazer, mas não podemos aplicá-la às gerações de chips que já projetamos.”

Na sessão de perguntas e respostas, Tanj Bennett da SemiAnalysis apontou que empilhar memória mais alta reduz o throughput do próprio chip. Quando operando em nível de célula, o DRAM possui um throughput de cerca de 20 TB/s por cm²; já o empilhamento de 20 camadas alcança um throughput máximo de cerca de 4 TB/s, e a capacidade de fabricação necessária para HBM é muito maior do que a necessária para DDR5 ou LPDDR de especificações equivalentes. “Quando a altura do empilhamento atinge 20 camadas, a velocidade média dessa memória é, na verdade, mais lenta do que a DDR5,” disse Bennett. “Por que não aproveitar a altura do empilhamento HBM e, em vez disso, colocar inteligentemente memórias mais baratas ao redor?”

Li respondeu que as cargas de treinamento exigem tanto largura de banda quanto capacidade, e acrescentou que o processo de inferência pode equilibrar ambos, mantendo o cache chave-valor na memória de alta largura de banda, enquanto descarrega parte do trabalho para a memória LPDDR. Essa técnica de separação já está sendo aplicada em produtos como a plataforma Vera Rubin da NVIDIA, que foi projetada especificamente para poolizar LPDDR5X e HBM4 por meio do protocolo NVLink-C2C. Além disso, o padrão de memória flash de alta largura de banda desenvolvido conjuntamente pela SK Hynix e SanDisk estende esse conceito de camadas ao flash NAND.

Li, ao falar sobre o esquema de camadas, disse: “Também é algo que precisaremos considerar no futuro.” De acordo com relatos de janeiro, SK Hynix obteve cerca de 70% dos pedidos dos chips HBM da geração Vera Rubin da NVIDIA, todos os quais utilizarão a tecnologia MR-MUF. Li afirmou que a empresa ainda não decidiu qual produto adotará primeiro a tecnologia MR-MUF.

Na palestra, Micron discutirá as arquiteturas de memória em evolução no campo da inteligência artificial. Sabe-se que a Micron detalhará como a memória de alta largura de banda e as tecnologias de empacotamento avançado se tornaram fundamentais no design de sistemas de inteligência artificial.

A palestra da Micron começou com a teoria de ponta da eficiência computacional da OpenAI, explicando por que a memória é crucial para a escala de modelos de linguagem. A Micron destacou que existe uma relação de potência entre o tamanho do modelo, o tamanho do conjunto de dados e a computação de treinamento, e argumentou que esses três fatores devem ser expandidos simultaneamente para melhorar o desempenho dos modelos de linguagem. A memória é exatamente o recurso que conecta esses três elementos.

Agora, vamos falar sobre o gargalo de memória. Micron afirma que o desempenho TFLOPS dos aceleradores de IA aumenta cerca de três vezes a cada dois anos, enquanto a largura de banda da memória adicional 2.5D (por exemplo, HBM) cresce menos de duas vezes a cada dois anos. Essa lacuna cada vez maior é exatamente o motivo pelo qual a tecnologia de memória se tornou um fator crítico que limita o desempenho dos sistemas de IA.

Micron posiciona o HBM como uma ponte entre computação e memória, rastreando o aumento contínuo de capacidade, largura de banda e eficiência energética de geração em geração, desde o HBM2e até o HBM5. Você precisa apreciar bem essa reunião técnica sem rótulos no eixo Y.

Aqui, Micron apresenta uma GPU típica com uma área de pacote superior a 12.000 mm², incluindo o chip base e oito instâncias de memória HBM4. Isso significa que, ao usar 12 camadas de HBM4, a área do chip de memória pode exceder oito vezes a área do próprio chip da GPU. Isso é realmente uma demonstração muito clara.

HBM aumentou o limite de largura de banda da memória, alterando os limites da memória, permitindo que cargas de trabalho de IA intensivas em memória operem mais rapidamente antes de atingirem os limites de memória.

A apresentação da Micron está atualmente detalhando o que é HBM e a evolução de cada geração de HBM. A tabela de produtos mostra a evolução desde o HBM1 até o HBM4. Cada geração de HBM aumentou a taxa de dados, o número de pseudo-canais e a altura da pilha, proporcionando maior largura de banda e maior capacidade.

A instalação do HBM é a mesma que a do padrão EC C RDIMM é diferente. O gráfico abaixo mostra como a pilha HBM é integrada ao GPU ou acelerador em um sistema de integração heterogênea e encapsulada na forma de um pacote em nível de sistema (SiP), em vez de como um módulo de soquete independente. Acho que muitas pessoas da STH já viram esse design antes.

Cada chip DRAM contém múltiplos canais independentes, cada um com dois pseudo-canais; o HBM3E possui 128 bancos por chip, enquanto o HBM4 duplica esse número para 256. O chip de base está localizado entre o host e a pilha DRAM, utilizando uma PHY de micro-bump no lado do host e uma PHY de 3D TSV no lado da pilha, conectadas por um intermediário de alta densidade ponto a ponto, aumentando os IO de 1K no HBM3E para 2K no HBM4.

Micron está atualmente mostrando o compromisso entre desempenho e capacidade. Mas eles não estão realmente demonstrando aqui a diferença entre área do PCB e consumo de energia. Talvez isso seja mostrado em slides posteriores?

Micron agora nota o custo do wafer trazido por essa velocidade. A complexidade combinada de arquitetura de design, empacotamento avançado e processos de fabricação significa que, para alcançar a mesma capacidade de HBM3E do DDR5, a quantidade de wafer necessária é aproximadamente três vezes maior que a do DDR5.

Micron, em seguida, resumiu os parâmetros de memória que suportam a inovação em inteligência artificial, incluindo desempenho, capacidade e consumo de energia.

Ligações I/O de maior velocidade e camadas intermediárias maiores estão impulsionando continuamente o avanço da tecnologia SiP, incluindo projetos I/O mais rápidos, SERDES otimizados para memória e PHY entre chips, bem como dispositivos ópticos co-empacotados no lado da interconexão. SiPs de maior tamanho baseados em tecnologias como CoWoS-L e CoWoS-R, além de substratos de vidro, também fazem parte da trajetória de desenvolvimento da tecnologia de empacotamento.

Agora vamos falar sobre confiabilidade, incluindo interação de encapsulamento de chip e desafios RAS. Em dispositivos HBM integrados heterogeneamente, a incompatibilidade dos coeficientes de expansão térmica entre diferentes materiais gera tensões termomecânicas. Na prática, do ponto de vista mais amplo, esse é exatamente um dos maiores desafios enfrentados na implementação do WSE da Cerebras. EC A cobertura de C é dividida em duas camadas: primeiro, o HBM3, no nível do sistema, cada acesso de 256 bits utiliza 16 bits de metadados; em seguida, a implementação no chip baseada em símbolos de Reed-Solomon EC C.

Para controlar o calor, o aumento da atividade dos chips DRAM, a altura empilhada maior e funcionalidades avançadas de base de chip aumentam a geração de calor. Micron aponta que o resfriamento líquido, a ligação híbrida e as melhorias em solda e molde lateral são inovações térmicas necessárias para manter a expansão de largura de banda e capacidade.

A tendência de compactação parece estar prestes a chegar ao fim.

Em conjunto, esses dados demonstram como Micron está respondendo à evolução da arquitetura de memória no campo da inteligência artificial. A Micron está equilibrando o aumento da largura de banda e da capacidade do HBM com os custos de embalagem, refrigeração e confiabilidade associados à colocação de tamanhos tão grandes de memória ao lado das unidades de computação.

O que as pessoas acham que a tendência do HBM será?

Este artigo é do公众号 "Observatório da Indústria de Semicondutores" (ID: icbank), autor: equipe de edição