A NVIDIA lança a tecnologia de memória NVHBM com 30% mais largura de banda e 15% menor consumo de energia

Notícia da ME, 27 de agosto (UTC+8): NVIDIA lançou a tecnologia NVHBM para a próxima geração de infraestrutura de IA. O NVHBM é um die HBM personalizado, projetado e validado em conjunto com principais fornecedores de chips de memória, que será disponibilizado por meio do NVLink Fusion para provedores de nuvem em larga escala e empresas nativas de IA que desenvolvem aceleradores personalizados (XPU). Em comparação com o HBM4e padrão, o NVHBM oferece até 30% a mais de largura de banda de memória por stack, reduzindo o consumo de energia do HBM em até 15% e liberando até 25% da área do die de computação para XPU. A NVIDIA afirma que essas melhorias permitem que aceleradores personalizados suportem modelos de IA maiores, leiam o cache KV mais rapidamente e aumentem a eficiência no treinamento e na inferência em larga escala. Ao redesenhar a interface física de memória, o NVHBM move o controlador de memória para dentro do stack 3D HBM e integra uma PHY personalizada, reduzindo em até 67% a área da PHY e das regiões associadas, além de simplificar o roteamento do intermediário. A área liberada pode ser utilizada para aumentar motores matriciais, cache, rede e outras funcionalidades específicas para cargas de trabalho. No nível do rack, o chip NVLink Fusion conecta XPU personalizados à rede NVLink e, por meio do NVLink-C2C, conecta-se ao CPU. A NVIDIA afirma que, combinado com o NVLink Fusion, o NVHBM aumenta o desempenho ponto a ponto por XPU em cerca de 30%, permitindo que XPU personalizados formem sistemas de computação híbrida com GPUs da NVIDIA. A data comercial exata ainda não foi divulgada no artigo. (Fonte: BlockBeats)