NVIDIA lanza la tecnología de memoria NVHBM con un 30 % más de ancho de banda y un 15 % menos de consumo de energía

Noticias de ME: el 27 de agosto (UTC+8), NVIDIA lanzó la tecnología NVHBM para la próxima generación de infraestructura de IA. NVHBM es un die HBM personalizado diseñado y validado conjuntamente con principales proveedores de chips de memoria, que se conectará a proveedores de nube de gran escala y empresas nativas de IA mediante NVLink Fusion para desarrollar aceleradores personalizados de IA (XPU). En comparación con el HBM4e estándar, NVHBM ofrece hasta un 30% más de ancho de banda de memoria por pila, reduce el consumo de energía del HBM hasta un 15% y libera hasta un 25% del área del die de cálculo para XPU. NVIDIA afirma que estas mejoras permiten a los aceleradores personalizados admitir modelos de IA más grandes, leer más rápidamente la caché KV y aumentar la eficiencia en entrenamiento e inferencia a gran escala. Al rediseñar la interfaz física de memoria, NVHBM mueve el controlador de memoria dentro de la pila 3D HBM e integra una PHY personalizada, reduciendo hasta un 67% el área ocupada por la PHY y sus regiones asociadas, mientras simplifica el enrutamiento en la interfaz. El área liberada puede utilizarse para aumentar los motores matriciales, la caché, la red y otras funciones optimizadas para cargas de trabajo específicas. A nivel de rack, el chip NVLink Fusion conecta los XPU personalizados a la red NVLink y los enlaza con CPUs mediante NVLink-C2C. NVIDIA indica que, combinado con NVLink Fusion, NVHBM mejora el rendimiento extremo a extremo por XPU en aproximadamente un 30%, permitiendo además que los XPU personalizados formen sistemas de cómputo híbridos junto con GPUs de NVIDIA. La fecha comercial exacta aún no se ha revelado en el artículo oficial. (Fuente: BlockBeats)