NVIDIA ha reanudado el proyecto de GPU para acelerar la prellenado de inferencia de IA, denominado "Rubin CPX", con planes de comenzar la producción en el primer trimestre de 2027. Este producto está diseñado para escenarios de prellenado de contexto largo, equipado con 168 GB de memoria HBM4 y un rendimiento cercano al de la GPU Rubin estándar, con un consumo de energía de hasta 2300 vatios por tarjeta. Utiliza un diseño de rack MGX ETL independiente, que admite configuraciones flexibles de despliegue de 64 a 256 GPUs. La arquitectura de interconexión emplea un diseño jerárquico: NVLink dentro de cada bandeja y Ethernet entre bandejas, logrando un equilibrio entre rendimiento y costo. Rubin CPX funcionará como acelerador de prellenado junto con la GPU Rubin estándar, asignando tareas en una proporción 1:1; CPX se encargará de la prellenado y la generación del KV Cache, mientras que la GPU Rubin se dedicará a la decodificación, optimizada específicamente para escenarios de inferencia de contexto largo.

Autor y fuente del artículo: Wall Street Journal

NVIDIA ha reanudado silenciosamente un proyecto de chip que anteriormente se creía abandonado por el mercado, enfocándose directamente en la etapa de prellenado (Prefill), donde los costos de inferencia de IA son más altos.

NVIDIA ha reanudado el proyecto de GPU para acelerar la prellenado de inferencia de IA, llamado "Rubin CPX", y ha realizado importantes ajustes en el diseño del producto. Según el plan actual, la nueva versión de Rubin CPX se espera que comience a producirse en el primer trimestre de 2027.

El reinicio de este proyecto transmite una señal clara: NVIDIA está intensificando sus esfuerzos para resolver los cuellos de botella de rendimiento y costo en la fase de prellenado del razonamiento de IA. A medida que la longitud del contexto de los modelos grandes sigue aumentando, la fase de prellenado debe procesar una gran cantidad de información de entrada y generar el KV Cache, cuya eficiencia afecta directamente el costo total y la viabilidad económica del razonamiento de IA.

Guo Mingchi afirma que actualmente más del 50% de la carga de trabajo de inferencia de IA proviene del procesamiento del contexto de entrada y la construcción del KV Cache.

Especificaciones del chip ajustadas significativamente, con un rendimiento cercano al Rubin estándar

En términos de potencia de cálculo y consumo energético, el rendimiento de la nueva CPX se acerca al de la GPU Rubin estándar, con un consumo máximo por tarjeta de 2300 vatios. En cuanto a memoria, la nueva CPX utiliza 168 GB de memoria HBM4, una mejora significativa respecto a los 128 GB de GDDR7 de la solución anterior, aunque aún inferior a los 288 GB de HBM4 de la GPU Rubin estándar.

Según Guo Mingqi, la capacidad total de HBM4 en la plataforma de cálculo de 8 tarjetas CPX es aproximadamente de 1.34 TB, lo que cubre la mayoría de las cargas de trabajo de prellenado de contexto largo y sus correspondientes necesidades de KV Cache. Esto significa que Rubin CPX no busca simplemente mayor potencia de cómputo general, sino que ha sido rediseñado específicamente para escenarios de contexto largo, optimizando la capacidad de memoria y la eficiencia de prellenado.

Cambie de un rack compartido a una implementación independiente, con una configuración más flexible

La arquitectura de rack también es un punto clave de este ajuste.

En la versión anterior, CPX planeaba compartir rack con Rubin GPU; la nueva versión cambia a utilizar un rack independiente MGX ETL, lo que permite a los clientes escalar la potencia de cálculo de CPX por separado según sus necesidades reales.

Concretamente, los clientes pueden elegir entre configuraciones de despliegue de 64, 128, 192 o 256 GPU CPX. Cada conjunto de 64 GPU CPX forma un módulo de rack, que incluye 8 bandejas de cálculo, cada una equipada con 8 GPU CPX, junto con una bandeja de conmutación.

El diseño modular significa que los clientes no necesitan comprar racks Rubin a gran escala y fijos, sino que pueden aumentar flexiblemente la capacidad de cómputo CPX según las necesidades reales de carga prellenada.

Diseño de interconexión por capas para reducir los costos de implementación de prellenado

En la arquitectura interconectada, Rubin CPX utiliza un diseño jerárquico que equilibra rendimiento y costo.

Dentro de una sola plataforma de cálculo, ocho GPU CPX se escalan mediante NVLink. El ancho de banda NVLink de cada GPU CPX es de 1 a 1.5 TB/s, inferior a los 3.6 TB/s de las GPU Rubin estándar.

En el nivel de escalado entre bandejas y dentro de los módulos de rack, CPX utiliza enlaces L1 de Ethernet completamente de cobre Spectrum-6; para las conexiones entre módulos de rack, se logra la interconexión mediante los conmutadores Spectrum-6 de cada módulo, a través de enlaces de fibra OSFP.

En comparación con las soluciones que dependen completamente de la interconexión de GPU de alto ancho de banda, esta arquitectura jerárquica enfatiza más la optimización de costos para escenarios de prellenado.

Coordinado con Rubin GPU, enfocado en razonamiento de contextos largos

Rubin CPX no es una GPU generalista que funcione de forma independiente, sino que se utiliza junto con el Vera Rubin NVL72 como acelerador de prellenado.

Según Ming-Chi Kuo, NVIDIA recomienda desplegar CPX y Rubin GPU en una proporción de 1:1: CPX se encarga del cálculo en la fase de prellenado y genera el KV Cache, que luego se transmite a través de RDMA por Ethernet al GPU Rubin, encargado de completar la decodificación posterior.

Desde la perspectiva de la definición del producto, el núcleo de Rubin CPX no es reemplazar la GPU Rubin estándar, sino dividir aún más el proceso de inferencia de IA para que diferentes GPU asuman las tareas de prellenado y decodificación.

Guo Mingji lo posiciona como "la solución de mejor relación calidad-precio para la prellenación de contextos largos". A medida que las ventanas de contexto de los modelos de IA continúan ampliándose, la carga computacional y el tamaño del KV Cache en la fase de prellenación siguen creciendo; el reinicio por parte de NVIDIA del proyecto CPX podría estar buscando reducir aún más el costo de la inferencia con contextos largos mediante hardware dedicado y despliegues heterogéneos.