A NVIDIA reiniciou o projeto de GPU de aceleração de pré-preenchimento de inferência de IA chamado "Rubin CPX", com planejamento de início da produção no primeiro trimestre de 2027. O produto é projetado para cenários de pré-preenchimento de longo contexto, equipado com 168 GB de memória HBM4 e desempenho computacional próximo ao da GPU Rubin padrão, com consumo de energia de até 2300 watts por unidade. O produto adota um design de rack MGX ETL independente, permitindo configurações flexíveis de implantação de 64 a 256 GPUs. A arquitetura de interconexão utiliza um design hierárquico, com NVLink dentro de cada placa e Ethernet entre placas, equilibrando desempenho e custo. O Rubin CPX será usado em conjunto com a GPU Rubin padrão em uma proporção de 1:1, com o CPX responsável pelo pré-preenchimento e geração do KV Cache, e a GPU Rubin responsável pela decodificação, otimizado especificamente para cenários de inferência de longo contexto.

Autor e fonte do artigo: Wall Street Journal

NVIDIA reiniciou silenciosamente um projeto de chip que anteriormente foi considerado abandonado pelo mercado, visando diretamente a etapa de pré-preenchimento (Prefill), que possui altos custos de inferência de IA.

A NVIDIA reiniciou o projeto de GPU de aceleração de pré-preenchimento para inferência de IA, chamado "Rubin CPX", e realizou grandes ajustes no design do produto. Conforme o planejamento atual, a nova versão do Rubin CPX deve começar a ser produzida no primeiro trimestre de 2027.

O reinício deste projeto transmite um sinal claro: a NVIDIA está aumentando seus esforços para resolver os gargalos de desempenho e custo na fase de pré-preenchimento da inferência de IA. À medida que o comprimento do contexto dos grandes modelos continua a aumentar, a fase de pré-preenchimento precisa processar grandes quantidades de informações de entrada e gerar o KV Cache, cuja eficiência afeta diretamente o custo total e a viabilidade econômica da inferência de IA.

Guo Mingchi afirma que atualmente mais de 50% da carga de trabalho de inferência de IA provém do processamento de contexto de entrada e da construção do KV Cache.

Especificações do chip amplamente ajustadas, potência de hash próxima ao Rubin padrão

Em termos de poder de processamento e consumo de energia, o desempenho da nova CPX está próximo do GPU Rubin padrão, com o mesmo consumo máximo de 2.300 watts por unidade. Em termos de memória, a nova CPX passou a utilizar 168 GB de memória HBM4, uma clara melhoria em relação aos 128 GB de GDDR7 da versão anterior, mas ainda inferior aos 288 GB de HBM4 do GPU Rubin padrão.

De acordo com Guo Ming-chi, a capacidade total de HBM4 da plataforma de cálculo de 8 cartões CPX é de aproximadamente 1,34 TB, suficiente para atender à maioria das cargas de trabalho de pré-preenchimento de contexto longo e às respectivas necessidades de KV Cache. Isso significa que o Rubin CPX não busca simplesmente maior poder de computação geral, mas foi redesenhado especificamente para otimizar a capacidade de memória gráfica e a eficiência de pré-preenchimento em cenários de contexto longo.

Mudança de rack compartilhado para implantação independente, com configuração mais flexível

A arquitetura do rack também foi um foco deste ajuste.

Na versão anterior, o CPX planejava compartilhar o rack com o Rubin GPU; na nova versão, passa a utilizar um rack independente MGX ETL, permitindo que os clientes expandam a capacidade de hash do CPX separadamente, conforme suas necessidades reais.

Em detalhe, os clientes podem escolher entre as seguintes escalas de implantação: 64, 128, 192 ou 256 GPUs CPX. Cada módulo de rack compreende 64 GPUs CPX, incluindo 8 caixas de cálculo, cada uma equipada com 8 GPUs CPX, além de uma caixa de comutação.

O design modular significa que os clientes não precisam comprar racks Rubin em grandes quantidades fixas, podendo aumentar flexivelmente a capacidade de computação CPX conforme a demanda real de carga pré-carregada.

Projeto de interconexão em camadas para reduzir os custos de implantação de pré-carregamento

Na arquitetura interconectada, o Rubin CPX adota um design hierárquico, equilibrando desempenho e custo.

Dentro de uma única placa de cálculo, oito GPUs CPX são expandidas em escala por meio do NVLink. A largura de banda NVLink de cada GPU CPX é de 1 a 1,5 TB/s, inferior aos 3,6 TB/s das GPUs Rubin padrão.

Entre os paletes e dentro dos módulos de rack, a CPX utiliza links L1 Ethernet totalmente de cobre Spectrum-6; para conexões entre módulos de rack, os switches Spectrum-6 de cada módulo realizam a interconexão por meio de links de fibra OSFP.

Em comparação com soluções que dependem totalmente da interconexão de GPU de alta largura de banda, essa arquitetura em camadas enfatiza a otimização de custos para cenários de pré-preenchimento.

Em conjunto com o Rubin GPU, focado em raciocínio de contexto longo

Rubin CPX não é uma GPU genérica que opera de forma independente, mas sim um acelerador de pré-preenchimento projetado para ser usado em conjunto com o Vera Rubin NVL72.

Segundo Guo Mingji, NVIDIA recomenda a implantação de CPX e Rubin GPU na proporção de 1:1: o CPX é responsável pelo cálculo da fase de pré-preenchimento e pela geração do KV Cache, que é então transmitido para a GPU Rubin por meio de RDMA Ethernet, sendo esta última responsável pela decodificação subsequente.

Do ponto de vista da definição do produto, o núcleo do Rubin CPX não é substituir a GPU Rubin padrão, mas sim dividir ainda mais o processo de inferência de IA, permitindo que diferentes GPUs assumam as tarefas de pré-preenchimento e decodificação.

Guo Mingji o posiciona como "a melhor opção em relação custo-benefício para pré-preenchimento de contextos longos". À medida que as janelas de contexto dos modelos de IA continuam a se expandir, o volume de cálculo e o tamanho do KV Cache na fase de pré-preenchimento aumentam constantemente; o reinício do projeto CPX pela NVIDIA pode ser uma tentativa de reduzir ainda mais os custos de inferência de contextos longos por meio de hardware dedicado e deploy heterogêneo.