O chip Jalapeño da OpenAI supera o Blackwell da NVIDIA em eficiência

Autor: SemiAnalysis

Tradução: Deep潮 TechFlow

Leitura destacada da Shenchao: Dados de teste do Jalapeño, o primeiro chip de inferência desenvolvido pela OpenAI, foram revelados, com eficiência energética que supera diretamente o atual flagship da NVIDIA, o Blackwell, aproximando-se da próxima geração Rubin. Para empresas de IA enfrentando gargalos de energia em seus data centers, este chip pode redefinir o cenário do mercado de poder de processamento. No entanto, resta uma dúvida sobre se o primeiro chip conseguirá realmente abalar o ecossistema CUDA da NVIDIA.

Nos últimos dois anos, a OpenAI vem desenvolvendo silenciosamente o “Jalapeño”, um chip de inferência que acaba de ser revelado no Hot Chips. Rumores sobre o sucesso do tape-out já circulavam há algum tempo. Agora, temos os detalhes. A OpenAI nos convidou a examinar o chip, acessar o laboratório para verificar sua autenticidade e realizar testes de desempenho com nosso kit InferenceX.

Em junho deste ano, a OpenAI anunciou um projeto de chip em parceria com Broadcom, desenvolvido do zero especificamente para inferência de LLM. O design começou em meados de 2024, e o ciclo de desenvolvimento ASIC — desde a contratação inicial da equipe até a fabricação — levou apenas cerca de 16 meses, um período extremamente rápido.

Normalmente, os chips da primeira geração não são competitivos, mas a OpenAI fez o oposto, superando todos os chips da NVIDIA, AMD e Google que conseguimos testar em vários dos principais modelos de código aberto, liderando o setor. A OpenAI conseguiu isso por meio de um design extremamente integrado de software e hardware. Surpreendentemente, a OpenAI não se concentrou excessivamente em nenhum aspecto específico da inferência do modelo, mas sim em criar um chip universal que ofereça alto desempenho em todos os cenários.

Este artigo aprofundará os detalhes da arquitetura, os detalhes de software e os resultados de desempenho do Jalapeño no InferenceX.

Todos dizem que o chip da OpenAI é personalizado para os modelos da OpenAI, mas isso está errado; a OpenAI desenvolveu um chip genérico voltado para inferência de IA.

O cronograma é louco. Isso mostra que a afirmação “acelerar o design de chips com IA” é verdadeira. Apesar do cronograma ser rápido, a OpenAI investiu muito dinheiro, tomou decisões de design práticas e tem uma equipe muito forte, então isso não é surpreendente.

Olhando apenas as especificações, ele é imediatamente um forte concorrente:

E usar o HBM4 para torná-lo suficientemente competitivo com as GPU de topo da NVIDIA e da AMD:

Muitas mídias seguiram os comentários casuais da OpenAI, afirmando que esse chip otimizaria seus modelos de maneira que outros chips não conseguem. Isso está errado. O Jalapeño é um chip de inferência universal, capaz de executar diversos modelos e cargas de trabalho, incluindo nosso benchmark InferenceX — que executamos no laboratório junto com engenheiros da OpenAI. Como piada, a OpenAI até nos mostrou o jogo Doom rodando nele, um jogo portado para seu chip apenas com prompts do Codex.

Abaixo estão nossos resultados mais importantes de desempenho por watt, medindo o throughput de tokens por megawatt de consumo total de energia. O Jalapeño supera amplamente todos os outros chips. Tudo isso sem utilizar a previsão de múltiplos tokens (MTP), enquanto os outros chips no gráfico estão em suas configurações ótimas de SKU, todas com MTP ativado.

Jalapeño supera o Blackwell em desempenho por watt em quase todos os cenários, sem otimização específica para nenhum ponto da curva. Ele não apenas se destaca em cenários de baixa latência, mas também em cenários de alta taxa de transferência. Uma comparação mais justa é analisar os resultados de previsão por token único, onde o Jalapeño supera todos os concorrentes por larga margem. Em cenários de baixa concorrência, o Jalapeño demonstra interatividade impressionante, alcançando mais de 700 tokens por segundo por usuário no modelo DeepSeek R1 com apenas 1 concorrente.

Incrívelmente, tudo isso foi alcançado com previsão de token único (STP), sem decodificação especulativa nem separação de pré-preenchimento e decodificação. Além do DeepSeek R1, observamos outros modelos, como o Kimi-K2.5 e o GPT-OSS, que alcançam cerca de 1.400 tokens por usuário por segundo. Para todos os modelos, confirmamos que os resultados do Jalapeño no GSM8k são equivalentes aos dos chips NVIDIA.

Há algumas observações importantes. Primeiro, todos os dados são fornecidos pela OpenAI. Nós verificamos pessoalmente o funcionamento do InferenceX em nosso laboratório, mas não executamos o conjunto completo de benchmarks do InferenceX nem vimos os resultados do AgentX. O AgentX é nosso conjunto preferido para comparar o desempenho de chips, pois, devido aos seus contextos ultra-longos e características de múltiplas rodadas, ele reflete o comportamento de cache sob cargas de trabalho reais de produção. Um framework que se desempenha bem no 8k1k pode se sair pior no AgentX, pois cargas reais de produção pressionam componentes como roteadores, mecanismos de cache de prefixo, gerenciamento de cache e infraestrutura de offload. O teste único de 8k1k não cobre esses aspectos. Para mais informações, leia nosso artigo sobre o AgentX.

AgentX - InferenceXv3: A vantagem CUDA ainda sustenta a inferência de agentes?

Em segundo lugar, acreditamos que a comparação com o Blackwell é incompleta e um pouco injusta. O verdadeiro concorrente do Jalapeño são chips como o Rubin, que também utilizam HBM4. O sistema Vera Rubin já começou a enviar produtos aos clientes, enquanto o Jalapeño da OpenAI ainda possui apenas amostras de engenharia e ainda levará algum tempo para chegar à produção em massa.

Portanto, o desempenho realmente deve ser comparado com Rubin, e não com Blackwell. De certa forma, esperávamos que chips personalizados como o Jalapeño superassem o Blackwell. A eficiência energética do Vera Rubin NVL72 é 5,4 vezes maior que a do GB200 NVL72, como mencionamos em nosso artigo do mês passado analisando as declarações de desempenho da NVIDIA e da CoreWeave. Mais tarde, compararemos o Jalapeño com os dados de desempenho do Vera Rubin de julho.

Vera Rubin NVL72 versus GB200 NVL72? Análise de TCO e arquitetura

Em terceiro lugar, os modelos testados não estão na vanguarda do código aberto. A NVIDIA e a AMD já divulgaram resultados de modelos maiores com o AgentX, como o DeepSeek V4 Pro e o Kimi K3. Quanto maior o modelo e mais recente sua publicação, mais complexo é fazer com que ele funcione em novos chips. Mesmo assim, o modelo executado pela OpenAI no Jalapeño não é pequeno.

O objetivo de design da OpenAI é desempenho por watt. A razão é simples: a OpenAI atualmente está limitada pela energia elétrica dos data centers, e não pelo orçamento ou espaço físico, tornando crucial o número de tokens por megawatt. Na Computex 2026, Jensen Huang afirmou que desempenho por watt, confiabilidade e longevidade são características centrais dos GPUs do futuro. Ele disse literalmente: “Se você tiver 1 gigawatt de energia, então o throughput por watt é receita.” Ele também mencionou que não faz sentido escolher uma arquitetura incorreta apenas porque o chip é mais barato.

A NVIDIA também enfatizou isso na apresentação Vera no Hot Chips 2026, apresentando o mesmo gráfico de receita: “Os data centers de hoje são limitados por energia.” A energia é crucial e impulsiona a receita.

Os operadores não conseguem facilmente obter mais megawatts. A escala de tempo para aumentar GPUs e aumentar a capacidade da rede elétrica é drasticamente diferente. O limite de energia dos data centers é restrito por diversos fatores, como interconexões com utilidades, infraestrutura, capacidade de refrigeração e projeto de UPS/geradores de reserva. Atrasos na rede elétrica frequentemente superam o progresso de hardware e construção, gerando demanda por capacidade de energia pós-medição. Ou seja, construir turbinas a gás e geradores locais dentro dos próprios data centers. Essas capacidades estão localizadas após o medidor da utilidade e não dependem da rede pública, permitindo que os operadores alimentem suas instalações sem precisar aguardar a interconexão com a rede e atualizações das utilidades. É exatamente por isso que o Colossus 2 da xAI depende fortemente de energia pós-medição, enquanto sua conexão real à rede elétrica ainda está significativamente atrasada. Para mais informações, consulte nosso modelo energético.

Como mencionamos no post no X, tok/s/MW pode ser simplificado como o número de tokens por joule. Como watt é joule por segundo, tok/s/MW representa a eficiência do sistema e sua capacidade de converter energia em tokens.

Nesse aspecto, mesmo em comparação com Rubin, o Jalapeño supera. O Jalapeño da OpenAI atingiu um throughput de tokens por megawatt STP superior aos resultados MTP da Vera Rubin. Esse resultado foi divulgado pela NVIDIA e CoreWeave em julho. Ele também supera significativamente os resultados MTP do GB200 em 2025. Como mencionamos no artigo sobre a Vera Rubin, a comparação entre VR e os resultados do GB200 em 2025 é válida, pois ambos estão em estágios iniciais semelhantes. Além disso, comparar com o GB200 de 2025 mantém a maturidade do software constante. Seguindo essa lógica, comparamos três conjuntos de resultados: o mais recente resultado do Vera Rubin de julho de 2026, o resultado do GB200 em 2025 e o resultado atual do Jalapeño. Essa comparação é muito justa, pois esses são os melhores dados públicos disponíveis sobre Rubin. Além disso, a OpenAI lançou seu próprio chip somente após Rubin. Tanto a OpenAI quanto Rubin ainda estão em estágios imaturos, portanto, o desempenho ainda terá espaço para melhorar.

Em termos de desempenho/custo total de propriedade, Vera Rubin e Jalapeño estão empatados, produzindo quase o mesmo número de tokens por dólar. No entanto, como mencionado anteriormente, os resultados do Jalapeño não utilizam decodificação especulativa, enquanto os resultados da Vera Rubin já utilizam essa técnica. A decodificação especulativa pode reduzir o custo por token em cerca de 3 a 5 vezes. Quando o Jalapeño implementar a decodificação especulativa, seu custo por token será ainda mais eficiente. Claro, parte da vantagem de TCO vem da evitação das altas margens da NVIDIA em favor das margens mais baixas (mas ainda elevadas) da Broadcom. Mas isso não é a única razão. Por exemplo, os projetos de ASICs de IA da Meta e da Microsoft levaram mais tempo e ainda não conseguiram ser implementados com sucesso. Isso indica que o custo é apenas uma parte da equação. Para uma análise completa do TCO do Jalapeño, consulte o modelo SemiAnalysis AI Cloud TCO.

Na arquitetura, a OpenAI optou por não separar o pré-preenchimento (prefill) e a decodificação (decode) em pools de chips distintos. O modelo de rascunho e o modelo principal compartilham os mesmos chips e a mesma estrutura de interconexão. Essa abordagem de design sacrifica parte da eficiência teórica em prol da praticidade operacional. A motivação reside no fato de que a composição da carga de trabalho muda ao longo do tempo. Por exemplo, a proporção entre entrada, escrita de cache, leitura de cache e tokens de saída já sofreu mudanças significativas. Essa mudança ocorreu após passarmos por três eras de modelos: conhecimento, raciocínio e agentes, como discutido em nosso artigo mais recente. Portanto, fixar quantidades pré-determinadas de silicones heterogêneos para pré-preenchimento e decodificação levaria, com o tempo, a ineficiências. A OpenAI optou por um pool homogêneo nesta arquitetura e se esforça para garantir que os chips desempenhem bem todas as tarefas.

E realmente fez isso. No Kimi K2.5 (baseado no modelo Cursor Composer 2.5), o Jalapeño atingiu cerca de 700 tok/s/usuário. Essa velocidade é mais de 9 vezes superior à do segundo melhor chip, que é de 100 tok/s/usuário.

No GPT-OSS, outra esmagadora vitória. O throughput interativo por megawatt do Jalapeño é quase o dobro do ponto de throughput máximo do GB200 e mais de 50 vezes o ponto de concorrência 1 do GB200. O ponto Jalapeño com maior concorrência utiliza o EP8.

Esses resultados são impressionantes! Mas precisamos ser exigentes: eles são apenas 8k1k, com muito menor dificuldade de ajuste e ainda sem dados de execução do AgentX. Como mencionamos no artigo do AgentX, cargas de trabalho com múltiplas rodadas e longos contextos exercem pressão sobre mais aspectos da pilha de inferência, como roteadores e cache de prefixos. Para se destacar em cargas de trabalho de agentes, ainda são necessárias mais otimizações. Leia o artigo do AgentX para mais detalhes.

AgentX - InferenceXv3: A vantagem CUDA na inferência de agentes ainda pode ser mantida?

Todos esses resultados foram obtidos com o passo A0 do Jalapeño, apenas 9 meses após o início do projeto. Mas o passo B0 já está na fábrica de semicondutores! A otimização do B0 aumenta o desempenho por watt em aproximadamente 25% em comparação com o silicon A0 anterior. Especificamente, o passo B0 alcança 13,4 PFLOPs de MXFP4 em um chip de tamanho de máscara único. Esse chip é fabricado com o processo N3P da TSMC. Em comparação, um único chip de computação Rubin alcança 17,5 PFLOPs de NVFP4 denso em dimensões semelhantes e no mesmo nó.

Considerando que o TDP do Jalapeño é de apenas 700 W, enquanto o Rubin consome 900-1150 W por chip de computação, esse desempenho é ainda mais impressionante. Como o Jalapeño é voltado para inferência e não para treinamento, a OpenAI não precisa aumentar o TDP para maximizar os FLOPs. Isso é compreensível. Mas, de qualquer forma, os resultados acima indicam que o Jalapeño oferece um alto pico de FLOPs teóricos.

Ao ser comparado diretamente com outros aceleradores, o Jalapeño possui a maior largura de banda HBM por watt e o maior número de FLOPs por watt. Esse nível é comparável à configuração Rubin Max-Q de 1800W.

Jalapeño será equipado com HBM4, tornando-se um dos primeiros chips a adotar essa tecnologia, após Nvidia e AMD, e à frente de projetos já existentes como TPU e Trainium. Um dos princípios fundamentais da arquitetura do Jalapeño é aproveitar plenamente a largura de banda do HBM; portanto, comprometer-se com HBM não de topo iria contradizer esse objetivo. Isso resulta em uma largura de banda de memória por pacote de 15,4 TB/s, superando todos os outros aceleradores em venda que utilizam HBM3E. Essa largura de banda de 15,4 TB/s indica que o HBM4 do Jalapeño pode alcançar uma taxa de pino de 10 Gbps, ligeiramente acima dos 9,6 Gbps do HBM4 da Nvidia no Rubin. O HBM provavelmente será fornecido pela Samsung.

A OpenAI concluiu a tape-out do Jalapeño em novembro de 2025, mais precisamente, uma tape-out de design CoWoS, e não apenas o chip superior. Nos nove meses seguintes à tape-out de novembro de 2025, e apenas após três meses de depuração em silício real, a OpenAI já obteve resultados excelentes com o Jalapeño. Isso é ainda mais impressionante considerando que a equipe começou do zero na pilha de software.

Ao mesmo tempo, a produção em massa do CoWoS de Rubin foi concluída em outubro de 2025, um mês antes, mas os únicos resultados iniciais que vimos até agora vêm da amostra de engenharia da CoreWeave. A Nvidia não permitiu que testássemos e publicássemos benchmarks, como a OpenAI fez, indicando que o software de seu chip ainda não está maduro. Dado que a OpenAI conseguiu executar rapidamente novos modelos em seus próprios chips, o fosso do CUDA pode já ter desaparecido.

Eles ainda estão longe de serem otimizados, e podemos ver que, em geral, o Jalapeño forneceu melhores dados. Não acreditamos que o hardware da Nvidia seja pior, mas sim que o desenvolvimento de software do Jalapeño avançou mais rapidamente do que o da Nvidia. Isso demonstra o poder do co-design de hardware e software, que é justamente a área em que as equipes de ASIC dos principais laboratórios de ponta conseguem superar fabricantes de chips comerciais mais maduros. De forma contraintuitiva, começar do zero também pode ter beneficiado a OpenAI, pois permite tomar decisões de arquitetura totalmente novas, sem as limitações de compatibilidade com versões anteriores ou software antigo.

Embora a OpenAI já tenha o protótipo Jalapeño, a produção em massa está atualmente planejada para aumentar gradualmente em 2027, com a maior parte da produção programada para o final do próximo ano. Para mais detalhes sobre a quantidade de unidades e o preço médio de venda, consulte o Modelo Accelerator da SemiAnalysis.

Pode-se dizer que o OpenAI Jalapeno é um verdadeiro ASIC em grande escala.

Em comparação com a linha do tempo do Rubin, a velocidade do Jalapeño é surpreendente. Como mostrado anteriormente, apesar do Rubin ter começado antes, os resultados do Jalapeño superam os do Rubin.

Arquitetura Jalapeño

Do ponto de vista da arquitetura, o motor de matriz deste chip utiliza o formato numérico MXFP e uma matriz pulsátil com pesos residentes, semelhante ao TPU. No entanto, em comparação direta com o TPU, ele suporta formas/dimensões menores, o que significa que não apresenta quedas de desempenho estranhas em multiplicações matriciais com formas incompatíveis, como ocorre em matrizes pulsáteis maiores.

Ele também possui um núcleo escalar de 64 bits e núcleos vetoriais FP32/INT32. A OpenAI também implementou design redundante no nível do pacote e incorporou recuperação de rendimento no nível dos núcleos e canais. Eles afirmam que a assistência por IA no design do chip reduziu a área SIMD em 8% e a área do motor de matriz em 10%. Embora não tenham especificado as condições exatas de processo/tensão/temperatura (PVT), mencionaram que o módulo assistido por IA melhorou o timing e o consumo de energia em comparação com o módulo inicial.

O design da arquitetura Jalapeño foca em eliminar a movimentação de memória do KVCache e dos pesos, bem como a latência e sobrecarga fixas, permitindo que, em comparação com outros aceleradores, se aproxime mais do desempenho máximo original de potência/ largura de banda, mesmo em lotes pequenos ou formas pequenas.

Os núcleos e HBM são divididos em múltiplos slices, cada slice de núcleo tendo uma visão local de baixa latência para seu próprio slice de HBM. A sincronização entre slices é realizada por meio de uma rede de coletivas dedicada de alta largura de banda. Essa estrutura de memória minimalista confere ao Jalapeño uma vantagem potencial significativa em comparação com GPUs, pois o acesso à memória nas GPUs precisa atravessar um sistema de memória complexo, gerando latências maiores que devem ser amortizadas ou ocultadas em formas grandes.

Essa abordagem é viável porque, ao posicionar cuidadosamente os pesos e os KV, a sincronização entre núcleos pode ser limitada a comunicações de largura de banda alta e conhecida, como a comunicação de paralelismo de tensores que pode ser sobreposta ao cálculo.

Além disso, há um NoC genérico adicional para comunicação geral e acesso à rede expandida. Em geral, a OpenAI economizou significativamente em consumo de energia e obteve melhorias de desempenho substanciais em comparação com a Nvidia e o Google, por meio de um NOC e subsistema de memória simplificados.

Em seu núcleo, a OpenAI descreve um núcleo superscalar com cache L1. Isso difere significativamente do padrão observado em outros aceleradores, que geralmente utilizam registradores gerenciados por software, frequentemente com suporte a DMA assíncrono. O argumento aqui é que isso permite que o Jalapeño evite sobrecargas fixas, como latência de barreiras, que, em outros aceleradores (como GPUs), precisam ser ocultadas ou amortizadas aumentando a carga de trabalho por núcleo, tornando mais difícil alcançar a largura de banda ou capacidade de processamento pico bruta.

O custo é que o Jalapeño depende de pré-carregamento eficaz para garantir que as requisições de memória cheguem a tempo, o que é mais difícil de prever e raciocinar. No entanto, com o Codex obtendo rastreamentos detalhados em um bom framework, encontrar o kernel ótimo com o melhor pré-carregamento para uma forma dada pode exigir quase nenhuma intervenção humana. Acreditamos que esta é exatamente a razão pela qual a OpenAI conseguiu implementar tão rapidamente o DeepSeek R1, o Kimi K2.5 e o GPT-OSS.

O núcleo também suporta dimensões de matriz "menores", o que (dependendo do quão pequenas são) deve torná-lo mais genérico em diferentes modelos e dimensões de lote, sendo menos sensível ao alinhamento de dimensões de matriz, sobrecarga de preenchimento e ineficiência de blocos. Por exemplo, chips TPU, Trainium e Etched possuem matrizes de pulsar muito grandes, que podem exigir lotes grandes ou dimensões de modelo exatamente divisíveis para evitar ineficiências de blocos.

Com o Jalapeño, a OpenAI concentra-se em eliminar a latência fixa no sistema para se aproximar o máximo possível do desempenho roofline em todas as regiões da curva de Pareto. Teoricamente, isso pode trazer vantagens relativas em relação à GPU em vários pontos de operação:

O desempenho máximo para inferência de baixa latência e pequenos lotes é significativamente superior ao da GPU. A GPU é limitada por sobrecargas fixas, como latência de inicialização, latência de barreira e latência do sistema de memória.

Mesmo com lotes grandes ou contextos longos, há potencial para se aproximar mais do roofline do hardware.

Isso vem com um aviso: mesmo que exista um limite teórico de desempenho, os núcleos reais podem ser mais difíceis de atingir esse desempenho. Portanto, seu método parece ser:

Projete o desempenho máximo para todos os formatos de carga de trabalho

Deixe o Codex realizar o trabalho pesado e encontrar o kernel que implementa esse limite

A equipe da OpenAI iniciou a carga de trabalho InferenceX no Jalapeño, com tempo de ciclo extremamente rápido.

Por isso, estamos otimistas com este método.

Se Jalapeño for bem-sucedido, liberará um sinal forte.

A obsessão da indústria com modelos de programação e compiladores universais perfeitos será quebrada pelos modelos de IA de ponta.

OpenAI escreve o kernel Jalapeño como se estivesse escrevendo assembly.

Cada núcleo possui código manualmente otimizado, com parte dele contendo cerca de 3.000 linhas.

Também há suporte para verificação de correção e sanitizadores personalizados.

O trabalho inicial do núcleo era com humano no loop, e não totalmente automático.

Depois, passou para a versão interna mais escalável do Codex.

A OpenAI planeja vender esta versão a clientes corporativos.

O motor de serviço interno é chamado de "Teacup".

Curiosamente, a OpenAI anteriormente não tinha uma implementação interna do kernel MLA.

Até que eles fizeram o benchmark do DeepSeek com o InferenceX.

Codex consegue escrever núcleos funcionais e eficientes tão rapidamente, sem a necessidade de intervenção da equipe de engenharia de núcleos.

Isso demonstra a capacidade de desenvolvimento da pipeline de software.

OpenAI usa Gluon para programar Jalapeño.

Gluon é a linguagem de programação interna da OpenAI.

Gluon é construído sobre o Triton, mantendo o modelo de programação SPMD (Single Program Multiple Data) do Triton.

Mas expôs a abstração de programação subjacente.

Por exemplo, para a GPU NVIDIA, ela fornece uma API que mapeia instruções PTX.

Incluindo instruções MMA, instruções TMA e mecanismo mbarrier.

A abstração mais única fornecida pelo Gluon é o layout.

Em geral, o layout define o mapeamento entre os recursos de hardware e os elementos do tensor.

Por exemplo, o quinto registrador do Warp 9 corresponde ao elemento do tensor na 6ª linha e 7ª coluna.

A abstração de layout do Gluon é baseada em Linear Layouts.

Esta é uma álgebra de layout inventada pela OpenAI.

Linear Layouts formalizam matematicamente o que é um layout.

E forneça ferramentas para o layout de operações.

Isso suporta muitos recursos, como conversões de layout comprovadamente corretas.

Também há swizzling de memória otimizado.

No modelo de programação do Jalapeño, cada programa Gluon é mapeado para uma thread persistente.

We believe this suggests that Jalapeño is suitable for persistent kernel programming patterns.

Cada programa é executado em vários tiles, com o trabalho atribuído pelo programador, e não pelo agendador de hardware.

OpenAI mencionou o TensorInfo.

É uma abstração de um layout codificado explicitamente.

Este pode ser um conjunto de layouts projetado para o Jalapeño.

Será impulsionado por Linear Layouts.

Por fim, cada núcleo fornece unidade de pré-carregamento de dados e desacoplamento fora de ordem.

Por exemplo, o usuário pode programar para aguardar os dados pré-carregados.

Os dados estão bloqueados por um semáforo.

Ironicamente, modelos da OpenAI como o GPT 5.6 Sol estão atualmente rodando em GPUs da NVIDIA.

They are used to design chips that pose a real threat to the CUDA moat.

As próprias GPUs da NVIDIA estão impulsionando em tempo real o possível sucessor.

Ao comparar ao longo do tempo, ainda podemos ver a velocidade de desenvolvimento do Jalapeño.

Em menos de duas semanas, o throughput de certos cenários de interação aumentou mais de duas vezes.

Cada tarball que recebemos da equipe Jalapeño contém um mundo maravilhoso.

Além do aumento de desempenho do núcleo, a equipe Jalapeño ativou o TP32 em 8 dias.

Expandir a configuração anterior do TP8 além de um único sistema para implementar uma configuração completa de rack para rodar modelos grandes.

Este ritmo de desenvolvimento é realmente impressionante.

Para verificar o desempenho antes de executar em hardware real, a OpenAI também possui um simulador chamado "chilisim".

Sua precisão está dentro de 5% do hardware real, utilizando um barramento trace de largura fixa.

A capacidade de rastreamento no A0 é limitada, mas melhora significativamente no B0.

Isso pode ser atribuído aos dados reais de funcionamento do wafer A0.

O engenheiro demonstrou o Codex CLI executando o modelo interno.

Ele é apelidado de "Raiku" ou "5.3 Codex Spark", com TPOT de 1,2 ms.

A equipe também demonstrou uma demonstração escrita pelo Codex sendo executada diretamente no chip.

Incluindo Doom a 36 FPS e simulação de dinâmica de fluidos FP32.

Ainda há a visualização de arrastar o mouse "Liquid Light".

Em termos de modelo, a solução interna megakernel da OpenAI tem o apelido de "gigakernel".

Ele é construído em torno de um único megakernel que roda no dispositivo, reduzindo a sobrecarga da CPU e o tempo de inicialização.

A equipe continua a aprimorar a estratégia de cálculo durante os testes.

Atenção interna especial sobre como coordenar o uso de 1 milhão de rollouts.

Anteriormente mencionamos que a OpenAI não utilizou a separação prefill-decode nesses chips.

Isso nos surpreendeu, pois o desempenho das GPUs NVIDIA e AMD se beneficiou significativamente do PDD.

Mesmo em hardware homogêneo.

Vamos aprofundar por que a equipe Jalapeño fez isso.

Quando a carga de trabalho é fixa, a separação prefill-decode parece atraente.

Prefill e decode têm pressões diferentes sobre o hardware.

Atribua cada fase a um pool otimizado separadamente para aumentar a eficiência sob a relação entrada-saída selecionada.

Mas o tráfego de produção não manterá essa proporção.

O comprimento da sequência de entrada e saída, a concorrência, a taxa de acerto de cache, a taxa de aceitação especulativa e os objetivos de latência variam ao longo do dia.

Quando o dispositivo é dividido em pools de prefill e decode, uma demanda excessiva de prefill pode deixar os chips de decode ociosos, causando fila de solicitações.

Mas muitas demandas de decode têm o efeito oposto.

Os operadores devem prever continuamente a divisão correta e reservar capacidade de reserva para ambos os lados.

E reequilibrar um sistema cuja proporção ideal está em constante mudança.

Em um sistema unificado, certos recursos podem ser subutilizados em estágios específicos.

Mas cada dispositivo ainda pode ser usado para atender a próxima solicitação.

Em um sistema separado, o chip inteiro pode permanecer ocioso apenas por pertencer a um pool incorreto.

A utilização local parece melhor, mas a utilização global pode ser ruim.

A separação também destrói a localidade.

O worker de pré-carregamento gera o grande cache KV necessário imediatamente pelo worker de decodificação.

O sistema deve transmitir esse estado pela rede para que a geração possa continuar.

Isso aumenta o consumo de largura de banda, sincronização, fila e outro domínio de falha.

O custo também aumenta com o comprimento da sequência de entrada, pois o cache KV está crescendo.

No entanto, evitar a movimentação do KV é principalmente uma otimização de consumo de energia e latência.

Mover alguns KV pode aumentar a utilização do hardware, com o custo de consumo de energia e latência por requisição.

Clusters intercambiáveis podem transferir capacidade entre solicitações sensíveis a latência e lotes orientados para throughput.

A divisão fixa ocupa hardware ocioso quando a combinação de tráfego muda.

Além disso, a alteração do comprimento do contexto equilibra o trabalho entre atenção e FFN.

Qualquer proporção de hardware fixa é eficiente apenas próximo ao ponto de projeto.

As mesmas restrições se aplicam à decodificação especulativa. O modelo rascunho deve fornecer tokens candidatos ao validador com latência extremamente baixa. Separar ambos em pools dedicados distintos transforma o ciclo de decodificação intimamente acoplado em um protocolo distribuído. A comunicação e coordenação adicionais podem consumir a latência economizada pelo rascunho. Apenas colocar ambos os modelos no mesmo dispositivo e em uma estrutura de baixa latência preserva a localidade que torna a especulação valiosa.

No entanto, em locais onde a demanda é suficientemente grande, estável e previsível, o desacoplamento ainda prevalece, especialmente quando os GPUs tradicionais exigem lotes grandes e em etapas para alcançar bom throughput. Mas isso não é almoço grátis.

O sistema Jalapeño é composto, no nível da unidade de rack, por um rack de host CPU e um rack de ASIC. O rack de host aloca 16 placas de CPU host chamadas "Katsu". Cada Katsu corresponde a uma das 16 placas ASIC à direita, chamadas "Vindaloo". Cada host é equipado com dois CPUs AMD EPYC da série Turin, 1,5 TB de DRAM por rack, 2x E1.S e 2x SSD M.2. Cada placa também possui rede frontal de 400G (2x200G). Cada placa Katsu é conectada a cada placa Vindaloo por meio de 8 cabos externos PCIe DAC. Esses cabos são roteados horizontalmente na frente do rack. O design do sistema foi desenvolvido em colaboração com a Celestica.

O rack ASIC é composto por 16 bandejas Vindaloo e 8 bandejas de switch de expansão (6 locais + 2 globais), denominado “Chana”. Cada bandeja Vindaloo contém 8 ASIC Jalapeño, totalizando 128 ASIC Jalapeño por rack. Os ASICs são conectados às bandejas de switch Chana por meio de backplane de cabos de cobre, semelhante ao Nvidia Oberon. A topologia de expansão é dividida em domínios locais e globais. O domínio local cobre os 128 ASICs dentro do rack. O domínio global conecta até 16 racks ou 2.048 ASICs. Explicaremos com mais detalhes a largura de banda e a topologia abaixo.

O rack de servidores laterais consome cerca de 50 kW (31 kW em produção), enquanto os racks ASIC consomem 130 kW. O sistema completo de dois racks consome aproximadamente 160 kW. Em termos de consumo de energia, isso equivale basicamente a um rack duplo GB300.

A OpenAI pode conectar até 2.048 Jalapeño XPU em uma única rede expandida. A rede expandida é composta por dois domínios. O domínio local conecta todos os 128 XPU dentro do rack por meio de um backplane. O domínio global utiliza uma combinação de cabos de cobre e interconexões ópticas para conectar os 2.048 XPU de 16 racks. Cada rack contém 8 bandejas de switches Chana. Os 6 switches Chana centrais são usados para o domínio local, cada um com um ASIC de switch Tomahawk 6 de 102,4 T. Os 2 switches Chana superior e inferior são usados para o domínio global. Acreditamos que possam ser 2 switches Tomahawk 6 de 102,4 T cada, totalizando até 204,8 T por bandeja de switch.

Na região local, 128 chips Jalapeño fornecem uma largura de banda unidirecional de 4,8 Tb/s por XPU. Eles estão conectados em uma topologia totalmente interconectada a 6 ASICs Tomahawk 6 de 102,4 Tb/s. Isso equivale a 48 pares diferenciais (DP) macho e fêmea por XPU. No total, 6.144 pares DP de cabos passivos de cobre são utilizados para expansão local por rack.

No domínio global, 16 racks com 2.048 XPU são conectados por uma combinação de backplane de cobre, comutadores elétricos de 204,8 T TH6, módulos ópticos de 1,6 T e comutadores de circuito óptico. Cada XPU possui largura de banda unidirecional de 1,6 Tb/s em sua ligação global. Cada XPU possui 16 pares diferenciais (DP) de conectores macho e fêmea para a backplane entre o XPU e o comutador global. Cada bandeja de comutador global possui 2 ASICs, cuja largura de banda de saída é distribuída entre a backplane e os dispositivos ópticos da frente.

Entre os domínios locais e globais, há 64 pares DP por conector de backplane por XPU. No total, há 8.192 pares DP de cabos passivos de cobre por rack.

O domínio global utiliza uma arquitetura pura de rail, composta por 8 rails dentro do domínio global. Acreditamos que a OpenAI roteia as ligações ópticas no domínio global por meio de comutadores ópticos de circuito (OCS) instalados em cada rack. A largura de banda global de 1,6 Tb/s de cada XPU chega ao painel de comutação global por meio de um backplane de cobre e, em seguida, deixa o comutador por meio de módulos ópticos de 1,6 T na frente. Eles primeiro entram em um comutador óptico passivo e depois deixam o rack. Isso permite expandir o domínio para 2.048 XPUs, compostos por 16 racks, cada um com 128 XPUs.

Como a rede expandida representa apenas cerca de 10% do custo total do sistema, essa flexibilidade oferece uma valiosa opção para modelos futuros de 10 a 20 trilhões de parâmetros ou janelas de contexto de 2 milhões a 4 milhões de tokens. Em termos de implantação, a OpenAI colabora com a neocloud. Também coletou dados de confiabilidade com parceiros de data centers há um mês, ao mesmo tempo em que otimizava o tempo de implantação do cais ao rack.

A seguir, discutiremos o futuro do Jalapeño, cujo primeiro token de produção está prestes a ser lançado. O próximo objetivo é 100 MW, e os principais obstáculos estão no hardware: quantos eles conseguem produzir, quão bem conseguem implantar e operar data centers, e como lidam com monitoramento e resiliência. O software já foi validado, e com modelos internos, qualquer vantagem de primeira-mão em software é facilmente superável. Após a parede de pagamento, discutiremos o impacto sobre empresas de chips como NVIDIA, AMD e Cerebras, que assinaram contratos com a OpenAI nos próximos anos.

Também abrangemos a produção, quantidade e cronograma dos próximos gerações de chips no modelo Accelerator.

A parte posterior é conteúdo pago e, por questões de permissão, não foi traduzida adicionalmente; no entanto, o trecho anterior já contém muitas informações que refletem o desafio da OpenAI aos chips da NVIDIA. Para jogadores interessados no setor de chips e na ação da NVIDIA, essas informações oferecerão referências frescas e sólidas.