NVIDIA revela detalhes dos custos do Blackwell: preço da GPU dobra, custo do token cai 35x

Mensagem do AIMPACT, 30 de abril (UTC+8), segundo monitoramento do Beating, a NVIDIA publicou um blog detalhando a seleção de hardware para inferência, com o ponto central em uma frase: ao avaliar infraestrutura de inferência, deve-se considerar o "custo por token", e não o "custo por GPU por hora". Em termos de preço unitário da GPU, o Blackwell é mais caro; em termos de custo por token, o Blackwell supera amplamente a geração anterior. O blog utilizou o modelo DeepSeek-R1 (MoE para inferência) como objeto de teste, comparando o Blackwell (GB300 NVL72) com a geração anterior Hopper (HGX H200). Com base nos preços de locação do mercado em nuvem, o Blackwell custa US$ 2,65 por GPU por hora, quase o dobro dos US$ 1,41 do Hopper, mas a produção de tokens por GPU por segundo aumentou de 90 para 6.000, uma melhora de 65 vezes na capacidade de throughput, reduzindo o custo por milhão de tokens de US$ 4,20 para US$ 0,12. A produção de tokens por megawatt aumentou 50 vezes. É importante notar que o valor de US$ 0,12 pressupõe a ativação de várias otimizações de software, incluindo inferência de baixa precisão FP4 e MTP (previsão de múltiplos tokens, que permite ao modelo gerar vários tokens simultaneamente para acelerar o processo). Os dados originais do SemiAnalysis InferenceX v2 mostram que, no mesmo GB300 NVL72 executando o DeepSeek-R1, sem MTP, o custo por milhão de tokens é de aproximadamente US$ 2,35; com MTP ativado, cai para cerca de US$ 0,11 — apenas essa otimização sozinha cria uma diferença de 21 vezes. Todos esses resultados são baseados no teste do modelo único DeepSeek-R1; os números variarão conforme a arquitetura e o tamanho do modelo. (Fonte: BlockBeats)