NVIDIA révèle les détails des coûts de Blackwell : le prix du GPU double, le coût du jeton chute de 35 fois

Message AIMPACT, le 30 avril (UTC+8), selon le suivi de Beating, NVIDIA a publié un blog détaillant le choix des infrastructures d'inférence, avec un argument central : évaluer les infrastructures d'inférence en fonction du « coût par token » et non du « coût par GPU et par heure ». En comparant les prix unitaires des GPU, Blackwell est plus cher ; en comparant le coût par token, Blackwell écrase la génération précédente. Le blog utilise DeepSeek-R1 (modèle d'inférence MoE) comme sujet d'essai, en comparant Blackwell (GB300 NVL72) à la génération précédente Hopper (HGX H200). Selon les prix de location du marché cloud, Blackwell coûte 2,65 $ par GPU et par heure, soit près de deux fois plus que les 1,41 $ de Hopper, mais la production de tokens par GPU et par seconde passe de 90 à 6 000, soit une augmentation de débit de 65 fois, réduisant le coût par million de tokens de 4,20 $ à 0,12 $. La production de tokens par mégawatt augmente de 50 fois. Il est important de noter que ce chiffre de 0,12 $ repose sur l'activation de plusieurs optimisations logicielles, notamment l'inférence à faible précision FP4 et MTP (prévision multiple de tokens, permettant au modèle de générer plusieurs tokens en une seule opération pour accélérer le traitement). Les données brutes de SemiAnalysis InferenceX v2 montrent que, sur le même GB300 NVL72 exécutant DeepSeek-R1, sans MTP, le coût par million de tokens est d'environ 2,35 $, et tombe à environ 0,11 $ avec MTP activé — une seule optimisation créant un écart de 21 fois. Tous ces résultats proviennent d'essais réalisés avec le modèle unique DeepSeek-R1 ; les chiffres varieront selon les architectures et tailles des modèles. (Source : BlockBeats)