Mensaje de AIMPACT, 30 de abril (UTC+8): según el monitoreo de Beating, NVIDIA publicó un blog desglosando la selección de hardware para inferencia, con el argumento central en una frase: al evaluar la infraestructura de inferencia, se debe considerar el «costo por token» en lugar del «costo por GPU por hora». En términos de precio por GPU, Blackwell es más caro; pero en términos de costo por token, Blackwell supera ampliamente a la generación anterior. El blog utilizó DeepSeek-R1 (modelo de inferencia MoE) como objeto de prueba, comparando Blackwell (GB300 NVL72) con la generación anterior Hopper (HGX H200). Según los precios de alquiler del mercado en la nube, Blackwell cuesta $2.65 por GPU por hora, casi el doble que los $1.41 de Hopper, pero la producción de tokens por GPU por segundo aumentó de 90 a 6000, lo que representa un aumento de 65 veces en el rendimiento. Al distribuir este aumento, el costo por millón de tokens bajó de $4.20 a $0.12. La producción de tokens por megavatio aumentó 50 veces. Es importante tener en cuenta que este número de $0.12 se basa en la activación de múltiples optimizaciones de software, incluyendo inferencia de baja precisión FP4 y MTP (predicción múltiple de tokens, que permite al modelo generar varios tokens simultáneamente para acelerar el proceso). Los datos originales de SemiAnalysis InferenceX v2 muestran que, en el mismo GB300 NVL72 ejecutando DeepSeek-R1, sin MTP el costo por millón de tokens es aproximadamente $2.35, mientras que con MTP se reduce a aproximadamente $0.11, lo que significa que solo esta optimización genera una diferencia de 21 veces. Todos estos resultados corresponden únicamente a la prueba con el modelo DeepSeek-R1; los números variarán según la arquitectura y el tamaño del modelo. (Fuente: BlockBeats)
NVIDIA revela los detalles de los costos de Blackwell: el precio de la GPU se duplica, el costo del token cae 35 veces
KuCoinFlashCompartir
Resumen
El precio de la GPU Blackwell de NVIDIA es casi el doble que el del modelo Hopper, pero el costo por token cae 35 veces. A una tarifa en la nube de $2.65 por hora, Blackwell entrega 6,000 tokens por segundo, frente a 90 del Hopper. Esto reduce el costo por millón de tokens a $0.12 desde $4.20. El análisis de precios muestra que mejoras de software como FP4 y MTP impulsan la eficiencia. Las tendencias de precios de criptomonedas podrían reflejar tales cambios en el hardware.
Fuente:Mostrar original
Descargo de responsabilidad: La información contenida en esta página puede proceder de terceros y no refleja necesariamente los puntos de vista u opiniones de KuCoin. Este contenido se proporciona solo con fines informativos generales, sin ninguna representación o garantía de ningún tipo, y tampoco debe interpretarse como asesoramiento financiero o de inversión. KuCoin no es responsable de ningún error u omisión, ni de ningún resultado derivado del uso de esta información.
Las inversiones en activos digitales pueden ser arriesgadas. Evalúa con cuidado los riesgos de un producto y tu tolerancia al riesgo en función de tus propias circunstancias financieras. Para más información, consulta nuestras Condiciones de uso y la Declaración de riesgos.