NVIDIA раскрывает детали стоимости Blackwell: цена GPU удваивается, стоимость токена падает в 35 раз

Сообщение AIMPACT, 30 апреля (UTC+8): Согласно мониторингу Beating, NVIDIA опубликовала блог с анализом выбора аппаратного обеспечения для инференса. Основной тезис: при оценке инфраструктуры для инференса следует ориентироваться на «стоимость на токен», а не на «стоимость на GPU в час». По цене за GPU Blackwell дороже, но по стоимости на токен он значительно превосходит предыдущее поколение. В качестве тестового объекта использовалась модель DeepSeek-R1 (MoE-инференс), сравнивались Blackwell (GB300 NVL72) и предыдущее поколение Hopper (HGX H200). Согласно рыночным ценам аренды в облаке, стоимость Blackwell составляет 2,65 доллара за GPU в час — почти вдвое дороже, чем 1,41 доллара у Hopper. Однако производительность на одном GPU выросла с 90 до 6000 токенов в секунду — увеличение пропускной способности в 65 раз снизило стоимость на миллион токенов с 4,20 доллара до 0,12 доллара. Производительность на мегаватт выросла в 50 раз. Важное условие: цифра 0,12 доллара достигнута при включении нескольких программных оптимизаций — инференса с низкой точностью FP4 и MTP (множественное предсказание токенов, позволяющее модели генерировать несколько токенов за один проход). Согласно исходным данным SemiAnalysis InferenceX v2, при тех же GB300 NVL72 и модели DeepSeek-R1, но без MTP стоимость на миллион токенов составляет около 2,35 доллара; при включении MTP она падает до ~0,11 доллара — только эта оптимизация даёт разницу в 21 раз. Все приведённые данные получены исключительно для модели DeepSeek-R1; для других архитектур и масштабов моделей цифры будут отличаться. (Источник: BlockBeats)