NVIDIA розкриває деталі вартості Blackwell: ціна на GPU подвоюється, а вартість токена знижується в 35 разів

Повідомлення AIMPACT, 30 квітня (UTC+8): За даними моніторингу Beating, NVIDIA опублікувала блог з аналізом вибору апаратного забезпечення для висновків, основний аргумент якого: при оцінці інфраструктури для висновків слід звертати увагу на «вартість на токен», а не на «вартість на GPU за годину». За ціною за GPU, Blackwell дорожчий; за вартістю на токен — Blackwell значно перевершує попереднє покоління. У блозі як тестовий об’єкт використовувався DeepSeek-R1 (MoE-модель для висновків), порівнювалися Blackwell (GB300 NVL72) і попереднє покоління Hopper (HGX H200). За посиланнями на ціни оренди на хмарному ринку, вартість Blackwell становить 2,65 долара за GPU за годину, що майже вдвічі більше, ніж 1,41 долара для Hopper. Однак продуктивність на один GPU зросла з 90 до 6000 токенів за секунду — підвищення пропускної здатності у 65 разів зменшило вартість на мільйон токенів з 4,20 долара до 0,12 долара. Виробництво токенів на мегаватт зросло в 50 разів. Важливо врахувати передумову: цифра 0,12 долара досягається лише за умови включення всіх програмних оптимізацій, зокрема FP4 — низької точності висновків та MTP (багатотокенне прогнозування — дозволяє моделі генерувати кілька токенів за один раз для прискорення). Сирими даними SemiAnalysis InferenceX v2 показано, що та ж сама конфігурація GB300 NVL72 з DeepSeek-R1 без MTP має вартість близько 2,35 долара на мільйон токенів, а з увімкненим MTP — лише близько 0,11 долара; лише ця оптимізація створює розрив у 21 раз. Усі ці дані отримано на основі тестування лише однієї моделі — DeepSeek-R1; для інших архітектур і розмірів моделей цифри будуть іншими. (Джерело: BlockBeats)