Mensahe ng AIMPACT, Abril 30 (UTC+8), ayon sa pagmamasid ng Beating, nag-post ang NVIDIA ng isang blog na nagdeconstruct ng pagpili ng hardware para sa inference, na may pangunahing punto: Dapat suriin ang “cost per token” at hindi ang “cost per GPU per hour” kapag sinusuri ang infrastructure para sa inference. Sa paghahambing ng presyo ng GPU, mas mahal ang Blackwell; ngunit sa paghahambing ng cost per token, lubos na labis ang Blackwell sa nakaraang henerasyon. Ginamit ng blog ang DeepSeek-R1 (MoE inference model) bilang test subject, at isinukat ang Blackwell (GB300 NVL72) laban sa nakaraang henerasyon na Hopper (HGX H200). Batay sa mga presyong pang-renta sa cloud market, ang Blackwell ay nasa $2.65 bawat GPU bawat oras, na halos dalawang beses ang halaga ng $1.41 ng Hopper, ngunit ang token output bawat segundo bawat GPU ay tumalon mula sa 90 hanggang 6,000, na nagdulot ng 65-fold na pagtaas sa throughput, kaya ang cost bawat milyong token ay bumaba mula sa $4.20 hanggang $0.12. Ang token output bawat megawatt ay tumaas ng 50-fold. Mahalagang tandaan ang mga sumusunod na kondisyon: ang numero na $0.12 ay batay sa lahat ng software optimization—kabilang ang FP4 low-precision inference at MTP (multi-token prediction, na nagpapabilis sa paggawa ng maraming token nang sabay-sabay)—na naka-on. Ayon sa orihinal na data mula sa SemiAnalysis InferenceX v2, ang parehong GB300 NVL72 na nagpapatakbo ng DeepSeek-R1 nang hindi ginagamit ang MTP ay may cost na halos $2.35 bawat milyong token, at bumaba sa halos $0.11 kapag naka-on ang MTP—isang optimization lamang na nagdulot ng 21-fold na pagkakaiba. Lahat ng ito ay resulta lamang mula sa pagsubok sa isang modelo—DeepSeek-R1—at magkakaiba ang mga numero kung iba’t ibang arkitektura at sukat ng modelo ang gagamitin. (Pinagmulan: BlockBeats)
Ipinakita ng NVIDIA ang mga detalye ng gastos ng Blackwell: Dumoble ang presyo ng GPU, bumaba ang gastos ng token ng 35x
KuCoinFlashI-share
Summary
Ang presyo ng NVIDIA Blackwell GPU ay halos dalawang beses ang Hopper, ngunit bumaba ang presyo ng token ng 35 beses. Sa rate ng cloud na $2.65 bawat oras, ang Blackwell ay nagbibigay ng 6,000 na token bawat segundo, kumpara sa 90 para sa Hopper. Ito ay bumaba sa presyo bawat milyong token mula sa $4.20 patungo sa $0.12. Ang pagsusuri sa presyo ay nagpapakita na ang mga pagpapabuti sa software tulad ng FP4 at MTP ang nagpapadali ng epiisensiya. Maaaring magreflect ang mga trend sa presyo ng crypto sa ganitong pagbabago sa hardware.
Source:Ipakita ang original
Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito.
Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.