Ang NVIDIA H100 ay nagkakahalaga ng hanggang $40,000. Ang RTX 5090, isang gaming card, ay nagkakahalaga ng halos $2,000. Para sa tunay na pagpapatakbo ng AI, gaano karami sa 15x na pagkakaiba ang totoo? Mas kaunti kaysa sa inaasahan ng marami, para sa karamihan. Para sa anumang workload na kasya sa 32GB (mga model hanggang ~13B sa full precision, ~32B quantized), ang $2,000 na 5090 ang pinakamahusay na performance per dollar na mabibili mo. Hindi ito malapit. Fine-tuning ng maliit na model? Isang run na nagkakahalaga ng halos $2 sa electricity sa 5090 na iyong may-ari ay nagkakahalaga ng halos $50 para mag-rent ng katumbas na cloud H100 time. Ang card ay babayaran mismo nito sa loob ng isang taon. Ngunit ang H100 ay nagtatamo ng halaga nito sa sandaling lumampas ka sa tatlong puntos: - Memorya: kailangan ng 70B model ng halos 40GB kahit sa 4-bit. Ang 32GB ng 5090 ay hindi kayang isama ito. - Pagkakatotoo: ang ECC memory ay nakakatanggap ng bit-flips na nakakasira nang tahimik sa isang 48-oras na training run. Walang 5090. - Skala: ang NVLink ay nag-uugnay ng mga H100 sa 7x speed ng PCIe. Walang NVLink ang 5090. Ang mahal na pagkakamali ay hindi ang pagpili ng “mas masama” na card. Ito ay ang pagpili ng maling card para sa iyong trabaho: masyadong magbabayad para sa isang H100 na hindi mo gagamitin nang buo, o masyadong maliit na bumili ng 5090 at makakasalubong sa isang pader na hindi mo kayang lutasin sa pamamagitan ng quantization.