NVIDIA का H100 अधिकतम $40,000 का है। RTX 5090, एक गेमिंग कार्ड, लगभग $2,000 का है। AI वास्तव में चलाने के लिए, इस 15x अंतर का कितना हिस्सा वास्तविक है? अधिकांश लोगों के लिए, आपकी कल्पना से कम। किसी भी कार्यभार के लिए जो 32GB में फिट हो जाए (पूर्ण सटीकता पर ~13B तक के मॉडल, क्वांटाइज्ड ~32B तक), $2,000 का 5090 आपके द्वारा खरीदे जा सकने वाला सबसे अच्छा प्रदर्शन प्रति डॉलर है। यह बहुत अच्छा है। एक छोटे मॉडल को फाइन-ट्यून करना? एक 5090 पर ~$2 की बिजली लागत वाला एक रन, समकक्ष क्लाउड H100 समय को किराए पर लेने पर ~$50 का होता है। यह कार्ड एक साल में अपनी लागत कमा लेता है। लेकिन H100 अपनी कीमत कमाता है जब आप तीन सीमाओं को पार करते हैं: - मेमोरी: 70B मॉडल को 4-बिट पर भी ~40GB की आवश्यकता होती है। 5090 की 32GB इसे समायोजित नहीं कर सकती। - विश्वसनीयता: ECC मेमोरी 48-घंटे के प्रशिक्षण रन को चुपचाप खराब करने वाले बिट-फ्लिप्स को पकड़ती है। 5090 में कोई ECC नहीं है। - स्केल: NVLink H100s को PCIe स्पीड के 7x से जोड़ता है। 5090 में NVLink का कोई विकल्प ही नहीं है। महंगी गलती "बदतर" कार्ड चुनना नहीं है। महंगी गलती अपने कार्य के लिए गलत कार्ड चुनना है: एक H100 के लिए अतिरिक्त भुगतान करना जिसका आपकभी पूरी तरह से उपयोग नहीं करेंगे, या 5090 कम खरीदकर एक सीमा पर पहुँचना जिसे आप क्वांटाइज़ करके पार नहीं कर सकते।