NVIDIA کا H100 $40,000 تک کا ہے۔ RTX 5090، ایک گیمنگ کارڈ، تقریباً $2,000 کا ہے۔
AI کو حقیقی طور پر چلانے کے لیے، اس 15 گنا فرق میں سے کتنا حقیقی ہے؟
زیادہ تر لوگوں کے لیے، آپ سوچنے سے کم۔
کسی بھی ورک لوڈ کے لیے جو 32GB میں فٹ ہو جائے (مکمل درستگی پر ~13B تک ماڈلز، کوانتائزڈ ~32B تک)، $2,000 کا 5090 آپ کے لیے فی ڈالر بہترین پرفارمنس ہے۔ یہ کسی بھی طرح قریب نہیں۔ ایک چھوٹے ماڈل کو فائن ٹیون کرنا؟ اپنے ملکی 5090 پر $2 کی بجلی کی لاگت والی ایک رن، برابر کلاؤڈ H100 کے وقت کو کرایہ پر لینے پر تقریباً $50 کی لاگت آتی ہے۔ یہ کارڈ ایک سال میں اپنی لاگت واپس کر لیتا ہے۔
لیکن H100 اپنی قیمت حاصل کرتا ہے جب آپ تین حدود عبور کرتے ہیں:
- میموری: ایک 70B ماڈل کو 4-bit پر بھی ~40GB درکار ہوتا ہے۔ 5090 کی 32GB اسے رکھ نہیں سکتی۔
- قابلِ اعتمادی: ECC میموری وہ بٹ فلپس کو پکڑ لیتی ہے جو ایک 48 گھنٹے کے تربیتی رن کو خاموشی سے خراب کر دیتے ہیں۔ 5090 میں کوئی ECC نہیں ہے۔
- سکیل: NVLink H100s کو PCIe کی 7x رفتار سے جوڑتا ہے۔ 5090 میں NVLink بالکل نہیں ہے۔
مہنگا غلط فیصلہ "بہتر" کارڈ منتخب کرنا نہیں، بلکہ اپنے کام کے لیے غلط کارڈ منتخب کرنا ہے: ایک H100 خریدنا جسے آپ کبھی مکمل طور پر استعمال نہیں کر پائیں، یا ایک 5090 خریدنا جس سے آپ اس دیوار تک پہنچ جائیں جسے آپ کوانتائزیشن سے دور نہیں کر سکتے۔