یہ AMD کے لیے بہت دیر سے انتظار کیا جانے والا لمحہ ہو سکتا ہے۔
ہالی، Wafer AI نے AMD MI355X پر ڈپلوی کیا ہے کیمی K3۔ نتیجہ یہ ہوا کہ جس ماڈل کو شروع میں دو سرورز پر 16 NVIDIA B200 کارڈز کی ضرورت تھی، اب ایک AMD سرور پر صرف 8 MI355X کارڈز کے ساتھ ڈیپلوی کیا جا سکتا ہے۔
زیادہ اہم بات یہ ہے کہ اس نے صرف ماڈل کو داخل نہیں کیا۔
1024 ٹوکن کے ان پٹ اور 400 ٹوکن کے آؤٹ پٹ کے ٹیسٹ میں، MI355X نے 952 ٹوکن/سیکنڈ کی کل ٹھیکنگ کا پرفارمنس دکھایا، جس میں ایک صارف کی تولید کی رفتار 118 ٹوکن/سیکنڈ تھی۔
ایک نوڈ کے حساب سے، اس کی ذخیرہ صلاحیت B200 سسٹم کی 3.8 گنا ہے، اور اس کی قیمت کی نسبت کارکردگی B200 اور B300 دونوں سے زیادہ ہے۔
اور سب سے زیادہ حیران کن بات یہ ہے کہ ROCm نے اس بار خاص طور پر کوئی پریشانی نہیں کی۔
ماس زیادہ بڑا ہے، ویڈیو میموری اب کمپوٹیشنل پاور سے زیادہ اہم ہے
کیمی K3 میں 2.8 ٹریلین پیرامیٹرز ہیں، جن کے لیے صرف مدل وزن کے لیے 1.5 ٹی بی سے زائد وی جی پی میموری درکار ہے، نہ کہ ملینوں ٹوکن کے سیکسٹ کے لیے KV کیش کے ساتھ۔
ایک 8 کارڈ B200 سرور، جس میں ہر کارڈ پر 192 GB گرافک میموری ہے، کل کیپسیٹی تقریباً 1.5 TB ہے۔ یعنی، ماڈل وزنز کو مکمل طور پر جگہ دینا بھی مشکل ہے، نہ کہ KV Cache کے لیے جگہ چھوڑنا۔ اس لیے، B200 کو دو سرورز، 16 GPU کی ضرورت ہوگی۔
ہر B300 کارڈ میں 288 GB گرافک میموری ہے، جس سے ماڈل ایک ہی نوڈ میں فٹ ہو جاتا ہے۔ دلچسپ بات یہ ہے کہ AMD MI355X بھی 288 GB گرافک میموری رکھتا ہے، اور 8 MI355X کارڈز مل کر تقریباً 2.3 TB بناتے ہیں، جس کے لیے صرف ایک سرور کافی ہے۔
یہ صرف ایک مشین کم استعمال کرنے کا مسئلہ نہیں ہے۔ ماڈل کو نوڈس کے درمیان چلانے کے بعد، ہر ٹوکن بنانے کے لیے نیٹ ورک کے ذریعے ڈیٹا کو سنکرونائز کرنے کی ضرورت پڑ سکتی ہے۔ حتیٰ کہ تقریباً 195 گیگا بٹ فی سیکنڈ کے RoCE v2 نیٹ ورک کا استعمال کرتے ہوئے بھی، نوڈس کے درمیان مواصلات ڈیکوڈنگ کو سست کر دیتی ہے۔
MI355X بڑے ویڈیو میموری کے ساتھ پورا ماڈل ایک نوڈ میں رکھتا ہے۔
نتیجے کے مطابق، 8 MI355X کی کل پیک ٹھیک 952 ٹوکن/سیکنڈ ہے، جبکہ ایک لین کی پیداواری رفتار 118 ٹوکن/سیکنڈ ہے۔
مقابلہ کے طور پر، 16 B200 کی ڈبل نوڈ ڈپلویمنٹ کی کل ذخیرہ صلاحیت 498 ٹوکن/سیکنڈ ہے، جو ایک نوڈ کے لیے تقریباً 249 ٹوکن/سیکنڈ کے برابر ہے۔
یعنی، MI355X کی ایک نوڈ کی ذخیرہ صلاحیت B200 کے دو نوڈ ڈیپلویمنٹ کی اوسط ایک نوڈ کی صلاحیت کے تقریباً 3.8 گنا ہے۔ ایک صارف کی تولید رفتار کے لحاظ سے، MI355X کی 118 ٹوکن/سیکنڈ B200 کی 90 ٹوکن/سیکنڈ سے زیادہ ہے۔
B300 اب بھی سب سے زیادہ پرفارمنس والی سولوشن ہے۔ 8 B300 نوڈز کی کل تھروٹل 1568 ٹوکن/سیکنڈ تک پہنچ جاتی ہے، جبکہ ایک لین کی پیداواری رفتار 172 ٹوکن/سیکنڈ ہے، جو کل تھروٹل MI355X سے تقریباً 1.65 گنا زیادہ ہے۔
لیکن قیمت نے نتیجہ تبدیل کر دیا۔ ویفر کی حساب کتاب MI355X کے لیے 2.5 امریکی ڈالر فی کارڈ فی گھنٹہ، B200 کے لیے 4.25 امریکی ڈالر اور B300 کے لیے 6 امریکی ڈالر کے مطابق کی گئی ہے۔
اس قیمت کے افتراض کے تحت، MI355X فی ڈالر تقریباً 48 ٹوکن/سیکنڈ کی پیک ٹھروٹل پیش کرتا ہے؛ B200 تقریباً 7 ٹوکن/سیکنڈ؛ B300 تقریباً 33 ٹوکن/سیکنڈ۔
B300 تیز ہے، لیکن MI355X کی اکائی لاگت کی کارکردگی زیادہ بہتر ہے۔ بڑے پیمانے پر کھلے ماڈلز چلانے والے ڈیٹا سینٹرز کے لیے، صرف پرفارمنس کے چیمپئن بننے کے بجائے یہ زیادہ اہم ہو سکتا ہے۔
زیادہ حیران کن بات یہ ہے کہ ROCm کو براہ راست استعمال کیا جا سکتا ہے
طویل عرصے سے، AMD کے ڈیٹا سنٹر GPU کا سب سے بڑا مسئلہ عام طور پر ہارڈویئر نہیں، بلکہ سافٹ ویئر تھا۔
ایک ہی ماڈل CUDA پر براہ راست چل سکتا ہے، لیکن ROCm پر، شاید فریم ورک تبدیل کرنا پڑے، آپریٹرز شامل کرنے پڑیں، یا نیچے کے کرنلز دوبارہ لکھنے پڑیں۔
لیکن کیمی K3 کی صورت مختلف ہے۔
AMD نے اس کے لیے لانچ کے ساتھ تقریباً ہم آہنگی کی سہولت فراہم کی ہے۔ ویفر نے کہا کہ ماڈلز براہ راست MI355X پر چل سکتے ہیں، اور بعد کے کام صرف کچھ توافق کے مسائل اور پرفارمنس کے بہترین انداز پر مرکوز ہیں۔
اس میں سے ایک مسئلہ تخمینہی ڈیکوڈنگ کے مرحلے میں پیدا ہوا۔ کیمی K3 خود MTP یا EAGLE کے لیے ڈرافٹ ماڈل پیرامیٹرز فراہم نہیں کرتا، اس لیے Wafer نے ایک باہری بلاک ڈیفیوژن ڈرافٹ ماڈل استعمال کیا۔
یہ منصوبہ CUDA پر براہ راست چل جاتا ہے، لیکن ROCm ماحول میں، پہلا حقیقی درخواست سکیولر کو خطا دے دیتا ہے۔ وجہ یہ ہے کہ ROCm شاخ میں top_k_renorm_prob نامی ایک فنکشن کی کمی ہے۔
اس فنکشن کا کام پیچیدہ نہیں ہے: احتمالی تقسیم سے اعلیٰ k قیمتیں منتخب کریں، دیگر احتمالات کو صفر کر دیں، اور برقرار رکھے گئے احتمالات کو دوبارہ نرمال کر دیں۔
ویفر نے اس منطق کو ایک عام PyTorch فنکشن کے ساتھ مکمل کر دیا، جس سے گیو کرنل کو ہاتھ سے لکھنے کی ضرورت نہیں پڑی اور اسٹیلیٹڈ ڈیکوڈنگ سسٹم کو دوبارہ ڈیزائن کرنے کی ضرورت نہیں پڑی۔
درست کرنے کے بعد، ایک لائن کی کارکردگی میں تقریباً 2.2 گنا اضافہ، درمیانی تعدد کے تحت ایک سٹریم کی کارکردگی میں تقریباً 1.7 گنا اضافہ، اور اعظمی کل ٹھروپٹ میں تقریباً 18% کا اضافہ ہوا۔
مزید اہم بات یہ ہے کہ سسٹم اعلیٰ کنکرنس کے تحت پیک ٹھروپٹ حاصل کر سکتا ہے۔
پہلا حرف بہت سست ہے، آخر میں صرف چار صفر شامل کیے گئے
بیشک، تھروپُٹ ہی استدلالی سروس کا سب کچھ نہیں ہے۔ حقیقی صارفین کے لیے ایک اور میٹرک، جو براہِ راست تجربے پر اثر انداز ہوتی ہے، TTFT ہے، یعنی درخواست بھیجنے سے لے کر پہلا Token نظر آنے تک کا انتظار کا وقت۔
اس پر، MI355X نے شروع میں اچھا پرفارمنس نہیں دکھایا۔ تقریباً 172,000 ٹوکن کے کول اسٹارٹ پر فل کا کام کرنے میں MI355X کو تقریباً 51 سیکنڈ لگے، جبکہ B300 کو صرف تقریباً 23 سیکنڈ لگے۔
ملیون ٹوکن کے کنٹیکس کے ساتھ ماڈلز میں، پری فلل ٹاسک بہت بڑا ہو سکتا ہے۔ اگر لمبے کنٹیکس کو پروسیس کرتے وقت صارفین کو ہر بار کچھ دہاڑوں یا اس سے زیادہ انتظار کرنا پڑے، تو جتنی بھی اعلیٰ ڈیکوڈنگ رفتار ہو، تجربے کے مسائل کو دور نہیں کیا جا سکتا۔
وافر نے آخرکار پایا کہ اداء کا فرق تقریباً پورا ایک توجہ کرنے والے کرنل سے آیا۔ کیمی K3 کو 8-路 ٹینسر پیرلل کنفیگریشن میں، ہر GPU کو 12 توجہ ہیڈز ملتے ہیں۔ جبکہ AMD AITER کا تیز ترین MLA پریفِل کرنل صرف 4، 8 یا 16 کے مضاعفات جیسی شکلیں ہی سپورٹ کرتا ہے۔
12 ہیڈ میچ نہیں ہوئے، اس لیے سسٹم نے سستے جنرل ٹریٹن ایمپلیمنٹیشن پر واپسی کر دی۔
حل بہت سادہ ہے: 12 توجہ کے سر کو صفر سے 16 تک بڑھائیں، موجودہ ہائی اسپیڈ کرنل کو استعمال کریں، حساب کتاب مکمل ہونے کے بعد صرف درکار 12 سر حاصل کریں۔ مدل کی ساخت میں کوئی تبدیلی نہیں کی گئی اور نہ ہی کوئی نیا اسمبلی کرنل لکھا گیا، صرف چار صفر شامل کیے گئے۔
بہتر بنانے کے بعد، AITER MLA کور کی مستقل پری-فِل کی شرح تقریباً 13,000 ٹوکن/سیکنڈ ہو گئی، جبکہ اصل Triton فیل بیک پاتھ صرف 4,000 سے 7,000 ٹوکن/سیکنڈ تھا، جس سے کولڈ پری-فِل ٹائم تقریباً دو سے تین گنا کم ہو گیا۔
یہ بہتری نہایت ڈیکوڈنگ تھروٹل کو نہیں بدلے گی، لیکن صارفین کے پہلے حرف کے ظاہر ہونے تک کے انتظار کو نمایاں طور پر کم کر دے گی۔
یہ یہ بھی ظاہر کرتا ہے کہ AMD اور NVIDIA کے درمیان دکھائی دینے والی بڑی سافٹ ویئر کی خلا، کبھی کبھی بنیادی صلاحیتوں کی کمی نہیں بلکہ موجودہ ہائی اسپیڈ کورز کسی نئے ماڈل شکل کو ابھی تک کور نہیں کرتے۔
CUDA کا دفاعی دیوار اب بھی موجود ہے، لیکن خامیاں ظاہر ہو چکی ہیں
ایک ٹیسٹ بالکل بھی ثابت نہیں کرتا کہ AMD نے NVIDIA کو مکمل طور پر پیچھے چھوڑ دیا ہے۔
B200 کو کم گرافک میموری کی وجہ سے نوڈ کے درمیان چلنا پڑا؛ B300 کی مطلق کارکردگی اب بھی سب سے زیادہ ہے؛ ROCm کے ٹول چین، فریم ورکس کی حمایت اور ڈویلپر ایکوسسٹم اب بھی CUDA کے مقابلے میں کم ہیں۔
لیکن کھلے ماڈلز جلد ہی تریلین پیرامیٹرز کے دور میں داخل ہو رہے ہیں۔ جب ماڈل اتنے بڑے ہو جائیں کہ ایک سرور میں جگہ نہ ملے، تو ویڈیو میموری کی صلاحیت صرف ایک ٹیبل کا نمبر نہیں رہ جاتی، بلکہ یہ رابطہ کی لاگت، ڈپلومنٹ کی پیچیدگی اور آخری ٹھروٹل کو براہ راست متاثر کرتی ہے۔
AMD کی ایک ہی کارڈ پر زیادہ HBM فراہم کرنے کی پالیسی اب ایک عملی سسٹم فائدہ بن رہی ہے۔
اگر AMD ROCm کی استحکام کو بہتر بنائے، ہائی اسپیڈ کورز کے فارم فیکٹر کی حمایت کو وسعت دے، اور نئے ماڈلز کے لیے تیزی سے دن اول کی سازگاری فراہم کرے، تو ڈیٹا سینٹر کو ان جی پی یو کو سنجیدہ طور پر غور کرنا چاہیے۔ قیمت کم ہے، ویڈیو میموری زیادہ ہے، پرفارمنس کافی ہے، اور سافٹ ویئر کو اب متعدد ماہ تک گھسیٹنے کی ضرورت نہیں۔
آپ اس کے بارے میں کیا سوچتے ہیں؟
حوالہ لنک:
https://x.com/wafer_ai/status/2083628389903315406
https://x.com/ChiragAsarpota/status/2083864019870634151
یہ مضمون ویچن گروپ "مشین سائنس" (ID: almosthuman2014) سے ہے، مصنف: LLM پر توجہ دینے والے