سیمیسنگ اور ایس کے ہائیکس HBM ڈیزائن کی حکمت عملی میں فرق

ہاٹ چپس کانفرنس میں، سامسنگ اور ایس کے سی ہیلیس دونوں نے متفق کیا کہ GPU، میموری، ویفر فاؤنڈری اور پیکیج کو ایک سسٹم کے طور پر ڈیزائن کیا جانا چاہیے۔ اس کے بعد سے، ان کے حل الگ الگ راستے پر چل پڑے۔

سیمیسونگ بنیادی چپ کو سسٹم کا ایک فعال حصہ بنانے جا رہا ہے۔ اس کا منصوبہ ہے کہ میموری کنٹرولر کو GPU سے منطقی بنیادی چپ پر منتقل کیا جائے، جس سے GPU کے رقبے کا 5–10% آزاد ہوگا جسے مزید کمپوٹیشن کے لیے استعمال کیا جا سکتا ہے اور ممکنہ طور پر صلاحیت میں 10–20% کا اضافہ ہوگا۔ منتخب AI آپریشنز بنیادی چپ پر بھی چلائے جا سکتے ہیں تاکہ ڈیٹا کی منتقلی کم ہو۔ لمبے مدتی طور پر، یہ zHBM ٹیکنالوجی کو فروغ دے رہا ہے جس میں GPU اور DRAM کو براہ راست ایک دوسرے پر ڈالا جاتا ہے، جس سے DRAM کی طاقت کی استعمال میں تقریباً 70% کمی اور بینڈ وڈتھ میں دگنا اضافہ متوقع ہے۔

ایس کے سیلیکون اعلیٰ ڈھیر کے ساتھ توجہ مرکوز کرتا ہے اور اس سے پیدا ہونے والی گرمی اور جھکاو کے مسائل کو منظم کرتا ہے۔ اس نے تصدیق کی ہے کہ HBM4 کا 12 لیyer ڈھیر تیاری کے مراحل میں ہے، جبکہ 16 لیyer ورژن صارفین کی تصدیق کے مراحل میں ہے۔ مکسڈ بانڈنگ 20 لیyer اور اس سے زیادہ ڈھیر کی طرف راستہ ہے، جو زیادہ موٹے چپس اور زیادہ تنگ فاصلہ استعمال کرنے کی اجازت دیتا ہے۔ اس کا iHBM طریقہ ڈھیر کے سب سے زیادہ گرم علاقوں کے اندر ایک مخصوص حرارتی موصلیت کا راستہ شامل کرتا ہے۔ یہ مقابلہ اب صرف بینڈ ویتھ اور صلاحیت کے بارے میں نہیں ہے۔ بنیادی چپ آرکٹیکچر اور جدید پیکیجنگ فیصلہ کن میدان بن رہے ہیں۔

2026 کے Hot Chips کے سیشن میں، سامسنگ الیکٹرانکس نے zHBM جاری کیا، جو اعلی پٹھان کی میموری کا آخری ترقی یافتہ شکل ہے۔ یہ تصور 2.5D انٹرپوزٹر کو ختم کر دیتا ہے اور DRAM کو GPU جیسے کمپیوٹنگ چپس کے اوپر عمودی طور پر ڈھیر لگا دیتا ہے، جس سے اصل 3D انٹیگریٹڈ آرکیٹیکچر بن جاتا ہے، جس کا مقصد DRAM کی طاقت کو 70 فیصد تک کم کرنا اور HBM4E کے مقابلے میں پٹھان کو 2.3 گنا بڑھانا ہے۔

سیمیسونگ نے بنیادی چپ کو ایک فعال کمپیوٹنگ شریک میں تبدیل کرنے کے لیے تین مراحل کا راستہ تیار کیا ہے۔ پہلا مرحلہ میموری کنٹرولر کو xPU سے بنیادی چپ پر منتقل کرنا ہے تاکہ سلیکون کا رقبہ بحال کیا جا سکے؛ دوسرا مرحلہ بنیادی چپ میں میموری اضافہ اور توجہ کمپوٹیشن کی صلاحیت شامل کرنا ہے؛ تیسرا مرحلہ نہایت طور پر zHBM کو حاصل کرنا ہے۔

اگلے، ہم سامسنگ کے منصوبے پر نظر ڈالتے ہیں۔

اسpeech کے دوران ایک واقعہ پیش آیا، انہوں نے کچھ گراف دکھائے جن میں HBM5 کی سپیکیفیکیشنز کے حوالے سے رجحانات دکھائے گئے ہیں۔ حالانکہ ابھی کچھ بھی مکمل طور پر تصدیق شدہ نہیں ہے، لیکن دائیں اوپر کے گراف کو دیکھنا دلچسپ ہے۔

60GB کی کیپسیٹی اور 6TB/s کی بینڈ ویتھ والی HBM5 SSD بہت اچھی ہے۔ آئیے مخصوص ڈیٹا کو نکالیں۔ 6 TB/s کی بینڈ ویتھ، 2048 چینلز کے ساتھ، ہر پن کی ٹرانسمیشن ریٹ 23.5 Gbps کا مطلب ہے۔ ہماری موجودہ سب سے جدید رفتار 16 Gbps ہے، جو ایک بڑی ترقی ہے، اور اعلیٰ منطقی نوڈس کا استعمال اس کو حاصل کرنے کا امکان رکھتا ہے۔ اگر ہر چپ کی کیپسیٹی 3 GB ہو اور کل کیپسیٹی 60 GB ہو، تو اسٹیکنگ بلندی 20 لیئرز ہوگی۔

دیگر اسلاڈ پر، سامسنگ نے HBM4E کی ایک پن کی ٹرانسمیشن ریٹ 16 Gbps کے طور پر تصدیق کی ہے۔ ہم نے HBM5 کے لیے پہلے کیے گئے حسابات کی تصدیق نیچے دی گئی تصویر میں کی گئی ہے۔

سیمیسونگ کا واضح فائدہ اس کے خود ساختہ منطقی چپس کے ساتھ ہے، جبکہ میکرون اور ایس کے ہائی لیٹس کو اس چپ کے لیے دوسرے کے ساتھ تعاون کرنے کی ضرورت ہے۔ سیمیسونگ نے اپنی خود کفالت پر زور دیا اور کسٹم چپس کی اہمیت پر روشنی ڈالی۔ سیمیسونگ میموری کے لیے 1C پروسیس اور منطقی چپس کے لیے 4nm پروسیس استعمال کرتا ہے، جس سے چپ کی طاقت کا استعمال نمایاں طور پر کم ہوتا ہے۔ نیچے دیا گیا چارٹ میکرون کا مزاحیہ تصور ہے، جو HBM4 میموری چپ میں منطقی چپس کے لیے DRAM پروسیس استعمال کرتا ہے۔

بہتر بات یہ ہے کہ جیسا کہ پہلے بیان کیا گیا، سامسنگ نے اپنی پروڈکٹ روڈ میپ کو تین مراحل میں واضح طور پر تقسیم کیا ہے۔ ہم اسے ایک ایک کر کے پیش کریں گے۔

جب بنیادی چپ میں منطقی نوڈز موجود ہوں تو HBM PHY ماڈیول کا جسمانی رقبہ کم ہو جاتا ہے اور اس کی توانائی کی کارکردگی بہتر ہوتی ہے۔ اس کا مطلب ہے کہ HBM اور XPU کو جوڑنے والے چپ کے درمیان ماڈیول کا سائز چھوٹا ہوگا۔ اس کے دو فوائد ہیں:

زیادہ کمپیوٹیشن کے لیے XPU میں رقبہ بڑھائیں؛

زیادہ جدید فنکشنز کو ممکن بنانے کے لیے HBM سبسٹریٹ کے دستیاب رقبے میں اضافہ کریں۔

سائز میں کمی کا نقصان یہ ہے کہ ان علاقوں کی تھرمل ڈینسٹی زیادہ ہوتی ہے۔ دلچسپ بات یہ ہے کہ وہ مختلف نسلوں کے HBM کے PHY ماڈیولز کا اصل سائز فراہم کرتے ہیں۔

سیم سنگ نے مزید بتایا کہ وہ D2D لینک میں UCIe کا استعمال نہیں کرنا چاہتے کیونکہ UCIe کا سائز بڑا ہے اور ہر بٹ کی توانائی کی استعمال زیادہ ہے۔ انہوں نے کہا کہ ان کی مخصوص PHY ایمپلیفیکیشن کا پرفارمنس بہتر ہے۔ HBM5 پر منتقلی کے دوران، انہوں نے D2D PHY علاقے کو ٹھنڈا رکھنے کے لیے انٹیگریٹڈ تھرمل پاتھ بلاک (HPB) کا تصور پیش کیا۔

ایک اور بڑا فائدہ میموری کنٹرولر کا ڈیڈیکیٹڈ چپ پر منتقل ہونا ہے، جس سے XPU چپ پر جگہ خالی ہوتی ہے جسے زیادہ فلوٹنگ پوائنٹ پروسیسرز کو چلانے کے لیے استعمال کیا جا سکتا ہے۔

بیس پر منطقی نوڈس کے ادماج کا نیا فائدہ SRAM حاصل کرنا ہے۔ اگر DRAM اسٹیک میں کوئی سیل خراب ہو جائے، تو اس سیل میں موجود معلومات کو SRAM میں عارضی طور پر محفوظ کیا جا سکتا ہے، اور میموری کنٹرولر ان معلومات کو خراب DRAM سیل سے نہیں بلکہ SRAM سے تلاش کرے گا۔ SRAM کو ایک بیک اپ نوٹ بک کے طور پر سمجھا جا سکتا ہے، جو ایک عارضی نوٹ بک کی طرح ہے جس میں وہ ڈیٹا محفوظ کیا جاتا ہے جو خراب DRAM سیلز میں محفوظ نہیں ہو سکتا۔

منطقی نوڈس کو سبسٹری کے طور پر استعمال کرنے کا مطلب ہے کہ اگر ٹرانزسٹرز چھوٹے ہوں، تو ایسے کئی فنکشنز کے لیے استعمال ہونے والی سلیکون کی جگہ بھی کم ہوگی۔ بچائی گئی جگہ کو مختلف مقاصد کے لیے استعمال کیا جا سکتا ہے، جیسے کہ قابلیتِ مرمت، دستیابی اور دیکھ بھال (RAS) میں اضافہ، ٹیسٹنگ، اور HBM میموری اسٹیک کی صحت/حالت کے بارے میں ٹیلیمیٹری ڈیٹا جمع کرنا۔ چونکہ HBM ٹیلیمیٹری ڈیٹا تربیت میں ناکامی کا دوسرا سب سے بڑا عامل ہے، اس لیے HBM ٹیلیمیٹری ڈیٹا بہت مفید ہوگا۔

اگر ابھی بھی سلیکون کا رقبہ باقی ہے، تو ایک اور بنایا جا سکتا ہے۔ میموری ایکسپینشن کنٹرولر کا استعمال پہلے HBM اسٹیک کے بعد دوسرے HBM اسٹیک کو جوڑنے یا میموری کو بڑھانے کے لیے DRAM چپس داخل کرنے کے لیے کیا جاتا ہے۔

آخر میں، جبکہ منطقی ٹرانزسٹرز دستیاب ہیں، تو بنیادی ٹکڑے پر کچھ کمپیوٹیشنل فنکشنز کیوں نہیں اندراج کیے جاتے؟ اس کا فائدہ یہ ہے کہ میٹرکس کمپریشن یا اینکوڈنگ جیسے کمپیوٹیشنز منطقی چپ پر ہو سکتے ہیں، بغیر بنیادی ٹکڑے سے باہر جائے۔ اس سے تاخیر اور کارکردگی دونوں میں فائدہ ہوتا ہے۔

اگر سب کچھ ٹھیک چلے، تو نیچے دائیں طرف کا ایک بہترین ایکسلریٹر بنایا جا سکتا ہے۔ ایسے بکس ڈرائیونگ کرنا آسان ہے اور تصوراتی طور پر دلچسپ ہے، لیکن اس کا عملی فائدہ اتنा اہم ہے کہ شک کی جا سکتی ہے۔

آخری مرحلہ میں کسٹمائزڈ سبسٹریٹ چپ اور HBM کا استعمال کیا جاتا ہے اور انہیں منطقی چپ کے اوپر ڈھیر لگایا جاتا ہے۔ کمپوٹیشن چپ اور میموری چپ کے درمیان فاصلہ بہت کم ہوتا ہے، اس لیے ڈیٹا بٹس صرف مختصر فاصلے پر ٹرانسمٹ ہوتے ہیں، جس سے توانائی کی کارکردگی بڑھتی ہے اور چپ کے علاقے (صرف چپ کے سامنے کے حصے کے بجائے) میں زیادہ متوازی ڈیٹا پاتھز کا استعمال کرنے کی وجہ سے میموری بینڈ ویتھ بڑھتی ہے۔

یہ سب آسان نہیں ہے، لیکن کمپنی کے لیے ٹیکنالوجی میں بہتری کا راستہ تیار کرنا انتہائی ضروری ہے۔ اس سے ظاہر ہوتا ہے کہ وہ مستقبل میں بہتر مصنوعات لانے کے لیے مطمئن ہیں، جو کمپنی کے لیے اچھی بات ہے۔ اس بات کہ بازار کیا اس مصنوعہ کے لیے تیار ہے، الگ بات ہے۔

8 اگست، 2026 کو ہاٹ چپس کانفرنس میں ایس کے سیلیس کے امریکہ کے پیکیج انجینئرنگ کے وائس پریزیڈنٹ جی سک لی نے کہا کہ ایس کے سیلیس کا خیال ہے کہ مکسڈ بانڈنگ ٹیکنالوجی HBM4E کی ضروریات پوری نہیں کر سکتی، جس سے صنعت کی سب سے زیادہ توقع کی جانے والی میموری پیکیجنگ منتقلی HBM5 تک کم از کم تاخیر ہو جائے گی۔

جیسا کہ وہ نے بیان کیا، مسئلہ HBM کیوب کی کل موٹائی کو 775 مائیکرو میٹر تک محدود کرنا ہے — جو 300 ملی میٹر منطقی ویفر کی معیاری موٹائی ہے — اس لیے ہر اضافی DRAM لیئر کے لیے مزید پتلا چپ اور تنگ فاصلہ درکار ہوگا۔ موجودہ طور پر صارفین کی تصدیق کے لیے جاری 16 لیئر ہائی ڈینسٹی HBM4 (ایک کیوب کی صلاحیت 48GB، جبکہ 12 لیئر ہائی ڈینسٹی HBM4 پہلے سے تھوڑا ہے) اس کے مرکزی چپ کی موٹائی کم کرکے تقریباً 50 مائیکرو میٹر کردی گئی ہے اور چپوں کے درمیان فاصلہ آدھا کردیا گیا ہے۔ لی نے اپنے تقریر میں اس بات کا بھی تفصیل سے ذکر کیا کہ انہوں نے مئی میں جاری کرنے کے تین ماہ بعد iHBM کولنگ آرکٹیکچر متعارف کرایا ہے۔ لی نے واضح کیا کہ اس آرکٹیکچر میں ایک پابندی ہے کہ گرمی نکالنے والا ماڈول کسی بھی اس طرح کے HBM پروڈکٹ پر لاگو نہیں کیا جاسکتا جو پہلے سے ڈیزائن میں شامل ہو۔

جیڈ EC HBM4 معیار نے HBM3E سے استعمال ہونے والی 720 مائیکرومیٹر کی پیکیج کی موٹائی کی حد کو بڑھا کر 775 مائیکرومیٹر کر دیا ہے، جس سے مکسڈ بانڈنگ ٹیکنالوجی کے استعمال کے باعث پیدا ہونے والے دباؤ میں کمی آئی ہے۔ لی نے کہا کہ جب GPU پیکیج پر کول پلیٹ لگائی جاتی ہے، تو لاجک چپ اور میموری اسٹیک لیئرز دونوں کو تھوڑا سا گرا دیا جاتا ہے تاکہ خالص سلیکون نمایاں ہو جائے۔ چونکہ لاجک وافر کی موٹائی 775 مائیکرومیٹر ہے، اگر میموری چپس کی بلندی مزید بڑھ جائے تو وہ پاس کے پروسیسر سے زیادہ بلند ہو جائیں گے۔ "یہ وہ حد ہے جس تک ہم اب تک بڑھ سکتے ہیں، کیونکہ لاجک وافر کی موٹائی بھی 775 مائیکرومیٹر ہے۔" لی نے کہا۔

پتلا چپ کا مطلب ہے کہ اسٹیکڈ لیئرز میں آکسائیڈ لیئرز کا تناسب زیادہ ہے، جبکہ آکسائیڈ لیئرز کی تھرمل کنڈکٹیوٹی سلیکون کے مقابلے میں بہت کم ہے۔ علاوہ ازیں، پن کی سپیڈ 1 Gbps سے بڑھ کر HBM4 پر 8 Gbps ہو گئی ہے، جس سے ایک جیسے رقبے میں زیادہ طاقت کی ضرورت ہوتی ہے۔ ایس کے سی ہائیرس کے اپنے ڈیٹا کے مطابق، دکھائے گئے HBM کے مختلف ورژنز میں تھرمل لوڈ اوسطاً 2.2 گنا زیادہ ہے، اور اسٹیکڈ لیئرز کی تعداد ہر دو نسلوں میں دگنا ہو جاتی ہے۔

اس کمپنی کی بڑے پیمانے پر واپسی فارم ڈال فل (MR-MUF) پروسیس، جس میں تمام چپس کو اٹھانے اور رکھنے کے ذریعے ڈھیر لگایا جاتا ہے اور انہیں ایک ہی ریفلو میں جوڑا جاتا ہے، نے منافع کو قربان کر دیا ہے: لی کے مطابق، فل کا گیپ نصف تک کم ہو گیا ہے اور 50 مائیکرومیٹر سے کم چپس کے ڈھیلے ہونے کو کنٹرول کیا گیا ہے، جو 16-Hi کا اہم ترین تیاری کا چیلنج ہے۔

گزشتہ مئی میں، سامسنگ نے HBM4 کی پیداوار کے لیے مکسچر بانڈنگ ٹیکنالوجی کو اپنانے کا علیحدہ عہد کیا، جبکہ ایس کے سیلریس نے ایڈوانسڈ MR-MUF ٹیکنالوجی کے لیے کاپر-کاپر بانڈنگ ٹیکنالوجی کو متبادل کے طور پر اپنا لیا۔ اس کے بعد، JED EC موٹائی کی پابندیاں دور کر دی گئیں، جس سے مکسڈ بانڈنگ ٹیکنالوجی فوری ضرورت نہیں رہ گئی۔ اب صنعت 20 لیئرز کے اسٹیک کی موٹائی کو 825 سے 900 مائیکرومیٹر تک بڑھانے پر بات کر رہی ہے، جس سے کاپر بانڈنگ ٹیکنالوجی کی عامیانہ استعمال کی تاریخ دوبارہ ملتوی ہو جائے گی۔

مارچ میں ہی صنعت کے ماہرین نے دعویٰ کیا کہ ایس کے سی ہلیس نے پہلا بڑے پیمانے پر پیداواری مکسچر بانڈنگ آرڈر دیا، جو ایپلیکیشن میٹریلز اور بیسی کے ٹولز کو جوڑنے والی تقریباً 20 ارب کورین وون (15 ملین امریکی ڈالر) کی ایک لائن سسٹم ہے۔ کاؤنٹرپوائنٹ ریسرچ کا تخمنا ہے کہ یہ ٹیکنالوجی HBM5 کے شروع ہونے کے ساتھ 2029 سے 2030 تک مکمل HBM پیداوار میں داخل ہو جائے گی۔

ایس کے سی ہلیس کے راستے کے مطابق، مکسڈ بانڈنگ ٹیکنالوجی ابھی تک ریسرچ اور ڈویلپمنٹ کے مراحل میں ہے اور 20 یا اس سے زیادہ لیئرز کے اسٹیکنگ کے لیے مناسب ہے، اور ایس کے سی ہلیس ابھی تک فیصلہ نہیں کیا گیا کہ کون سا پروڈکٹ اس ٹیکنالوجی کو پہلے استعمال کرے گا۔ شری لی نے کوئی خاص جینریشن کا نام نہیں بتایا، لیکن HBM4E کو مستثنیٰ کرتے ہوئے، HBM5 اس ٹیکنالوجی کو استعمال کرنے والا پہلا ماڈل ہو سکتا ہے۔ یہ ٹیکنالوجی کمرے کے درجہ حرارت پر فلیٹ کاپر پیڈز اور آکسائیڈ سطح کو جوڑتی ہے، اور پھر کاپر کے سخت ہونے کے دوران تھرمل ایکسپنشن کا استعمال کرتے ہوئے بانڈنگ تشکیل دی جاتی ہے۔

"یہ ایک ایسا عمل ہے جو سادہ لگتا ہے، لیکن واقعی بہت چیلنجنگ ہے،" لی نے کہا۔ "ہمیں مکسڈ بانڈنگ کے لیے 16 یا 20 لیئرز کی ضرورت ہوتی ہے، جو ایکلے لیئر سٹیکنگ سے بالکل مختلف ہے۔" مائکرو بَلْبز کو مکمل طور پر ختم کرنا مرکزی چپ کو 20 لیئرز کی اونچائی پر 24 فیصد موٹا کرنے دیتا ہے، جس سے MR-MUF کے مقابلے میں تھرمل ریزسٹنس تقریباً 35 فیصد کم ہوتا ہے، اور بَلْبز کا انٹر ویل (چپ لیئرز کے مطابق) 18 مائکرومیٹر سے کم ہو سکتا ہے، جبکہ MR-MUF کا موجودہ انٹر ویل 30 مائکرومیٹر ہے۔ HBM4 کے بَلْبز انٹر ویل پر، روایتی مائکرو بَلْبز اب بھی مناسب ہیں، اور ہر JED EC جب موٹائی کی حد بڑھائی جاتی ہے، تو MR-MUF اپنی عملی صلاحیت برقرار رکھتی ہے اور اگلی نسل کے مصنوعات تک جاری رہتی ہے۔

iHBM اصول کے تحت، گرمی کو ہدایت کرنے اور عازل کرنے والے بلاکس کو بنیادی چپ کے درمیانی PHY علاقے (جہاں طاقت کی گنجائش کا اعلیٰ نقطہ ہوتا ہے) میں ڈالے جاتے ہیں، جس سے 30 فیصد سے زیادہ تھرمل ریزسٹنس کم ہوتا ہے۔

لی نے اپنی پریزنٹیشن میں iHBM کو سامسنگ کے ہیٹ پاتھ بلاک (Heat Path Block) سسٹم کے ساتھ براہ راست موازنہ کیا۔ سامسنگ کا ہیٹ پاتھ بلاک چپ اسٹیک سے حرارت کو خاص طور پر ڈیزائن کردہ ہیٹ سینک کے ذریعے نکالتا ہے، جبکہ میموری کی چپ بیس پر سرکٹ کی دوبارہ ڈیزائن کرنے کا دعویٰ کیا جاتا ہے کہ اس سے 20 فیصد زیادہ توانائی کی کارکردگی حاصل ہوتی ہے۔ یہ تینوں دعوے صرف فروخت کرنے والے فرموں کے ہیں اور ان کے پیمانے بھی مختلف ہیں۔ ایس کے ہائیرلیس اور سامسنگ دونوں کے ڈیزائن HBM5 کے لیے منصوبہ بند ہیں، لیکن ان کا تجارتی پیداوار 2028 تک نہیں ہونے کا تخمنا ہے۔ لی نے کہا کہ چونکہ یہ ماڈول D2D PHY چپ کے ساتھ پیکج کے اندر واقع ہوتے ہیں، اس لیے انہیں صارفین کے ڈیزائن کے مطابق آپٹمائز کرنا پڑتا ہے، اور انہیں پہلے سے ڈیزائن کردہ چپ جینریشن پر لاگو نہیں کیا جا سکتا، جس سے iHBM ایک ساتھ مل کر ڈیزائن کرنے والا عمل بن جاتا ہے۔ "یہ ایک اچھا اختیار ہے جس پر ہم کام کر سکتے ہیں، لیکن ہم اسے اپنی پہلے سے ڈیزائن کردہ چپ جینریشن پر لاگو نہیں کر سکتے۔"

سوال وجواب کے دوران، سیمی اینالیسس کے تنج بینیٹ نے اشارہ کیا کہ زیادہ بلند یادداشت کا اسٹیک کرنا سلیکون چپ کی اپنی ٹروپٹ گزشتہ کو کم کرتا ہے۔ ڈی آر ایم جب سیل لیول پر چلتا ہے تو فی مربع سینٹی میٹر تقریباً 20 ٹی بی/سیکنڈ کی ٹروپٹ گزشتہ رکھتا ہے؛ جبکہ 20 لیئرز کے اسٹیک کی زیادہ سے زیادہ ٹروپٹ گزشتہ تقریباً 4 ٹی بی/سیکنڈ ہوتی ہے، اور HBM کے لیے درکار تیاری کی صلاحیت مساوی DDR5 یا LPDDR سے کہیں زیادہ ہوتی ہے۔ "جب اسٹیک کی بلندی 20 لیئرز تک پہنچ جاتی ہے تو، اس یادداشت کی اوسط رفتار DDR5 سے سست ہو جاتی ہے،" بینیٹ نے کہا، "کیوں HBM اسٹیک کی بلندی کا استعمال نہیں کرتے، جبکہ اس کے اردگرد زیادہ سستی یادداشت کو ذکاوت سے رکھا جا سکتا ہے؟"

لی نے جواب دیا کہ تربیت کے ورک لوڈ کو بیٹھوا اور صلاحیت دونوں کی ضرورت ہوتی ہے، اور اس نے مزید کہا کہ استنباط کے عمل میں دونوں کا خیال رکھا جا سکتا ہے، جہاں کلید-قدرتی کیش کو اعلیٰ بیٹھوا والے میموری میں محفوظ رکھا جاتا ہے اور کچھ کام LPDDR میموری پر ڈال دیا جاتا ہے۔ یہ الگ تھلگ تکنیک پہلے ہی نوڈیا کے ویرا روبن پلیٹ فارم جیسے پروڈکٹس میں استعمال ہو رہی ہے، جو اس مقصد کے لیے LPDDR5X اور HBM4 کو NVLink-C2C پروٹوکول کے ذریعے پول کرتا ہے۔ علاوہ ازیں، ایس کے سیلیس اور سینڈسک کے مل کر تیار کردہ اعلیٰ بیٹھوا والی فلش مینارم نامی معیار نے اس تہہ بندی کے خیال کو NAND فلش تک وسعت دے دی ہے۔

لی نے لیوریجڈ سکیم کے بارے میں کہا: "یہ بھی مستقبل میں ہمیں غور کرنے کی ضرورت ہے۔" جنوری کی رپورٹ کے مطابق، ایس کے سیلریس نے نیوڈیا ویرا روبن نسل کے HBM چپس کے تقریباً 70 فیصد آرڈر حاصل کیے ہیں، جن میں سب MR-MUF ٹیکنالوجی استعمال ہوگی۔ لی نے کہا کہ کون سا پروڈکٹ پہلے MR-MUF ٹیکنالوجی استعمال کرے گا، اس بارے میں کمپنی نے ابھی فیصلہ نہیں کیا ہے۔

اس تقریر میں، مائکرون ٹیکنالوجیز صنعت میں ترقی پذیر میموری آرکیٹیکچر کے بارے میں بات کرے گی۔ معلوم ہوا ہے کہ مائکرون ٹیکنالوجیز ہائی بینڈ ویتھ میموری اور ایڈوانسڈ پیکیجنگ ٹیکنالوجیز کو کیسے اے آئی سسٹم ڈیزائن کا مرکز بنایا جا رہا ہے، اس کی تفصیل فراہم کرے گی۔

مائیکرون کے اسپیچ نے اوپن اے آئی کے کمپیوٹیشنل ایفیشینسی کے سرحدی نظریے کے ساتھ شروع کیا، جس میں یہ واضح کیا گیا کہ زبانی ماڈلز کے اسکیل اپ کے لیے میموری کیوں اہم ہے۔ مائیکرون نے بتایا کہ ماڈل کے سائز، ڈیٹا سیٹ کے سائز اور تربیتی کمپوٹیشن کے درمیان طاقت کا قانون ہے، اور یہ تینوں چیزیں زبانی ماڈلز کی کارکردگی میں اضافہ کرنے کے لیے ایک ساتھ اسکیل ہونی چاہئیں۔ میموری یہ تینوں عوامل کو جوڑنے والی اہم وسائل ہے۔

ابھی ہم میموری بانٹھ کے بارے میں بات کرتے ہیں۔ میکرون کے مطابق، AI ایکسلریٹرز کا TFLOPS (فلاٹنگ پوائنٹ پرفارمنس) تقریباً دو سال میں تین گنا ہوتا ہے، جبکہ 2.5D ایڈیشنل میموری (جیسے HBM) کی بینڈ ویتھ دو سال میں دو گنا سے کم بڑھ رہی ہے۔ یہ لگاتار بڑھتی ہوئی خلا، میموری ٹیکنالوجی کو AI سسٹم کی پرفارمنس کا اہم پابند بن رہا ہے۔

میکرون نے HBM کو کمپیوٹنگ اور میموری کے درمیان پل کے طور پر متعارف کرایا ہے اور HBM2e سے لے کر HBM5 تک کی نسلوں میں روزافزودہ صلاحیت، بینڈ ویتھ اور توانائی کی کارکردگی کا جائزہ لیا ہے۔ آپ کو Y-محور کے بغیر اس ٹیکنالوجی کے اجلاس کو ضرور دیکھنا چاہئیے۔

یہاں، میموری نے ایک مثالی GPU دکھایا ہے جس کا پیکیج رقبہ 12,000 مربع ملی میٹر سے زائد ہے، جس میں بنیادی چپ اور آٹھ HBM4 میموری ڈائی شامل ہیں۔ اس کا مطلب ہے کہ جب 12 لیyers HBM4 میموری استعمال کی جائے، تو میموری سلیکون کا رقبہ GPU چپ کے رقبہ سے 8 گنا زائد ہو سکتا ہے۔ یہ حقیقت میں بہت واضح ترین نمائش ہے۔

HBM نے میموری بینڈ ویتھ کی حد کو بڑھا دیا، میموری کی پابندیوں کے حدود کو تبدیل کر دیا، اور میموری کے زیادہ استعمال والے AI ورک لود کو میموری کی حد تک پہنچنے سے پہلے تیزی سے چلنے کی اجازت دی۔

میکرون کی تقریر اب HBM کیا ہے اور ہر نسل HBM کی ترقی کے سلسلے کی تفصیل پیش کر رہی ہے۔ پروڈکٹ ٹیبل HBM1 سے لے کر HBM4 تک کی ترقی کو ظاہر کرتا ہے۔ ہر نسل HBM نے ڈیٹا ریٹ، پسیو چینلز کی تعداد اور اسٹیکنگ بلندی میں اضافہ کیا ہے، جس سے زیادہ بینڈ ویتھ اور بڑی صلاحیت فراہم ہوتی ہے۔

HBM کی تنصیب معیاری کے ساتھ EC C RDIMM مختلف ہے۔ نیچے دیا گیا ڈائیگرام HBM اسٹیک کو کیسے GPU یا ایکسلریٹر کے ساتھ ہیٹروجینس انٹیگریشن سسٹم میں ایک سسٹم لیول پیکیج (SiP) کے طور پر ایکٹھا کیا جاتا ہے، اور اسے الگ سلو ماڈول کے طور پر نہیں دکھاتا۔ میں سوچتا ہوں کہ STH کے بہت سارے لوگوں نے پہلے اس ڈیزائن کو دیکھا ہوگا۔

ہر DRAM چپ میں کئی الگ الگ چینلز ہوتے ہیں، جن میں سے ہر چینل میں دو جعلی چینلز ہوتے ہیں، HBM3E ہر چپ پر 128 بینکس کو حامل ہوتا ہے، جبکہ HBM4 اسے بڑھا کر 256 کر دیتا ہے۔ باس چپ میزبان اور DRAM اسٹیک کے درمیان واقع ہوتی ہے، جہاں میزبان کی طرف مائکرو بولب PHY استعمال ہوتا ہے اور اسٹیک کی طرف 3D TSV PHY استعمال ہوتا ہے، جو HBM3E کے 1K IO سے بڑھا کر HBM4 کے 2K IO تک جڑا ہوا ہے۔

میکرون ابھی پرفارمنس اور کیپسیٹی کے درمیان توازن کو دکھا رہا ہے۔ لیکن وہ یہاں PCB کے رقبہ اور طاقت کے درمیان فرق کو حقیقت میں نہیں دکھا رہے۔ شاید یہ بعد کے سلائیڈز میں دکھایا جائے گا؟

میکرون اب اس رفتار کے ساتھ سلیکون کی لاگت کو نوٹ کر رہا ہے۔ ڈیزائن آرکیٹیکچر، ایڈوانسڈ پیکیجنگ اور تیاری کے عمل کی پیچیدگی جیسے مجموعی لاگتوں کا مطلب ہے کہ DDR5 کے برابر HBM3E کی صلاحیت حاصل کرنے کے لیے درکار سلیکون کی مقدار تقریباً DDR5 کی تین گنا ہے۔

میکرون نے بعد میں اپنے تقریر میں ای آئی کے نوآوری کی حمایت کے لیے میموری کے پیرامیٹرز، جیسے پرفارمنس، کیپسیٹی اور طاقت کے استعمال کا خلاصہ پیش کیا۔

زیادہ تیز I/O لینکس اور بڑے انٹرمیڈیٹ لیئرز SiP ٹیکنالوجی کو آگے بڑھا رہے ہیں، جس میں تیز I/O ڈیزائن، میموری کے لیے بہترین SERDES اور چپ کے درمیان PHY، اور انٹرکنیکشن کے لیے کو-پیکیجڈ آپٹیکل ڈیوائسز شامل ہیں۔ CoWoS-L اور CoWoS-R جیسی ٹیکنالوجیز پر مبنی بڑے سائز کے SiP اور گلاس سب اسٹریٹس بھی پیکیجنگ ٹیکنالوجی کے ترقیاتی راستے کا حصہ ہیں۔

اب ہم قابلیت اعتماد، چپ پیکیج انٹرایکشن اور RAS چیلنجز پر بات کرتے ہیں۔ ہیٹرو جینک HBM ڈیوائسز میں، مختلف مواد کے درمیان تھرمل ایکسپنشن کوفیشئنٹ کا میل نہ ہونا تھرمل میکانکل دباؤ پیدا کرتا ہے۔ دراصل، زیادہ وسیع نقطہ نظر سے، یہی Cerebras کے WSE ایمپلیمنٹیشن کے دوران سب سے بڑے چیلنجز میں سے ایک ہے۔ EC C کا دائرہ کار دو سطحوں پر مشتمل ہے: پہلا HBM3 ہے، جس میں سسٹم کی سطح پر ہر 256 بٹ کے ایکسیس کے لیے 16 میٹا بٹ استعمال ہوتے ہیں؛ دوسرا، سیل پر مبنی علامتی ریڈ-سولومن ہے۔ EC C.

گرمی کے کنٹرول کے لیے، ڈیرام چپ کی سرگرمی میں اضافہ، ڈھیر کی بلندی میں اضافہ اور زیادہ جدید چپ بنیادی فنکشنز گرمی کے اخراج میں اضافہ کرتے ہیں۔ مائکرون نے بتایا کہ بریک وِدز اور کیپسٹی کے توسیع کے لیے ضروری گرمی کے اخراج کے نوٹس تکنیکوں میں ترل کولنگ، مکسڈ بانڈنگ، اور سولڈر اور سائیڈ مولڈ میں بہتری شامل ہیں۔

پیکیج ٹرینڈ کا خاتمہ قریب ہے۔

مجموعی طور پر، یہ ڈیٹا ظاہر کرتا ہے کہ مائکرون ٹیکنالوجیز کیسے مصنوعی ذہانت کے شعبے میں میموری آرکیٹیکچر کی ترقی کا جواب دے رہی ہے۔ مائکرون ٹیکنالوجیز HBM کی بینڈ ویتھ اور صلاحیت بڑھانے اور اتنی بڑی مقدار میں میموری کو کمپوٹنگ یونٹ کے پاس رکھنے سے ہونے والے پیکیجنگ، ہیٹ ڈسپرسن اور قابلیت کے اخراجات کے درمیان توازن قائم کر رہی ہے۔

لوگوں کا خیال ہے کہ HBM کا رجحان کیا ہوگا؟

یہ مضمون ویچن گروپ "سیمی کنڈکٹر صنعت کی نگاہ" (ID: icbank) سے ہے، مصنف: ایڈیٹوریل ٹیم