اوڈیلی پلانٹ روزانہ کی رپورٹ کے مطابق، مارول ٹیکنالوجی نے AI انفراسٹرکچر کے لیے نئی جینریشن کی میموری سولوشنز کی ایک سیریز متعارف کرائی ہے، جس میں سرور لیول AI اسٹوریج، ریک لیول CXL میموری ایکسٹینشن اور پولنگ، اور متعدد کابینوں کے درمیان آپٹیکل انٹرکنکشن کے ذریعے شیئرڈ میموری شامل ہے، جو ایجنٹک AI انفرنس کے دوران میموری کے حجم اور بینڈ وڈتھ کے بڑھتے ہوئے بٹل نیکس کو حل کرنے کا مقصد رکھتی ہے۔
مارول نے کہا کہ جب AI ماڈلز کا سائز بڑھتا ہے، کنٹیکس ونڈو لمبی ہوتی ہے اور KV کیش کی ضرورت بڑھتی ہے، تو روایتی کمپوٹنگ اور میموری کا سختی سے جڑا ہوا ڈیزائن AI انفرنس کی کارکردگی کو روک رہا ہے۔ میموری کو الگ کرنے (میموری ڈس ایگریگیشن) کے ذریعے، میموری وسائل کو کمپوٹنگ وسائل سے آزادانہ طور پر بڑھایا جا سکتا ہے، جس سے GPU کی استعمال کی شرح بڑھتی ہے اور ڈیٹا منتقل کرنے کی تاخیر کم ہوتی ہے۔ اس جاری کردہ پروڈکٹ میں شامل ہیں:
بریویرا SC6 PCIe 6.0 SSD کنٹرولر: AI انفرنس اسٹوریج کے اسکیناریوز کے لیے، جو کلاؤڈ سروس فراہم کنندگان کو زیادہ KV کیش کو اعلیٰ پرفارمنس SSD پر منتقل کرنے میں مدد کرے گا اور انفراسٹرکچر کی کارکردگی میں اضافہ کرے گا۔ یہ مصنوعہ متعدد سپلائر NAND کے ساتھ مطابقت رکھنے والی ساخت استعمال کرتا ہے، جس کی توقع ہے کہ 2026 کے چوتھے تिमہ میں نمونے جاری کیے جائیں گے۔
مارول سٹرکٹرا ایکس میموری ایکسپینشن سولوشن: CXL ٹیکنالوجی پر مبنی، ریک لیول میموری ایکسپینشن اور ریسورس پولنگ کی سہولت فراہم کرتا ہے، جس سے ڈیٹا سنٹر میموری ریسورسز کو زیادہ لچکدار طریقے سے شیئر اور الائوب کر سکتے ہیں اور AI انفراسٹرکچر کے اخراجات کم ہوتے ہیں۔
مارول فوٹونک فیبرک آپٹیکل انٹرکنیکٹ میموری سولوشن: آپٹیکل انٹرکنیکٹ ٹیکنالوجی کے ذریعے متعدد کابینوں پر مشترکہ میموری آرکیٹیکچر بنانے کے لیے، جو 32TB تک گرم KV کیش کو ڈسچارج کرنے کی اجازت دیتا ہے اور AI انفرنس کلسٹرز کی ٹھراؤٹ کو بڑھانے میں مدد کرتا ہے۔
مارول نے کہا کہ فوٹونک فیبرک حل موجودہ ڈیٹا سینٹر کی جگہ اور بجلی کی حدود کے اندر ٹوکن کے ذریعہ 2 سے 3 گنا تک اضافہ کر سکتا ہے، جس سے بڑے ماڈلز اور لمبے سیاق و سباق والے AI ایپلیکیشنز کی حمایت ہوتی ہے۔
مارول کے ایگزیکٹو وِل چُو نے کہا کہ AI انفراسٹرکچر اکیلے سرور آرکیٹیکچر سے گزرتا ہوا کمپیوٹنگ، میموری اور کنکشن کو مل کر کام کرنے والے سسٹم کی طرف جا رہا ہے، مستقبل میں میموری کو وسائل کے استعمال اور ٹوکن کی کارکردگی بڑھانے کے لیے الگ سے اسکیل ہونا ہوگا۔
جیسے جیسے AI ایجنٹ اور بڑے ماڈل کی استدلال کی ضروریات مسلسل بڑھ رہی ہیں، میموری کی صلاحیت، بینڈ ویتھ اور ڈیٹا ٹرانسمیشن کی کارکردگی AI انفراسٹرکچر کے مقابلے کا نیا مرکز بن رہی ہیں، جو کمپوٹیشنل پاور کے بعد آتی ہیں۔