مارول نے ایجنٹک AI انفرنس بٹل نیکس کو حل کرنے کے لیے AI انفراسٹرکچر میموری حلز متعارف کرائے ہیں

ڈیٹا انفراسٹرکچر سیمی کنڈکٹر کے بڑے ہیڈ جیسے مارول ٹیکنالوجی نے AI انفراسٹرکچر کے لیے نئی نسل کی میموری حل کا مجموعہ متعارف کرایا ہے، جس میں سرور لیول AI اسٹوریج، ریک لیول CXL میموری ایکسٹینشن اور پولنگ، اور متعدد کابینوں کے درمیان آپٹیکل انٹرکنیکشن کے ذریعے شیئرڈ میموری شامل ہے، جو ایجنٹک AI انفرنس کے دوران میموری کی بڑھتی ہوئی صلاحیت اور بینڈ وڈتھ کے بند راستوں کو حل کرنے کا مقصد رکھتا ہے۔ مارول کا کہنا ہے کہ جب AI ماڈلز کا سائز بڑھتا ہے، کنٹیکس ونڈو لمبا ہوتا ہے، اور KV کیش کی ضرورت بڑھتی ہے، تو روایتی کمپوٹنگ اور میموری کا تنگ طور پر جڑا ہوا آرکٹیکچر AI انفرنس کی کارکردگی کو روک رہا ہے۔ میموری کو الگ کرنے (میموری ڈس اگریگیشن) کے ذریعے، میموری وسائل کو کمپوٹنگ وسائل سے آزادانہ طور پر اسکیل کیا جا سکتا ہے، جس سے GPU استعمال بڑھتا ہے اور ڈیٹا منتقل کرنے کی تاخیر کم ہوتی ہے۔