Marvell запускає рішення для пам’яті інфраструктури ШІ для подолання обмежень інференсу агентного ШІ

iconTechFlow
Поділитися
AI summary iconКороткий зміст
Marvell представляє рішення для пам’яті інфраструктури ШІ, щоб вирішити обмеження висновування агентного ШІ. Нові рішення включають серверний зберігаючий ШІ, розширення пам’яті CXL на рівні стелажу та спільну пам’ять з оптичними інтерконектами між кабінетами. Зі зростанням моделей ШІ розділення пам’яті та обчислень стає критичним. Дезагрегація пам’яті підвищує ефективність GPU та зменшує затримки. Новини про ШІ та криптовалюту продовжують підкреслювати інновації в інфраструктурі. Нові лістинги токенів часто відбуваються після значних технологічних досягнень у цій галузі.

Крупний виробник напівпровідникових рішень для інфраструктури даних Marvell Technology оголосив про запуск нового покоління рішень для пам’яті, призначених для інфраструктури ШІ, які охоплюють серверну пам’ять для ШІ, розширення та пулинг пам’яті CXL на рівні стелажу та оптичну взаємодію між кабінетами для спільного використання пам’яті, щоб вирішити зростаючі обмеження щодо об’єму та пропускної здатності пам’яті під час інференсу Agentic AI. Marvell зазначила, що зі збільшенням розміру моделей ШІ, розширенням вікон контексту та зростанням потреб у KV Cache традиційна архітектура, де обчислення та пам’ять щільно пов’язані, обмежує ефективність інференсу ШІ. За допомогою роз’єднання пам’яті (memory disaggregation) ресурси пам’яті можуть масштабуватися незалежно від обчислювальних ресурсів, що підвищує використання GPU та зменшує затримки при переміщенні даних.

Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.