Крупнейший производитель полупроводников для инфраструктуры данных Marvell Technology объявила о запуске нового поколения решений для памяти, ориентированных на инфраструктуру ИИ, включающих серверные решения для хранения ИИ, расширение и пулинг памяти CXL на уровне стойки, а также оптическую взаимосвязь памяти между несколькими стойками. Это решение направлено на устранение растущих узких мест в емкости и пропускной способности памяти, возникающих в процессе инференса агентного ИИ. Marvell отмечает, что с ростом размеров моделей ИИ, расширением окон контекста и увеличением потребности в KV Cache традиционная архитектура, в которой вычисления и память тесно связаны, ограничивает эффективность инференса ИИ. Благодаря дисагрегации памяти ресурсы памяти могут масштабироваться независимо от вычислительных ресурсов, повышая использование GPU и снижая задержки при перемещении данных.
Marvell представляет решения для памяти инфраструктуры ИИ для преодоления узких мест инференса агентного ИИ
TechFlowПоделиться
Сводка
Marvell представляет решения для памяти AI-инфраструктуры для устранения узких мест в инференсе агентного ИИ. Новые продукты включают серверный AI-хранилище, расширение памяти CXL на уровне стойки и общую память с оптическими межкабинетными соединениями. По мере роста моделей ИИ разделение памяти и вычислений становится критически важным. Дисагрегация памяти повышает эффективность GPU и снижает задержки. Новости об ИИ и криптовалюте продолжают подчеркивать инновации в инфраструктуре. Новые листинги токенов часто следуют за крупными технологическими достижениями в этой области.
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.