NVIDIA запускает технологию памяти NVHBM с на 30% большей пропускной способностью и на 15%更低ым энергопотреблением

Согласно новости ME, 27 августа (UTC+8) NVIDIA представила технологию NVHBM для следующего поколения инфраструктуры ИИ. NVHBM — это пользовательский HBM-чип, разработанный и протестированный совместно с ведущими поставщиками чипов памяти, который будет предоставляться крупным облачным провайдерам и ИИ-ориентированным компаниям для создания пользовательских ускорителей ИИ (XPU) через NVLink Fusion. По сравнению со стандартным HBM4e, NVHBM обеспечивает до 30% дополнительной пропускной способности памяти на каждый стек, снижает энергопотребление HBM до 15% и освобождает до 25% площади вычислительного чипа для XPU. NVIDIA утверждает, что эти улучшения позволяют пользовательским ускорителям поддерживать более крупные модели ИИ, быстрее читать KV-кэш и повышать эффективность обучения и масштабного вывода. Благодаря переработанному физическому интерфейсу памяти, контроллер памяти перемещен внутрь 3D-стека HBM и интегрирован с пользовательским PHY, что позволяет сократить площадь PHY и сопутствующих областей до 67%, а также упростить трассировку на промежуточном слое. Освободившаяся площадь чипа может быть использована для увеличения матричных движков, кэша, сети и других функций, оптимизированных под конкретные рабочие нагрузки. На уровне стойки чип NVLink Fusion соединяет пользовательские XPU с сетью NVLink и через NVLink-C2C — с CPU. NVIDIA заявляет, что в сочетании с NVLink Fusion NVHBM повышает конечную производительность каждого XPU примерно на 30% и позволяет создавать гетерогенные вычислительные системы из пользовательских XPU и GPU NVIDIA. Конкретные сроки коммерческого внедрения официально не раскрыты. (Источник: BlockBeats)