NVIDIA ra mắt công nghệ bộ nhớ NVHBM với băng thông cao hơn 30% và tiêu thụ điện năng thấp hơn 15%

Theo tin tức từ ME News, vào ngày 27 tháng 8 (UTC+8), NVIDIA đã ra mắt công nghệ NVHBM dành cho cơ sở hạ tầng AI thế hệ tiếp theo. NVHBM là một lõi HBM tùy chỉnh được thiết kế và xác minh cùng các nhà cung cấp chip bộ nhớ chính, sẽ được cung cấp cho các nhà cung cấp dịch vụ đám mây quy mô lớn và các doanh nghiệp AI-native nhằm phát triển bộ tăng tốc AI tùy chỉnh (XPU) thông qua NVLink Fusion. So với HBM4e tiêu chuẩn, NVHBM cung cấp thêm tối đa 30% băng thông bộ nhớ mỗi chồng, giảm tối đa 15% công suất tiêu thụ HBM và giải phóng tối đa 25% diện tích lõi tính toán cho XPU. NVIDIA cho biết những cải tiến này giúp bộ tăng tốc tùy chỉnh hỗ trợ các mô hình AI lớn hơn, đọc nhanh hơn bộ đệm KV và nâng cao hiệu suất huấn luyện cũng như suy luận quy mô lớn. NVHBM tái thiết kế giao diện bộ nhớ vật lý bằng cách di chuyển bộ điều khiển bộ nhớ vào chồng HBM 3D và tích hợp PHY tùy chỉnh, giúp giảm tối đa 67% diện tích PHY và khu vực đi kèm, đồng thời đơn giản hóa đường dẫn trên lớp trung gian. Diện tích lõi được giải phóng có thể được sử dụng để tăng cường các bộ nhân ma trận, bộ nhớ đệm, mạng lưới và các tính năng khác được tối ưu hóa cho từng tải công việc cụ thể. Ở cấp độ kệ máy chủ, chiplet NVLink Fusion có thể kết nối XPU tùy chỉnh với mạng NVLink và kết nối CPU thông qua NVLink-C2C. NVIDIA cho biết, khi kết hợp NVHBM với NVLink Fusion, hiệu suất đầu đến cuối của mỗi XPU có thể tăng khoảng 30%, đồng thời cho phép các XPU tùy chỉnh tạo thành hệ thống tính toán hỗn hợp cùng với GPU của NVIDIA. Thời gian thương mại hóa cụ thể chưa được tiết lộ trong bài viết chính thức. (Nguồn: BlockBeats)