Marvell ra mắt các giải pháp bộ nhớ cho hạ tầng AI nhằm giải quyết các điểm nghẽn trong suy luận AI mang tính tác nhân

Công ty bán dẫn hàng đầu về hạ tầng dữ liệu, Marvell Technology, đã công bố giới thiệu bộ giải pháp bộ nhớ thế hệ mới dành cho hạ tầng AI, bao gồm bộ nhớ AI cấp máy chủ, mở rộng và gộp bộ nhớ CXL cấp kệ, cũng như bộ nhớ chia sẻ qua kết nối quang giữa nhiều tủ, nhằm giải quyết các điểm nghẽn về dung lượng và băng thông bộ nhớ ngày càng gia tăng trong quá trình suy luận Agentic AI. Marvell cho biết, khi quy mô mô hình AI tăng lên, cửa sổ ngữ cảnh kéo dài và nhu cầu KV Cache gia tăng, kiến trúc truyền thống kết hợp chặt chẽ giữa tính toán và bộ nhớ đang hạn chế hiệu suất suy luận AI. Thông qua việc tách rời bộ nhớ (memory disaggregation), tài nguyên bộ nhớ có thể được mở rộng độc lập với tài nguyên tính toán, từ đó nâng cao hiệu suất sử dụng GPU và giảm độ trễ khi di chuyển dữ liệu.