Kiến trúc ZCube Network giúp giảm chi phí và cải thiện hiệu suất trong suy luận mô hình lớn

Tin tức từ AIMPACT, ngày 21 tháng 5 (UTC+8), theo giám sát của Beating, nhằm giải quyết vấn đề tắc nghẽn mạng có tính cấu trúc ngày càng nghiêm trọng trong việc triển khai tách rời PD (Prefill-Decode) cho các mô hình lớn, Zhipu, Yuxun Network và Đại học Thanh Hoa đã hợp tác nghiên cứu, đề xuất và triển khai kiến trúc mạng ZCube trong môi trường sản xuất trực tuyến GLM-5.1 với hàng nghìn GPU. Khi推理 dài và tách rời PD trở thành tiêu chuẩn, việc truyền tải KV Cache giữa các nút khiến lưu lượng推理 thể hiện đặc điểm bất đối xứng nghiêm trọng, khiến kiến trúc ROFT (Rail-Optimized Fat-Tree) truyền thống dễ gây ra điểm nóng cục bộ và xung đột đường truyền. ZCube loại bỏ tầng Spine switch, áp dụng kiến trúc mạng phẳng hoàn toàn (đường kính mạng 2 nhảy), kết hợp cơ chế kết nối hỗn hợp đơn轨/đa轨, đạt được cân bằng tải lưu lượng giữa toàn bộ switch trong mạng giữa các nút ở cấp độ kiến trúc. Trong các bài kiểm tra hiệu năng trên cụm sản xuất thực tế, với điều kiện giữ nguyên GPU, stack phần mềm và ứng dụng, kiến trúc ZCube giảm 33% chi phí phần cứng cho switch và module quang so với kiến trúc truyền thống, đồng thời tăng 15% tốc độ xử lý trung bình của GPU và giảm 40,6% độ trễ P99 của Token đầu tiên (TTFT). (Nguồn: BlockBeats)