สถาปัตยกรรม ZCube Network ลดต้นทุนและปรับปรุงประสิทธิภาพในการอนุมานแบบจำลองขนาดใหญ่

ข้อความจาก AIMPACT เมื่อวันที่ 21 พฤษภาคม (UTC+8) ตามการติดตามของ Beating ได้รายงานว่า เพื่อแก้ไขปัญหาการจราจรเครือข่ายเชิงโครงสร้างที่รุนแรงขึ้นเรื่อยๆ ในระบบการปรับใช้แบบแยก PD (Prefill-Decode) สำหรับโมเดลขนาดใหญ่ ซีซูป ยูซุนเน็ตเวิร์ก และมหาวิทยาลัยชิงหัวได้ร่วมมือกันพัฒนาและนำระบบเครือข่าย ZCube ไปใช้งานจริงในสภาพแวดล้อมการผลิตบนกลุ่มเซิร์ฟเวอร์ GLM-5.1 coding จำนวนพันหน่วย GPU เมื่อการประมวลผลแบบยาวและแบบแยก PD กลายเป็นมาตรฐาน การส่งผ่าน KV Cache ระหว่างโหนดทำให้ปริมาณการรับส่งข้อมูลการประมวลผลมีลักษณะไม่สมดุลอย่างรุนแรง โครงสร้าง ROFT (Rail-Optimized Fat-Tree) แบบดั้งเดิมจึงมักก่อให้เกิดจุดร้อนและคอนฟลิกต์บนลิงก์ ซึ่ง ZCube ได้ยกเลิกสวิตช์ระดับ Spine และใช้โครงสร้างเครือข่ายแบบแบนราบเต็มรูปแบบ (เส้นผ่านศูนย์กลางเครือข่าย 2 ขั้นตอน) พร้อมกลไกการเชื่อมต่อแบบผสมระหว่างเส้นทางเดียวและหลายเส้นทาง เพื่อสร้างสมดุลโหลดการรับส่งข้อมูลระหว่างสวิตช์ทั้งหมดในระดับโหนดอย่างสมบูรณ์ ในผลการทดสอบเบนช์มาร์กบนคลัสเตอร์การผลิตจริง โดยคงค่า GPU, สแต็กซอฟต์แวร์ และแอปพลิเคชันไว้เหมือนเดิม ระบบ ZCube ลดค่าใช้จ่ายฮาร์ดแวร์สำหรับสวิตช์และโมดูลแสงลง 33% เมื่อเทียบกับโครงสร้างแบบดั้งเดิม พร้อมเพิ่มอัตราการผ่านการประมวลผลเฉลี่ยของ GPU ขึ้น 15% และลดค่า TTFT (Time To First Token) ที่เปอร์เซ็นไทล์ที่ 99 ลง 40.6% (ที่มา: BlockBeats)