رسالة AIMPACT، 21 مايو (UTC+8)، وفقًا لمراقبة Beating، نظرًا لصعوبة الازدحام الشبكي الهيكلي المتزايدة في نشر PD (Prefill-Decode) المنفصل للموديلات الكبيرة، أجرت Zhipu و Yuxun Network وجامعة تسينغهوا بحثًا مشتركًا، واقترحت وطبقت بنية شبكة ZCube في بيئة إنتاج مباشرة على ألف وحدة معالجة رسومية GLM-5.1 coding. مع انتشار السياقات الطويلة والاستدلال المنفصل PD، تجعل نقل KV Cache عبر العقد تدفق الاستدلال يظهر خصائص عدم التوازن الشديد، مما يؤدي بسهولة إلى نقاط ساخنة محلية وصراعات في الروابط في البنية التقليدية ROFT (Rail-Optimized Fat-Tree). تحقق ZCube توازن الحمل على مستوى البنية بين جميع المفاتيح الشبكية عبر العقد من خلال إلغاء طبقة Spine، واستخدام توبولوجيا مسطحة بالكامل (قطر شبكة مكون من قفزة واحدة)، بالإضافة إلى آلية وصول مختلطة أحادية/متعددة المسارات. في اختبارات الأداء على عقد إنتاج فعلية، مع الحفاظ على وحدات المعالجة الرسومية وطابق البرمجيات والتطبيقات دون تغيير، قللت بنية ZCube من نفقات الأجهزة الخاصة بالمفاتيح الشبكية ووحدات الألياف الضوئية بنسبة 33% مقارنة بالبنية التقليدية، وفي الوقت نفسه زادت معدلات الإنتاجية المتوسطة لوحدات المعالجة الرسومية بنسبة 15%، وانخفضت نسبة P99 لتأخير أول رمز (TTFT) بنسبة 40.6%. (المصدر: BlockBeats)
هندسة شبكة ZCube تقلل التكاليف وتحسن الأداء في استنتاج النماذج الكبيرة
KuCoinFlashمشاركة
ملخص
ترقيات شبكة ZCube تعالج قضايا فصل PD في استنتاج النماذج الكبيرة، كما أُبلغ في الأخبار على السلسلة. تم تطوير البنية من قبل ZhiPu وYuXun Network وجامعة تشينغهوا، وهي متاحة الآن في GLM-5.1. وتقلل من تكاليف المفاتيح ووحدات الألياف البصرية بنسبة 33%، وتعزز إنتاجية GPU بنسبة 15%، وتقلل من تأخير النقطة P99 للرمز الأول بنسبة 40.6%.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.