Архитектура ZCube снижает затраты и повышает производительность при инференсе больших моделей

Сообщение AIMPACT, 21 мая (UTC+8): Согласно мониторингу Beating, для решения все более острой проблемы структурной сетевой перегрузки при разделенном развертывании больших моделей PD (Prefill-Decode), Zhipu, Yuxun Network и Тсингхуа университет совместно разработали и внедрили архитектуру сети ZCube в онлайн-производственной среде GLM-5.1 с тысячами GPU. По мере того как длинные контексты и разделенные рассуждения PD становятся стандартом, передача KV Cache между узлами приводит к серьезному несимметричному трафику, что вызывает локальные перегрузки и конфликты каналов в традиционной архитектуре ROFT (Rail-Optimized Fat-Tree). ZCube устраняет уровень Spine-коммутаторов, использует полностью плоскую топологию сети (диаметр сети 2 прыжка) и сочетает гибридный механизм подключения по одному или нескольким маршрутам, обеспечивая на уровне архитектуры балансировку нагрузки трафика между всеми коммутаторами узлов. В тестах на реальных производственных кластерах, при неизменных GPU, программном стеке и приложениях, архитектура ZCube сократила затраты на коммутаторы и оптические модули на 33% по сравнению с традиционной архитектурой, повысила среднюю пропускную способность вывода GPU на 15% и снизила P99-перцентиль задержки первого токена (TTFT) на 40,6%. (Источник: BlockBeats)