AIMPACT mesajı, 21 Mayıs (UTC+8), Beating izleme sistemine göre, büyük modeller için PD (Prefill-Decode) ayrıştırılmış dağıtımında artan yapısal ağ tıkanıklığı sorunu üzerine ZhiPu, YuXun Network ve Tsinghua Üniversitesi ortaklaşa bir çözüm geliştirdi ve GLM-5.1 kodlama binlerce GPU’lu üretim ortamında ZCube ağ mimarisini hayata geçirdi. Uzun bağlam ve PD ayrıştırılmış çıkarımın yaygınlaşmasıyla KV Cache’in düğüm arası aktarımı, çıkarım trafiğinde ciddi bir dengesizliğe neden oluyor; geleneksel ROFT (Rail-Optimized Fat-Tree) mimarisi, yerel sıcak noktalar ve bağlantı çatışmalarına kolayca yol açıyor. ZCube, Spine katmanı anahtarlarını kaldırarak tamamen düzleştirilmiş topoloji (2 atlama ağ çapı) ve tek/çok yollu karışık bağlantı mekanizmasını birleştirerek, mimari düzeyde düğüm arası tüm anahtarlar arasında trafik yükünü dengeliyor. Gerçek üretim kümelerinde yapılan temel testlerde, GPU, yazılım yığını ve uygulamalar aynı tutulurken, ZCube mimarisi geleneksel mimariye kıyasla anahtar ve optik modül donanım maliyetlerini %33 azaltırken, GPU’nun ortalama çıkarım verimliliğini %15 artırıyor ve ilk Token gecikmesi (TTFT) P99 yüzdelik diliminde %40,6 azalıyor. (Kaynak: BlockBeats)
ZCube Ağ Mimarisi, Büyük Model Tahminlerinde Maliyetleri Azaltır ve Performansı İyileştirir
KuCoinFlashPaylaş
Özet
ZCube ağı yükseltmesi, zincir içi haberlere göre büyük model çıkarımında PD ayrışma sorunlarını çözmektedir. ZhiPu, YuXun Ağı ve Tsinghua Üniversitesi tarafından geliştirilen bu mimari, şimdi GLM-5.1'de hayata geçirilmiştir. Anahtar ve optik modül maliyetlerini %33 azaltırken, GPU verimliliğini %15 artırır ve P99 ilk token gecikmesini %40,6 oranında düşürür.
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.