জিকিউব নেটওয়ার্ক আর্কিটেকচার বড় মডেল ইনফারেন্সে খরচ কমায় এবং পারফরম্যান্স উন্নত করে

AIMPACT সংবাদ, 21 মে (UTC+8), বিটিং মনিটরিংয়ের তথ্য অনুযায়ী, বড় মডেল PD (Prefill-Decode) বিচ্ছিন্ন ডিপ্লয়মেন্টের মধ্যে বাড়তে থাকা স্ট্রাকচারাল নেটওয়ার্ক কংগেশনের চ্যালেঞ্জের সমাধানে, জিজং, ইউ শুন নেটওয়ার্ক এবং তসিংহুয়া বিশ্ববিদ্যালয় একসাথে কাজ করে ZCube নেটওয়ার্ক আর্কিটেকচার প্রস্তাব করেছে এবং GLM-5.1 coding হাজার GPU-এর লাইভ প্রোডাকশন এনভায়রনমেন্টে এটি বাস্তবায়ন করেছে। দীর্ঘ কনটেক্সট এবং PD বিচ্ছিন্ন ইনফারেন্সের জনপ্রিয়তা বৃদ্ধির সাথে, KV Cache-এর মধ্য-নোড ট্রান্সমিশন ইনফারেন্স ট্রাফিককে গুরুতরভাবে অসমভাবে পরিণত করেছে, যা প্রচলিত ROFT (Rail-Optimized Fat-Tree) আর্কিটেকচারকে স্থানীয় হটস্পট এবং লিংক কনফ্লিক্টের শিকার করছে। ZCube Spine-লেয়ার সুইচগুলি বাতিল করে, 2-হপ নেটওয়ার্ক ডায়ামিটারের সম্পূর্ণ-ফ্ল্যাটটপোলজির সাথে, একক/বহু-ট্র্যাক মিক্সড অ্যাকসেস মেকানিজমকে একীভূত করে, আর্কিটেকচার-লেভেলে নোডগুলির মধ্যে সমস্ত সুইচগুলির মধ্যে ট্রাফিক লোড-ব্যালেন্সিংয়ের সম্ভাবনা তৈরি করেছে। বাস্তব প্রোডাকশন ক্লাস্টারের বেঞ্চমার্ক পরীক্ষায়, GPU, সফটওয়্যারস্ট্যাক,এবংঅ্যাপ্লিকেশনগুলিরঅপরিবর্তিতঅবস্থায়, ZCubeআর্কিটেকচারপ্রচলিতআর্কিটেকচারএরতুলনায়33%কমসুইচএবংঅপটিক্যালমডিউলহার্ডওয়্যারখরচকরেছে,একইসময়েGPU-এরগড়ইনফারেন্সথ্রুপুট15%বৃদ্ধিপেয়েছেএবংপ্রথমটোকেনলেটেনসি(TTFT)P99পিরসনটি40.6%হ্রাসপেয়েছে। (উৎস: BlockBeats)