NVIDIA ने AI निष्कर्षण प्री-फिलिंग त्वरण GPU प्रोजेक्ट "Rubin CPX" को पुनः शुरू किया है, जिसका उत्पादन 2027 की पहली तिमाही से शुरू होने की योजना है। यह उत्पाद लंबे संदर्भ प्री-फिलिंग स्थितियों के लिए डिज़ाइन किया गया है, जिसमें 168GB HBM4 मेमोरी शामिल है और इसकी गणना क्षमता मानक Rubin GPU के करीब है, जबकि एकल कार्ड की शक्ति 2300 वाट तक पहुँचती है। उत्पाद एक स्वतंत्र MGX ETL रैक डिज़ाइन का उपयोग करता है, जो 64 से 256 GPU तक के लचीले डिप्लॉयमेंट कॉन्फ़िगरेशन को समर्थन करता है। कनेक्टिविटी आर्किटेक्चर हाइएरार्किकल है, जहाँ एकल ट्रे के भीतर NVLink का उपयोग किया जाता है और ट्रे के बीच Ethernet का उपयोग किया जाता है, जिससे प्रदर्शन और लागत के बीच संतुलन बनाया जाता है। Rubin CPX, मानक Rubin GPU के साथ 1:1 के अनुपात में सहयोग करते हुए प्री-फिलिंग त्वरक के रूप में काम करेगा, जहाँ CPX प्री-फिलिंग और KV Cache उत्पन्न करेगा, जबकि Rubin GPU डिकोडिंग के लिए जिम्मेदार होगा, जो लंबे संदर्भ निष्कर्षण स्थितियों के लिए अनुकूलित है।

लेखक, स्रोत: वॉल स्ट्रीट विजन

NVIDIA ने एक ऐसा चिप प्रोजेक्ट फिर से शुरू किया है, जिसे बाजार ने पहले छोड़ दिया माना था, और इसका लक्ष्य AI निष्कर्षण की उच्च लागत वाले प्रीफिल (Prefill) चरण पर है।

निविडा ने AI निष्कर्षण प्री-फिलिंग त्वरित GPU प्रोजेक्ट "रुबिन CPX" को पुनः शुरू किया है और उत्पाद डिज़ाइन में बड़े पैमाने पर संशोधन किए हैं। वर्तमान योजना के अनुसार, नया Rubin CPX 2027 की पहली तिमाही में उत्पादन शुरू होने का अनुमान है।

इस प्रोजेक्ट के पुनः शुरू होने से एक स्पष्ट संकेत मिलता है: न्वीडिया AI निष्कर्षण चरण के प्रीफिलिंग प्रदर्शन और लागत की सीमाओं को हल करने में अधिक निवेश कर रहा है। जैसे-जैसे बड़े मॉडल की संदर्भ लंबाई बढ़ती जा रही है, प्रीफिलिंग चरण को बहुत सारी इनपुट जानकारी को संभालना और KV कैश बनाना होता है, जिसकी दक्षता AI निष्कर्षण की कुल लागत और लागत-प्रभावी तरीके से डिप्लॉयमेंट पर सीधा प्रभाव डालती है।

गुओ मिंगची के अनुसार, वर्तमान में 50% से अधिक AI निष्कर्षण भार इनपुट संदर्भ प्रसंस्करण और KV कैश निर्माण से आता है।

चिप स्पेसिफिकेशन में बड़ा समायोजन किया गया है, जिससे कैलकुलेशन पावर रुबिन मानक के करीब पहुंच गया है

क्षमता और उपभोग के मामले में, नए संस्करण के CPX का प्रदर्शन मानक Rubin GPU के करीब पहुंच गया है, और एकल कार्ड की अधिकतम शक्ति भी 2300 वाट तक पहुंच गई है। मेमोरी के मामले में, नए संस्करण के CPX में 168GB HBM4 वीडियो मेमोरी का उपयोग किया गया है, जो पिछले समाधान की 128GB GDDR7 की तुलना में स्पष्ट रूप से उन्नत है, लेकिन मानक Rubin GPU की 288GB HBM4 से कम है।

गुओ मिंगज़े के अनुसार, 8-कार्ड CPX कॉम्प्यूटिंग ट्रे की HBM4 क्षमता लगभग 1.34 TB है, जो अधिकांश लंबे संदर्भ प्रीफिलिंग वर्कलोड और संबंधित KV कैश की आवश्यकताओं को कवर कर सकती है। इसका अर्थ है कि Rubin CPX केवल उच्चतर सामान्य कैलकुलेशन पावर की ओर नहीं जा रहा है, बल्कि लंबे संदर्भ परिदृश्यों के लिए वीएमएम क्षमता और प्रीफिलिंग दक्षता को पुनः डिज़ाइन किया गया है।

शेयर्ड रैक से स्वतंत्र डिप्लॉयमेंट पर स्विच करें, जिससे कॉन्फ़िगरेशन अधिक लचीला हो जाता है

Rack architecture is also a key focus of this adjustment.

पिछले योजना में, CPX ने Rubin GPU के साथ रैक साझा करने की योजना बनाई थी; नए संस्करण में, CPX की कैलकुलेशन क्षमता को ग्राहकों की वास्तविक आवश्यकताओं के अनुसार अलग से विस्तारित करने की अनुमति देने के लिए, अलग MGX ETL रैक का उपयोग किया जाएगा।

विस्तार से देखें, ग्राहक 64, 128, 192 या 256 CPX GPU के डिप्लॉयमेंट स्केल का चयन कर सकते हैं। प्रत्येक 64 CPX GPU एक रैक मॉड्यूल बनाते हैं, जिसमें 8 कैलकुलेशन ट्रे शामिल हैं, जिनमें से प्रत्येक पर 8 CPX GPU लगे होते हैं, और एक स्विच ट्रे भी शामिल होता है।

मॉड्यूलर डिज़ाइन का अर्थ है कि ग्राहकों को फिक्स्ड स्केल के Rubin रैक के अनुसार खरीदारी नहीं करनी पड़ती, बल्कि वे प्री-फिल्ड लोड की वास्तविक आवश्यकताओं के आधार पर CPX कैलकुलेशन पावर को लचीले ढंग से बढ़ा सकते हैं।

Layered interconnection design reduces pre-fill deployment costs

इंटरकनेक्ट आर्किटेक्चर पर, Rubin CPX एक परतदार डिज़ाइन का उपयोग करता है, जो प्रदर्शन और लागत के बीच संतुलन बनाता है।

एकल कैलकुलेशन ट्रे के भीतर, 8 CPX GPU NVLink के माध्यम से स्केल-अप विस्तार किए जाते हैं। प्रत्येक CPX GPU की NVLink बैंडविड्थ 1 से 1.5 TB/s है, जो मानक Rubin GPU की 3.6 TB/s से कम है।

CPX ट्रे के बीच और रैक मॉड्यूल के अंदर स्केल-आउट स्तर पर Spectrum-6 इथरनेट पूर्ण तांबे की L1 लिंक का उपयोग करता है; रैक मॉड्यूल के बीच कनेक्शन के लिए, प्रत्येक मॉड्यूल के Spectrum-6 स्विच के माध्यम से OSFP ऑप्टिकल लिंक के माध्यम से इंटरकनेक्ट किया जाता है।

इस हाइरार्किकल आर्किटेक्चर में, पूरी तरह से हाई बैंडविड्थ GPU इंटरकनेक्ट के ऊपर निर्भर करने वाले समाधानों की तुलना में प्री-फिलिंग सीनेरियो के लिए लागत अनुकूलन पर अधिक जोर दिया जाता है।

Rubin GPU के साथ लंबे संदर्भ निष्कर्षण पर ध्यान केंद्रित करें

Rubin CPX एक स्वतंत्र रूप से कार्यरत सामान्य GPU नहीं है, बल्कि Vera Rubin NVL72 के साथ प्रीफिलिंग एक्सेलरेटर के रूप में उपयोग किया जाता है।

गुओ मिंगज़े के अनुसार, निविडिया ने CPX और Rubin GPU को 1:1 के अनुपात में डिप्लॉय करने की सिफारिश की है: CPX प्री-फिलिंग चरण की गणना करता है और KV Cache बनाता है, फिर इथरनेट RDMA के माध्यम से KV Cache को Rubin GPU पर ट्रांसमिट किया जाता है, जो बाद के डिकोडिंग को पूरा करता है।

उत्पाद की स्थिति के आधार पर, Rubin CPX का मुख्य उद्देश्य मानक Rubin GPU को बदलना नहीं है, बल्कि AI अनुमान प्रक्रिया को और अधिक विभाजित करना है, ताकि विभिन्न GPU प्रीफिलिंग और डिकोडिंग कार्यों को अलग-अलग संभाल सकें।

गुओ मिंगची ने इसे "लंबे संदर्भ प्री-फिलिंग के लिए सर्वोत्तम कीमत-प्रदर्शन समाधान" के रूप में स्थापित किया है। जैसे-जैसे AI मॉडल के संदर्भ विंडो बढ़ रहे हैं, प्री-फिलिंग चरण की गणना मात्रा और KV कैश का आकार लगातार बढ़ रहा है, और न्यूडिया द्वारा इस बार CPX प्रोजेक्ट को पुनः शुरू करना, शायद लंबे संदर्भ निष्पादन की लागत को विशेष हार्डवेयर और हेटरोजीनस डिप्लॉयमेंट के माध्यम से और कम करने का प्रयास है।