Perplexity AI ने उच्च गति वाले मल्टी-GPU इन्फरेंस को सक्षम बनाने के लिए pplx-garden को ओपन सोर्स किया है

ME AI संदेश, डिनामिक चेक द्वारा मॉनिटर किए जाने पर, सर्च इंजन विशाल Perplexity AI ने उत्पादन पर्यावरण में उपयोग किए जाने वाले उच्च-प्रदर्शन निष्पादन बुनियादी ढांचे के टूलकिट pplx-garden को ओपन सोर्स कर दिया है। प्रोजेक्ट का केंद्र स्वयं विकसित Rust-आधारित उच्च-प्रदर्शन पॉइंट-टू-पॉइंट कम्युनिकेशन लाइब्रेरी fabric-lib (जिसे TransferEngine भी कहा जाता है) है, जो NVIDIA के एक्सक्लूसिव कम्युनिकेशन प्रोटोकॉल के हार्डवेयर-बाइंडिंग को तोड़ने का उद्देश्य रखता है और विकासकर्ताओं को महंगे एक्सक्लूसिव नेटवर्क स्विच खरीदे बिना, असमान बहु-GPU क्लस्टर पर ट्रिलियन पैरामीटर मॉडल को अत्यधिक तेजी से चलाने में सक्षम बनाता है। पारंपरिक वितरित बड़े मॉडल निष्पादन में NVIDIA के एक्सक्लूसिव हाई-स्पीड कम्युनिकेशन नेटवर्क पर गहरी निर्भरता होती है, जिससे हार्डवेयर स्थापना लागत अत्यधिक होती है और सप्लाई चेन पर बंदी पड़ती है। fabric-lib हार्डवेयर स्तर पर बंधन को हटा देता है, जो NVIDIA ConnectX-7 NICs के साथ पूरी तरह से संगत है और Amazon के सस्ते AWS EFA पारंपरिक Ethernet NICs को मूल रूप से समर्थन करता है, जिससे GPU के बीच नेटवर्क बैंडविड्थ सीधे 400 Gbps तक पहुँच जाता है। AWS EFA के फिजिकल डिफेक्ट—अनुक्रमहीन प्रसारण—के संबंध में, Perplexity ने ImmCounter काउंटर सिंक्रोनाइज़ेशन मैकेनिज़म का आविष्कार किया, जो डेटा पैकेट के क्रम पर कठोर मान्यता के बिना, "जीरो-कॉपी" डेटा प्रवाह को कुशलता से प्राप्त करता है। कम्युनिकेशन लाइब्रेरी में मिश्रित विशेषज्ञ मॉडल MoE के लिए विशेष रूप से डिज़ाइन किए गए डेटा डिस्ट्रीब्यूशन एल्गोरिथम को समाहित किया गया है, जो GPU पर डेटा प्राप्ति को मैट्रिक्स कैलकुलेशन के साथ गहराई से समाकलित करता है, जिससे डीकोडिंग स्टेज में कैलकुलेशन स्थान को पूरी तरह से प्रभावी ढंग से प्रयोग किया जा सकता है। वास्तविक उत्पादन में, pplx-garden से प्राप्त इंजीनियरिंग प्रभावअत्यधिक महत्वपूर्ण है। डीकपल्ड निष्पादन संरचना में, नेटवर्क लाइब्रेरी Prefill node और Decoder node के बीच key-value cache को अति-तेज़ी से समयबद्ध करती है। असमक्रणशील प्रवर्धन सीखने प्रशिक्षण में, 1.3 सेकंड में ही 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड में 1.3 सेकंड मেں 1.3 sec (trillion parameter model) weight sync and distribution complete ho jata hai। Tokenization phase ke calculation latency ko solve karne ke liye, pplx-garden ne Rust mein punah likhe gaye pplx-unigram tokenizer ko bhi open source kiya hai, jisse CPU consumption direct taur par 5 se 6 guna kam ho jata hai aur tokenization phase mein reordering aur vector model ke performance bottleneck ko khatam kar diya jata hai। (Source: BlockBeats)