टेथर के एआई शोध समूह ने मंगलवार को एक प्रेस रिलीज के अनुसार, एआई की स्मृति की आवश्यकताओं को काफी कम करने के लिए डिज़ाइन किए गए गूगल रिसर्च एल्गोरिथम टर्बोक्वांट का उत्पादन-तैयार कार्यान्वयन ओपन-सोर्स कर दिया है।
यह तकनीक अब QVAC Fabric, Tether के स्थानीय AI इंजन, का हिस्सा है और इसमें वास्तविक दुनिया के उपयोग के मामलों के लिए एक पूर्ण क्वांटाइजेशन पाइपलाइन, फ्रेमवर्क एकीकरण, दस्तावेजीकरण और डिप्लॉयमेंट प्रोफाइल शामिल हैं।
इस रिलीज का लक्ष्य मेमोरी उपयोग है, जो स्थानीय उपकरणों पर उन्नत AI चलाने के लिए सबसे बड़ी बाधाओं में से एक है। जैसे-जैसे AI सहायक लंबी बातचीत, बड़ी फाइलों और अधिक जटिल कार्यों को प्रोसेस करते हैं, उनका KV कैश बढ़ता है और इसके लिए काफी हार्डवेयर संसाधनों की आवश्यकता हो सकती है।
अनुसंधानकर्ताओं के अनुसार, टर्बोक्वांट उस मेमोरी की मांग को अधिकतम 5 गुना तक कम कर देता है जबकि मॉडल के प्रदर्शन को बनाए रखता है, जिससे लैपटॉप, फोन, उपभोक्ता GPU और एज डिवाइस पर क्षम एआई सिस्टम चलाना आसान हो जाता है।
"गूगल के शोध ने दिखाया कि एआई मेमोरी को अधिकांश लोगों की कल्पना से कहीं अधिक कुशलता से संपीड़ित किया जा सकता है। हमारा कार्य इस क्रांतिकारी उपलब्धि को उत्पादन सॉफ्टवेयर में लाता है, जिसका विकासकर्ता, स्टार्टअप और उपयोगकर्ता वास्तव में उपयोग कर सकते हैं," टेथर के सीईओ पाओलो आर्डोइनो ने इस रिलीज पर टिप्पणी की।
आर्डोइनो के अनुसार, एआई उपकरणों को लंबे दस्तावेज़ों को संसाधित करने, प्रोजेक्ट के संदर्भ को बनाए रखने, सॉफ्टवेयर विकास का समर्थन करने और प्रत्येक कार्य को क्लाउड इंफ्रास्ट्रक्चर के माध्यम से नहीं, बल्कि स्थानीय रूप से निजी डेटा के साथ काम करने में सक्षम होना चाहिए। उन्होंने कहा कि टर्बोक्वांट स्थानीय एआई प्रणालियों को अधिक मेमोरी क्षमता और संदर्भ जागरूकता प्रदान करके इसे संभव बनाता है।
“यदि लंबे संदर्भ वाला AI केवल सबसे बड़े डेटा केंद्रों के भीतर काम करता है, तो AI उसी द्वारा आकार दिया जाएगा जिसके पास सबसे अधिक हार्डवेयर है,” उन्होंने जोड़ा।
टेथर मानता है कि यह प्रौद्योगिकी लंबे संदर्भ विंडोज और स्थानीय हार्डवेयर पर बेहतर प्रदर्शन को सक्षम करके अधिक AI वर्कलोड्स को केंद्रीकृत क्लाउड सेवाओं से दूर ले जाने में मदद कर सकती है।
QVAC SDK 0.12.0 में शामिल, यह रिलीज कंपनी के लक्ष्य को समर्थन देती है कि व्यक्तिगत उपकरणों, स्थानीय नेटवर्क और डिसेंट्रलाइज्ड बुनियादी ढांचे के माध्यम से उपयोगकर्ताओं के निकट AI प्रणालियाँ बनाई जाएँ।