टेथर एआई ने टर्बोक्वांट को ओपन-सोर्स सॉफ्टवेयर के रूप में जारी किया है, जो बड़े भाषा मॉडल निष्पादन की मेमोरी फुटप्रिंट को अधिकतम पांच गुना तक संपीड़ित करता है। यह प्रौद्योगिकी कीवी (KV) कैश नामक एक विशिष्ट बॉटलनेक पर केंद्रित है, जो मूलतः ट्रांसफॉर्मर मॉडल द्वारा संवाद के दौरान संदर्भ को ट्रैक रखने के लिए उपयोग की जाने वाली कार्यस्मृति है।
टर्बोक्वांट वास्तव में क्या करता है
टर्बोक्वांट के पीछे का एल्गोरिथ्म गूगल रिसर्च से उत्पन्न हुआ, जिसने 24 मार्च, 2026 को प्रारंभिक विवरण प्रकाशित किए। टेथर एआई ने इस शोध पत्र को लेकर इसे ऐसा कुछ बनाया है जिसे डेवलपर्स वास्तविक उत्पादन में स्थापित कर सकते हैं। टेथर के रिलीज में एक पूर्ण क्वांटाइजेशन पाइपलाइन, फ्रेमवर्क एडेप्टर्स और व्यापक दस्तावेज़ीकरण शामिल है।
क्वांटाइजेशन एक तकनीक है जो न्यूरल नेटवर्क की गणनाओं में उपयोग किए जाने वाली संख्याओं की सटीकता को कम करती है। मानों को 16-बिट या 32-बिट फ्लोटिंग पॉइंट संख्याओं के रूप में संग्रहीत करने के बजाय, आप उन्हें 4-बिट या यहां तक कि 2-बिट प्रतिनिधित्व में संपीड़ित कर देते हैं। टर्बोक्वांट इसे विशेष रूप से KV कैश के लिए संभालता है।
किसी भी मॉडल के पुनः प्रशिक्षण या सूक्ष्म समायोजन की आवश्यकता नहीं है। विकासक बिना शून्य से शुरू किए अपने मौजूदा मॉडल और मौजूदा निष्कर्ष ढांचों में टर्बोक्वांट लागू कर सकते हैं।
यह रिलीज QVAC SDK संस्करण 0.12.0 के हिस्से के रूप में आई, जिसमें टेक्स्ट-टू-वीडियो जनरेशन और रोबोट नियंत्रण जैसी नई क्षमताएँ भी शामिल हैं। QVAC Tether का व्यापक प्लेटफॉर्म है जो उपभोक्ता हार्डवेयर पर डिसेंट्रलाइज्ड AI को समर्थन करने के लिए बनाया गया है।
एक स्टेबलकॉइन कंपनी एआई इंफ्रास्ट्रक्चर क्यों बना रही है
टेथर ने अपने USDT स्टेबलकॉइन के बाहर आगे बढ़ने के लिए एग्रेसिव रूप से विस्तार किया है, और AI इसकी सबसे बड़ी बेटिंग में से एक है। सीईओ पाओलो आर्डोइनो ने कंपनी के AI प्रयासों को एक विशिष्ट थीसिस के चारों ओर स्थित किया है: कि उच्च गुणवत्ता वाले भाषा मॉडल्स उपभोक्ता उपकरणों जैसे फोन और लैपटॉप पर स्थानीय रूप से चलने चाहिए, बजाय केंद्रीकृत क्लाउड सेवाओं पर निर्भर होने के।
स्मृति समस्या उस दृष्टि के लिए मूल बाधा है। एक मॉडल जिसे अपने KV कैश के लिए अकेले 16 GB स्मृति की आवश्यकता है, वह अधिकांश उपभोक्ता उपकरणों पर फिट नहीं होगा। इसे 3.2 GB तक कम करें और अचानक गणित काम करने लगता है।
अर्दोइनो ने जोर देकर कहा है कि टर्बोक्वांट, ट्रांसफॉर्मर मॉडल्स के उपभोक्ता हार्डवेयर पर सामना किए जा रहे मेमोरी सीमाओं को हल करके कुशल स्थानीय AI को वास्तविकता के करीब लाता है।
QVAC प्लेटफॉर्म कई पिछली क्वांटाइजेशन तकनीकों, जिनमें PolarQuant और Quantized Johnson-Lindenstrauss शामिल हैं, पर आधारित है। Tether की AI टीम ने कई संपीड़न विधियों को एक साथ जोड़ा है, जिनमें से प्रत्येक दक्षता समस्या के अलग-अलग हिस्सों को लक्षित करती है, और TurboQuant उस स्टैक में सबसे हालिया परत है।
इसका निवेशकों के लिए क्या अर्थ है
रिलीज की ओपन-सोर्स प्रकृति के कारण कोई भी डेवलपर कोड प्राप्त कर सकता है, इसे अपने इन्फरेंस पाइपलाइन में एकीकृत कर सकता है, और तुरंत मेमोरी बचत का लाभ उठा सकता है। यह QVAC के चारों ओर परितंत्र को बढ़ाने और Tether के प्लेटफॉर्म को डिसेंट्रलाइज्ड AI एप्लिकेशन के लिए डिफ़ॉल्ट टूलकिट के रूप में पोज़ीशन करने की एक रणनीतिक गतिविधि है।
गूगल रिसर्च ने आधारभूत एल्गोरिथम प्रकाशित किया। गूगल खुद या कोई भी अच्छी तरह से संसाधित प्रयोगशाला अपना उत्पादन कार्यान्वयन जारी करने से कुछ नहीं रोकता। एक ही SDK अपडेट में टेक्स्ट-टू-वीडियो और रोबोट नियंत्रण सुविधाओं के शामिल होने से लगता है कि टीम तेजी से अपडेट कर रही है।
देखें कि स्वतंत्र बेंचमार्क यह पुष्टि करते हैं कि 5x संपीड़न दावा विभिन्न मॉडल आर्किटेक्चर और संदर्भ लंबाइयों के लिए भी लागू होता है, क्योंकि क्वांटाइजेशन तकनीकें कभी-कभी लंबी बातचीत या अधिक जटिल तर्क कार्यों के साथ वास्तविक उपयोग में कमजोर पड़ जाती हैं।