1M AI News के अनुसार, गूगल रिसर्च ने क्वांटाइज्ड कम्प्रेशन एल्गोरिथम TurboQuant जारी किया है, जो बड़े भाषा मॉडल के KV कैश को 3 बिट तक संपीड़ित कर सकता है, जिससे मेमोरी उपयोग कम से कम 6 गुना कम हो जाता है, बिना किसी ट्रेनिंग या फाइन-ट्यूनिंग के और मॉडल की सटीकता में कोई कमी नहीं होती। 4 बिट मोड में, न्वीडिया H100 GPU पर 32 बिट अनक्वांटाइज्ड बेसलाइन की तुलना में ध्यान गणना की गति अधिकतम 8 गुना तक बढ़ जाती है।
अनुसंधान टीम ने LongBench, Needle In A Haystack, ZeroSCROLLS जैसे लंबे संदर्भ बेंचमार्क पर Gemma और Mistral मॉडल के साथ जांच की, जिसमें TurboQuant ने सभी परीक्षणों में सर्वश्रेष्ठ प्रदर्शन किया। यह एल्गोरिथम दो उप-एल्गोरिथम से बना है: PolarQuant प्राचीन मात्राकरण विधियों के मेमोरी ओवरहेड को ध्रुवीय निर्देशांक परिवर्तन के माध्यम से हटाता है, और QJL केवल 1 बिट का उपयोग करके शेष त्रुटि को सुधारता है।
यह अध्ययन गूगल रिसर्च के अमीर ज़ैंडिएह और वाइस प्रेसिडेंट और गूगल फेलो वाहब मिरक्रोनी द्वारा कोरिया के KAIST और न्यूयॉर्क यूनिवर्सिटी के साथ सहयोग से किया गया है, जिसे ICLR 2026 पर प्रकाशित किया जाएगा। गूगल के अनुसार, इस तकनीक का मुख्य उपयोग Gemini जैसे मॉडल के KV कैश बॉटलनेक को हल करना है।
Google Research ने TurboQuant पेश किया: 3-बिट क्वांटीकरण बिना किसी शुद्धता के नुकसान के, निष्पादन को अधिकतम 8x तक तेज करता है
KuCoinFlashसाझा करें
सारांश
गूगल रिसर्च ने टर्बोक्वांट का अनावरण किया है, एक 3-बिट क्वांटाइजेशन विधि जो सटीकता के नुकसान के बिना KV कैश मेमोरी के उपयोग को 6 गुना कम कर देती है। NVIDIA H100 GPU पर, 4-बिट ध्यान गणनाएँ 32-बिट मॉडल की तुलना में अधिकतम 8 गुना तेज़ चलती हैं। लॉन्गबेंच, नीडल इन ए हेयरस्टैक और जीरोस्क्रॉल्स का उपयोग करके गेमा और मिस्ट्रल पर परीक्षण किए जाने पर, यह विधि शीर्ष परिणाम प्रदान करती है। अमीर ज़ंडीह और वहाब मिरक्रोनी द्वारा KAIST और NYU के साथ विकसित, यह पेपर ICLR 2026 में प्रकाशित होगा। ऑन-चेन डेटा से पता चलता है कि कुशलता में वृद्धि के कारण अल्टकॉइन में रुचि बढ़ रही है।
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा।
डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।