एक ही समय में कुछ को छोटा और बेहतर बनाना मूल भौतिकी का उल्लंघन लगता है। लेकिन एडिनबर्ग विश्वविद्यालय के शोधकर्ता, NVIDIA के साथ मिलकर, बड़े भाषा मॉडल के साथ इसे सफलतापूर्वक प्राप्त कर चुके हैं। उनकी तकनीक, जिसे डायनामिक मेमोरी स्पार्सिफिकेशन (DMS) कहा जाता है, एक महत्वपूर्ण AI बुनियादी ढांचे को 8x तक संपीड़ित करती है, जबकि मॉडल्स को कठिन बेंचमार्क पर अधिक स्कोर प्राप्त होता है।
यदि एआई मॉडल बहुत कम मेमोरी के साथ भी उतने ही अच्छे या बेहतर तरीके से चल सकते हैं, तो ऐसे डिवाइसों पर गंभीर तर्क क्षमताओं को डिप्लॉय करने का द्वार खुल जाता है, जो वर्तमान में इन्हें संभाल नहीं पाते, जैसे कि वियरेबल्स, स्मार्ट होम हार्डवेयर और एज डिवाइस।
DMS वास्तव में कैसे काम करता है
ब्रेकथ्रू को समझने के लिए, आपको की-वैल्यू (KV) कैश के बारे में जानना होगा। जब एक एआई मॉडल किसी समस्या के माध्यम से तर्क करता है, तो यह अपने आंतरिक परिणामों को इस कैश में संग्रहीत करता है, जो मूल रूप से एक कार्यस्मृति है जो मॉडल को अपनी अपनी सोच की प्रक्रिया का पालन करने में सक्षम बनाती है। जितना लंबा और जटिल तर्क श्रृंखला होगा, उतना ही बड़ा वह कैश होगा, और उतने ही अधिक कंप्यूटेशनल संसाधनों की आवश्यकता होगी।
DMS इस प्रक्रिया पर एक स्कैल्पेल का उपयोग करता है। यह कैश में हर टोकन को नहीं रखता, बल्कि केवल सबसे महत्वपूर्ण टोकन को चयनित रूप से बरकरार रखता है और बाकी को हटा देता है। परिणामस्वरूप, KV कैश का आकार मूल आकार का एक-आठवाँ हो जाता है। शोर को हटाकर, मॉडल समान कंप्यूटेशनल बजट के भीतर गहरे और अधिक जटिल तर्क मार्गों का पता लगा सकते हैं।
बेंचमार्क परिणाम
AIME 24 पर, एक गणित ओलंपियाड योग्यता परीक्षा, DMS का उपयोग करके संपीड़ित मॉडलों ने अपने असंपीड़ित समकक्षों की तुलना में औसतन 12 अंक अधिक प्राप्त किए।
GPQA डायमंड पर, जो भौतिकी, रसायन विज्ञान और जीव विज्ञान से स्नातक स्तर की विज्ञान समस्याओं से बनाया गया एक बेंचमार्क है, DMS-संपीड़ित मॉडल्स ने औसतन 8 अंक से अधिक स्कोर प्राप्त किया।
लाइवकोड बेंच पर, जो व्यावहारिक प्रोग्रामिंग क्षमता का परीक्षण करता है, समान KV कैश डेटा पढ़ते हुए संपीड़ित मॉडल ने अपने पूर्ण-कैश समकक्षों की तुलना में 10 अंक प्राप्त किए।
प्रमुख शोधकर्ता डॉ. एडोआर्डो पॉंटी ने द्विगुण लाभ को सरलता से सारांशित किया।
मॉडल तेजी से तर्क कर सकते हैं लेकिन समान गुणवत्ता के साथ।
एक निश्चित समय अवधि के भीतर, DMS का उपयोग करने वाला LLM अधिक तर्कसंगत धाराओं का अन्वेषण कर सकता है और अधिक मजबूत निष्कर्षों पर पहुँच सकता है।
एक लंबी प्रवृत्ति, तेज होती हुई
AI क्षेत्र ने मध्य-2010 के दशक से मॉडल की दक्षता की ओर देखा है, जब ज्ञान अनुकूलन, प्रुनिंग और क्वांटाइजेशन जैसी तकनीकों ने साबित किया कि छोटे मॉडल विशिष्ट कार्यों पर बड़े मॉडल्स के साथ प्रतिस्पर्धा कर सकते हैं। DMS इस श्रृंखला में निष्कर्षण-समय स्मृति पर ध्यान केंद्रित करता है, जो संसाधन हैं जो मॉडल के प्रशिक्षण के समय नहीं, बल्कि जब यह वास्तव में उपयोग किया जा रहा होता है, उपयोग किए जाते हैं। निष्कर्षण-समय स्मृति को 8x तक संपीड़ित करने का मतलब है कि प्रत्येक डिप्लॉयमेंट को चलाना बहुत सस्ता हो जाता है।
शोध को NeurIPS सम्मेलन में प्रस्तुत किया गया और “Inference-Time Hyper-Scaling with KV Cache Compression” शीर्षक के साथ एक पेपर में विस्तार से बताया गया। मूल्यांकन Llama और Qwen मॉडल्स का उपयोग करके किया गया।