MiniMax M3 को नेटिव मल्टीमॉडल समर्थन और 1M संदर्भ लंबाई के साथ ओपन-सोर्स किया गया

Beating मॉनिटरिंग के अनुसार, भारतीय बड़े मॉडल निर्माता MiniMax ने Hugging Face पर मूल बहुमॉडल मिक्स्ड एक्सपर्ट (MoE) मॉडल MiniMax M3 के वेट्स को ओपन सोर्स किया है। MiniMax M3 की कुल पैरामीटर संख्या 4280 अरब है, जिसमें प्रति Token 230 अरब पैरामीटर सक्रिय होते हैं, और यह मूल रूप से 100 लाख अत्यधिक लंबे कॉन्टेक्स्ट का समर्थन करता है। डिप्लॉयमेंट के लिए GPU मेमोरी ओवरहेड को कम करने के लिए, डेवलपमेंट टीम ने MXFP8 क्वांटाइज्ड संस्करण भी जारी किया है और SGLang, vLLM, Transformers जैसे प्रमुख इन्फरेंस फ्रेमवर्क्स के साथ इसे अनुकूलित किया है। बहुमॉडल डिज़ाइन में, MiniMax M3 प्री-ट्रेनिंग चरण में ही पाठ, छवि और वीडियो का संयुक्त प्रशिक्षण करता है, ताकि मूल सामग्री संयोजन प्राप्त हो सके, और पोस्ट-ट्रेनिंग स्तर पर मल्टीमॉडल अलाइनमेंट नहीं किया जाता। कार्यप्रणाली के संदर्भ में, मॉडल दो इन्फरेंस मोड प्रदान करता है: जटिल तर論 और टूल ऑर्केस्ट्रेशन के लिए Thinking (सोच) मोड, और कम लेटेंसी डायलॉग और कोड जनरेशन के लिए Non-thinking (असोच) मोड। 100 लाख अत्यधिक लंबे कॉन्टेक्स्ट का समर्थन करने वाला नीचला कोर, MiniMax Sparse Attention (MSA) के नाम से सार्वजनिक रूप से उपलब्ध हल्का ध्यान कोर लाइब्रेरी है। आधिकारिक डेटा के अनुसार, MSA GQA (Grouped Query Attention) ब्लॉक-आधारित रिट्रीवल मैकेनिज़म का उपयोग करता है। 100 लाख Token के अत्यधिक लंबे कॉन्टेक्स्ट में, NVIDIA Blackwell (SM100) आर्किटेक्चर के लिए अनुकूलित MSA ऑपरेटर, पारंपरिक पूर्ण-ध्यान मैकेनिज़म की तुलना में प्री-फिलिंग में 9x से अधिक स्पीडअप और डिकोडिंग में 15x स्पीडअप प्रदान करता है, साथ ही इन्फरेंस कोष्ठक को महत्वपूर्ण रूप से कम करता है।