MiniMax M3 নেটিভ মাল্টিমোডাল সমর্থন এবং 1M কনটেক্সট দৈর্ঘ্য সহ ওপেন-সোর্সড

Beating মনিটরিং-এর অনুসরণে, চীনা বড় মডেল প্রতিষ্ঠান MiniMax হাগগিং ফেসে মূলতঃ মাল্টিমোডাল মিক্সড এক্সপার্ট (MoE) মডেল MiniMax M3-এরওয়েটস ওপেন-সোর্স করেছে। MiniMax M3-এর মোট প্যারামিটার সংখ্যা 4280 বিলিয়ন, একটি টোকেনে 230 বিলিয়ন প্যারামিটার সক্রিয় হয়, এবং এটি মূলত 100 লক্ষ অত্যন্ত দীর্ঘ কনটেক্সটকে সমর্থন করে। ডিপ্লয়মেন্টের জন্য GPU মেমোরির খরচ কমানোর জন্য, ডেভেলপমেন্ট টিম MXP8-কোয়ান্টাইজড ভার্সনও প্রকাশ করেছে এবং SGLang, vLLM, Transformers-এর মতো প্রধান ইনফারেন্স ফ্রেমওয়ার্কগুলির সাথে এটির সামঞ্জস্যতা নিশ্চিত করেছে। মাল্টিমোডাল ডিজাইনে, MiniMax M3-এর প্রি-ট্রেনিং পর্যায়েই টেক্সট, ইমেজ এবং ভিডিওকে একসাথে ট্রেনিং করা হয়েছে, যাতে মূলতঃ সিম্যান্টিক ফিউশন অর্জন করা যায়, পরবর্তী-ট্রেনিংয়ের মাধ্যমে মাল্টিমোডাল অ্যালাইনমেন্টের পরিবর্তে। কার্যপদ্ধতির দিক থেকে, মডেলটি দুটি ইনফারেন্স মোড প্রদান করে: Thinking (চিন্তা) মোড, যা জটিল লজিক এবং টুল-অর্গানাইজেশনের জন্য,এবং Non-thinking (অচিন্তা) মোড,যা নিম্ন-লেটেনসি ডায়ালগ এবংকোড-জেনারেশনেরজন্য। 100 লক্ষ-এরওবেশিদীর্ঘকনটেক্সটকেসমর্থনকরারজন্য,পদ্ধতিরঅধীনেMSA (MiniMax Sparse Attention)হলোসমসময়িকভাবেওপেন-সোর্সকরাএকটিলাইটওয়েটঅ্যাটেনশনকোর।অফিসিয়ালভাবেপ্রকাশিততথ্যঅনুযায়ী,MSAগ্রুপডকোয়ারিঅ্যাটেনশন(GQA)ব্লক-বেসডরিট্রিভলমেকানিজমব্যবহারকরে।100লক্ষটোকেনসহঅতি-দীর্ঘকনটেক্সটএবংNVIDIABlackwell(SM100)আর্কিটেকচারএবংপরীক্ষা-পরীক্ষণ-এ,MSAঅপারেটরগুলি,পারম্পরিকফুল-অ্যাটেনশনমেকানিজমএরতুলনায়9গুণবেশিpre-fillআপসিলএবং15গুণবেশিdecodingস্পিডঅর্জনকরে,এবংইনফারেন্সখরচওউল্লেখযোগ্যভাবেকম।