মিনিম্যাক্স এমএসএ স্পার্স অ্যাটেনশন পদ্ধতি এবং মিনিম্যাক্স-এম৩ মডেল চালু করেছে
KuCoinFlashশেয়ার
সারাংশ
অন-চেইন সংবাদে প্রকাশ পেয়েছে যে মিনিম্যাক্স এমএসএ (মিনিম্যাক্স স্পার্স অ্যাটেনশন) প্রকাশ করেছে, যা গ্রুপড কুয়েরি অ্যাটেনশনের উপর ভিত্তি করে তৈরি একটি স্পার্স অ্যাটেনশন পদ্ধতি। এই পদ্ধতিটি অ্যাটেনশনকে একটি সূচক শাখা এবং মূল শাখায় বিভক্ত করে, যেখানে সূচক শাখা প্রতিটি GQA গ্রুপে 16 টোকেন ব্লক নির্বাচন করে এবং মূল শাখা সেই ব্লকগুলির উপর সঠিক softmax অ্যাটেনশন পারফর্ম করে। MSA-কে 109B প্যারামিটার MoE মডেলে প্রশিক্ষণ দেওয়া হয়েছে, এবং মিনিম্যাক্স MIT লাইসেন্সের অধীনে NVIDIA SM100 GPU-এর জন্য `fmha_sm100` ইনফারেন্স কার্নেলটি ওপেন-সোর্স করেছে। কোম্পানিটি MiniMax-M3 উৎপাদন মডেলও চালু করেছে, যা বিভিন্ন বেঞ্চমার্কে ফুল-অ্যাটেনশন বেসলাইনগুলির সঙ্গে মিলে যায়। মডেলের দক্ষতা এবং পারফরম্যান্সের এই উন্নতিগুলির কারণে নতুন টোকেনগুলির তালিকা লাভবান হতে পারে।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।