Ipinaglunsad ni MiniMax ang MSA Sparse Attention Method at ang MiniMax-M3 Model

KuCoinFlash

Oras ng Release: 06/17/2026 08:25:46

I-share

Summary

Ang on-chain news ay naglalabas na ang MiniMax ay ipinakilala ang MSA (MiniMax Sparse Attention), isang sparse attention method na batay sa Grouped Query Attention. Ang paraan ay hinahati ang attention sa isang index branch at isang main branch, kung saan ang index branch ay pumipili ng 16 token blocks bawat GQA group, habang ang main branch ay nagpapagana ng mas tumpak na softmax attention sa mga blok na iyon. Ang MSA ay tinuruan sa isang 109B parameter MoE model, at ang MiniMax ay inilabas ang `fmha_sm100` inference kernel para sa NVIDIA SM100 GPUs sa ilalim ng MIT license. Ang kumpanya ay naglunsad din ng production model na MiniMax-M3, na nagtatugma sa mga full-attention baselines sa maraming benchmarks. Maaaring makatanggap ng benepisyo ang mga bagong token listing mula sa mga pag-unlad na ito sa efficiency at performance ng model.

ME AI mensahe, inilabas ni MiniMax ang MSA (MiniMax Sparse Attention), isang sparse attention method na nakabatay sa Grouped Query Attention. Ibinabahagi nito ang attention sa index branch at main branch: ang index branch ay nagpipili ng 16 token blocks bawat GQA group sa block granularity (default na 128 token), na may fixed budget na 2048 key-value tokens; samantala, ang main branch ay nagpapatakbo lamang ng eksaktong softmax attention sa mga block na ito. Tinuruan ang MSA sa isang 109B parameter MoE model, at inilabas nila ang open-source inference kernel para sa NVIDIA SM100 GPU na `fmha_sm100` (MIT license, sumusuporta sa BF16/FP8/NVFP4/FP4), kasama ang production model na MiniMax-M3. Ang MSA-PT ay nakamit ang 67.2, 77.7, 64.0, 84.2, at 77.5 sa MMLU, GSM8K, HumanEval, RULER-8K, at RULER-32K, na pareho sa full attention baseline. Sa 128K context, mas mabilis ang exp-free Top-k selection nito ng 5.1 beses kaysa sa `torch.topk`. (Source: AiHot)

Source:Ipakita ang original

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.