MiniMax M3 ay inilabas bilang open-source kasama ang native na multimodal na suporta at 1M na haba ng konteksto

Ayon sa pagmamasid ng Beating, ang lokal na tagapag-develop ng malalaking modelo, ang MiniMax, ay nag-open source na ang mga timbang ng orihinal na native multimodal Mixture-of-Experts (MoE) na modelo, ang MiniMax M3, sa Hugging Face. Ang kabuuang bilang ng parameter ng MiniMax M3 ay 428 bilyon, na may 23 bilyon na parameter na aktibado bawat token, at may native suporta sa 1 milyong mahabang konteksto. Upang bawasan ang memorya ng GPU sa pag-deploy, ang team ng pag-unlad ay naglabas nang parehong bersyon na MXFP8 na quantized, at itinanggap ang mga pangunahing inference framework tulad ng SGLang, vLLM, at Transformers. Sa disenyo ng multimodal, ang MiniMax M3 ay nagtratrabaho sa joint training ng teksto, imahe, at video sa panahon ng pre-training upang makamit ang native semantic fusion, hindi sa post-training alignment. Sa mekanismo ng pagpapatakbo, ang modelo ay nag-aalok ng dalawang mode ng inference: ang Thinking (pag-iisip) mode para sa kompleks na lohika at tool orchestration, at ang Non-thinking (hindi pag-iisip) mode para sa mabilis na pag-uusap at code generation. Ang ilalim na kernel na sumusuporta sa 1 milyong mahabang konteksto ay ang light-weight attention kernel library na MiniMax Sparse Attention (MSA), na nag-open source nang sabay. Ayon sa opisyal na datos, ang MSA ay gumagamit ng group query attention (GQA) at chunked retrieval mechanism; sa mga pagsusulit na may 1 milyong token, ang MSA operator na optimal para sa NVIDIA Blackwell (SM100) architecture ay nakakamit ng higit sa 9 beses na acceleration sa pre-filling at 15 beses na pagpapabilis sa decoding kumpara sa tradisyonal na full attention mechanism, habang malinaw na binebawasan ang inference overhead.