MiniMax lança o método MSA Sparse Attention e o modelo MiniMax-M3

Notícias on-chain revelam que a MiniMax apresentou o MSA (MiniMax Sparse Attention), um método de atenção esparsa construído sobre o Grouped Query Attention. O método divide a atenção em um ramo de índice e um ramo principal, com o ramo de índice selecionando 16 blocos de tokens por grupo GQA e o ramo principal realizando atenção softmax precisa sobre esses blocos. O MSA foi treinado em um modelo MoE com 109 bilhões de parâmetros, e a MiniMax open-sourcou o kernel de inferência `fmha_sm100` para GPUs NVIDIA SM100 sob a licença MIT. A empresa também lançou o modelo de produção MiniMax-M3, que corresponde aos baselines de atenção completa em diversos benchmarks. Novas listagens de tokens podem se beneficiar desses avanços em eficiência e desempenho do modelo.