MiniMax、MSAスパースアテンション手法とMiniMax-M3モデルを発表

オンチェーンニュースによると、MiniMaxはGrouped Query Attentionに基づくスパースアテンション手法「MSA（MiniMax Sparse Attention）」を公開しました。この手法はアテンションをインデックスブランチとメインブランチに分割し、インデックスブランチが各GQAグループごとに16のトークンブロックを選択し、メインブランチがそれらのブロックに対して正確なソフトマックスアテンションを実行します。MSAは109BパラメータのMoEモデルで学習され、MiniMaxはNVIDIA SM100 GPU用の`fmha_sm100`推論カーネルをMITライセンスでオープンソース化しました。同社はまた、複数のベンチマークでフルアテンションベースラインと同等の性能を発揮するプロダクションモデル「MiniMax-M3」をリリースしました。これらのモデル効率とパフォーマンスの向上により、新しいトークンの上場が恩恵を受ける可能性があります。