MiniMax запускает метод MSA Sparse Attention и модель MiniMax-M3

KuCoinFlash

Время выхода: 06/17/2026 08:25:46

Сводка

Новости в блокчейне показывают, что MiniMax представила MSA (MiniMax Sparse Attention) — метод разреженного внимания, построенный на основе Grouped Query Attention. Метод разделяет внимание на индексную ветвь и основную ветвь: индексная ветвь выбирает 16 блоков токенов на каждую группу GQA, а основная ветвь выполняет точное softmax-внимание на этих блоках. MSA была обучена на модели MoE с 109 миллиардами параметров, а MiniMax открыла исходный код инференс-ядра `fmha_sm100` для GPU NVIDIA SM100 под лицензией MIT. Компания также запустила производственную модель MiniMax-M3, которая демонстрирует результаты, сопоставимые с базовыми моделями полного внимания на нескольких тестах. Новые токены могут извлечь выгоду из этих достижений в эффективности и производительности моделей.

ME AI Сообщение: MiniMax выпустила MSA (MiniMax Sparse Attention) — метод разреженного внимания, построенный на основе Grouped Query Attention. Он разделяет внимание на индексную ветвь и основную ветвь: индексная ветвь выбирает по 16 блоков токенов (фиксированный бюджет — 2048 ключевых и значений токенов) для каждой группы GQA с разрешением по блокам (по умолчанию 128 токенов), а основная ветвь выполняет точное softmax-внимание только на этих блоках. MSA обучалась на модели MoE с 109 млрд параметров, открыты исходные коды инференс-ядра для NVIDIA SM100 GPU `fmha_sm100` (лицензия MIT, поддержка BF16/FP8/NVFP4/FP4), а также выпущена производственная модель MiniMax-M3. MSA-PT показала результаты 67.2, 77.7, 64.0, 84.2, 77.5 на MMLU, GSM8K, HumanEval, RULER-8K, RULER-32K соответственно, что соответствует результатам полного внимания. При контексте 128K её выбор Top-k без экспоненты в 5.1 раза быстрее, чем `torch.topk`. (Источник: AiHot)

Источник:Показать оригинал

Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.