MiniMax ra mắt phương pháp MSA Sparse Attention và mô hình MiniMax-M3

Tin tức trên chuỗi cho thấy MiniMax đã ra mắt MSA (MiniMax Sparse Attention), một phương pháp chú ý thưa được xây dựng trên Grouped Query Attention. Phương pháp này chia chú ý thành nhánh chỉ số và nhánh chính, với nhánh chỉ số chọn 16 khối token mỗi nhóm GQA và nhánh chính thực hiện chú ý softmax chính xác trên các khối đó. MSA được huấn luyện trên mô hình MoE 109 tỷ tham số, và MiniMax đã mở nguồn kernel suy luận `fmha_sm100` cho GPU NVIDIA SM100 dưới giấy phép MIT. Công ty cũng đã ra mắt mô hình sản xuất MiniMax-M3, có hiệu suất tương đương các mô hình cơ sở sử dụng chú ý đầy đủ trên nhiều bộ kiểm tra. Các danh sách token mới có thể hưởng lợi từ những tiến bộ này trong hiệu quả và hiệu suất mô hình.