MiniMax M3 được mở nguồn với hỗ trợ đa phương tiện bản địa và độ dài ngữ cảnh 1M

Theo giám sát của Beating, nhà phát triển mô hình lớn trong nước MiniMax đã chính thức mở nguồn trọng số mô hình đa mô态 hỗn hợp chuyên gia (MoE) gốc MiniMax M3 trên Hugging Face. MiniMax M3 có tổng số tham số là 428 tỷ, kích hoạt 23 tỷ tham số mỗi Token và hỗ trợ gốc ngữ cảnh siêu dài lên đến 1 triệu Token. Để giảm chi phí bộ nhớ GPU khi triển khai, nhóm phát triển đồng thời đã phát hành phiên bản lượng tử hóa MXFP8 và tương thích với các khung suy luận phổ biến như SGLang, vLLM và Transformers. Về thiết kế đa mô态, MiniMax M3 thực hiện huấn luyện kết hợp văn bản, hình ảnh và video ngay trong giai đoạn tiền huấn luyện để đạt được sự kết hợp ngữ nghĩa gốc, thay vì thực hiện căn chỉnh đa mô态 sau huấn luyện. Về cơ chế vận hành, mô hình cung cấp hai chế độ suy luận: chế độ Thinking (suy nghĩ) dành cho logic phức tạp và sắp xếp công cụ, cùng chế độ Non-thinking (không suy nghĩ) dành cho hội thoại độ trễ thấp và tạo mã. Hạt nhân nền tảng hỗ trợ ngữ cảnh siêu dài lên đến một triệu Token là thư viện hạt nhân chú ý nhẹ MiniMax Sparse Attention (viết tắt là MSA), được mở nguồn đồng thời. Dữ liệu do công ty công bố cho thấy, MSA sử dụng cơ chế truy vấn nhóm (GQA) và truy xuất theo khối; trong thử nghiệm ngữ cảnh cực dài 1 triệu Token, các toán tử MSA được tối ưu hóa cho kiến trúc NVIDIA Blackwell (SM100) so với cơ chế chú ý toàn phần truyền thống, đạt tốc độ tăng tốc tiền điền hơn 9 lần và tăng tốc giải mã 15 lần, đồng thời giảm đáng kể chi phí suy luận.