MiniMax M3 lanzado como código abierto con soporte multimodal nativo y longitud de contexto de 1M

Según el monitoreo de Beating, el fabricante chino de modelos grandes MiniMax ha lanzado oficialmente en Hugging Face los pesos del modelo nativo multimodal Mixtral de Expertos (MoE) MiniMax M3. El modelo MiniMax M3 tiene un total de 428 mil millones de parámetros, con 23 mil millones de parámetros activados por token, y admite nativamente contextos superiores a 1 millón de tokens. Para reducir el consumo de memoria GPU en el despliegue, el equipo de desarrollo también lanzó una versión cuantizada MXFP8, compatible con frameworks de inferencia principales como SGLang, vLLM y Transformers. En cuanto al diseño multimodal, MiniMax M3 realiza entrenamiento conjunto de texto, imagen y video durante la fase de preentrenamiento para lograr una fusión semántica nativa, en lugar de realizar alineación multimodal en una etapa posterior. En su mecanismo de funcionamiento, el modelo ofrece dos modos de inferencia: el modo Thinking (pensamiento), diseñado para lógica compleja y orquestación de herramientas, y el modo Non-thinking (no pensamiento), optimizado para conversaciones de baja latencia y generación de código. El núcleo subyacente que soporta contextos superiores a un millón de tokens es la biblioteca ligera de núcleos de atención MiniMax Sparse Attention (MSA), lanzada simultáneamente como código abierto. Según los datos oficiales, MSA utiliza un mecanismo de búsqueda por bloques con atención de consulta agrupada (GQA). En pruebas con contextos extremadamente largos de 1 millón de tokens, los operadores MSA optimizados para la arquitectura NVIDIA Blackwell (SM100) logran más de 9 veces más aceleración en prellenado y 15 veces más velocidad en decodificación en comparación con los mecanismos tradicionales de atención completa, reduciendo significativamente el costo de inferencia.