OpenBMB ha lanzado el primer modelo de la serie MiniCPM5, MiniCPM5-1B, cuyo objetivo no es competir directamente con modelos grandes, sino comprimir agentes de IA locales para que funcionen en dispositivos de consumo como teléfonos móviles. Este modelo tiene 1.000 millones de parámetros, admite MCP y llamadas nativas a herramientas, y se enfoca en permitir que los dispositivos realicen tareas ligeras de agente sin depender de una conexión en la nube.
Enfocado en la implementación en el extremo y contextos largos
Desde la perspectiva de la posición del producto, el punto fuerte de MiniCPM5-1B no es el alcance del conocimiento, sino "realizar más tareas con un tamaño más pequeño". La ventana de contexto del modelo alcanza 128K, lo que permite procesar documentos largos, conversaciones continuas y cadenas de tareas extensas. Para un modelo de 1 mil millones de parámetros, esta especificación ya se acerca al rango práctico para aplicaciones en el borde.
El artículo menciona que el modelo puede utilizarse para leer notas, resumir PDFs, responder preguntas relacionadas con documentos y llamar localmente a calendarios, bases de datos o servicios de investigación externos. Si se combina con un servidor MCP, también se pueden integrar capacidades como la búsqueda en la web en flujos de trabajo locales.
- Parámetros: 1.000 millones
- Ventana de contexto: 128K
- Capacidad de soporte: MCP, llamadas a herramientas nativas
El método de entrenamiento enfatiza la eficiencia.
MiniCPM5-1B se basa en la arquitectura MiniCPM4, y uno de sus tecnologías clave es InfLLM v2. Este mecanismo, durante la inferencia con contexto largo, permite que cada token interactúe solo con un pequeño número de tokens circundantes, reduciendo así la carga computacional mientras mantiene la precisión lo más posible.
En cuanto al procesamiento de datos, el equipo utilizó un proceso de filtrado llamado UltraClean y afirmó que el modelo obtuvo un buen rendimiento con aproximadamente 8 billones de tokens de entrenamiento. En la fase de postentrenamiento, se combinaron métodos de aprendizaje por refuerzo y distilación para mejorar las puntuaciones en pruebas de matemáticas, código y seguimiento de instrucciones, al mismo tiempo que se redujeron las salidas largas.
Leading in benchmarking, but reasoning remains limited
Según los resultados de comparación proporcionados por OpenBMB, MiniCPM5-1B obtuvo una puntuación promedio superior a sus competidores del mismo nivel en múltiples pruebas, incluyendo conocimiento general, conocimiento especializado, código, matemáticas, lógica y tareas de agentes, con ventajas especialmente notables en capacidades de agentes y tareas de conocimiento general.
Sin embargo, las pruebas realizadas por los medios también señalaron que este modelo aún comete errores en preguntas de lógica básica. Por ejemplo, frente a una pregunta de derecho matrimonial con trampas evidentes, el modelo no identificó la contradicción lógica en la pregunta misma, sino que proporcionó un análisis jurídico que parecía completo. En otra prueba, el modelo tampoco respondió directamente en una pregunta de opción binaria, sino que tendió a dar respuestas intermedias.
Esto significa que MiniCPM5-1B es más adecuado para tareas ligeras y escenarios de llamada a herramientas, en lugar de asumir por sí solo juicios de hecho de alta precisión. El informe sugiere que, una vez conectado a herramientas externas o servidores de investigación, es probable que este tipo de modelos pequeños reduzca significativamente las alucinaciones en preguntas de hecho poco comunes.
Ya está disponible para descargar
Actualmente, MiniCPM5-1B ya está disponible en Hugging Face bajo la licencia Apache 2.0, y es compatible con los marcos de inferencia vLLM, SGLang y Transformers. Para la IA en el dispositivo, estos pequeños modelos, que pueden ejecutarse localmente, invocar herramientas y conservar contextos largos, están pasando gradualmente de proyectos de investigación a formas de productos reales.