No, Jev acaba de volverse popular hace una semana, ¿y ya sacaron una versión local de menos de 1 GB?
Un desarrollador ha llevado la versión nativa de Laya, un reemplazo de código abierto, a Apple MLX, creando Laya-MLX—
Versión de 421M parámetros, con un uso máximo de memoria MLX de solo 943.6 MiB.
Al cambiar a la versión multilingüe de 322 M, bajó directamente a 687.6 MiB.

No requiere API en la nube, ni entornos de ejecución de PyTorch y Transformers; el modelo se puede ejecutar directamente en la Mac.
Y aunque es pequeño, la velocidad es bastante fuerte.
En M3 Max, Laya-MLX requiere solo 7.39 ms para una decisión corta en P50; la versión de 421M solo requiere 13.42 ms.
Si se introducen 50 preguntas a la vez, el rendimiento de la versión multilingüe de 322M aún puede alcanzar 395 preguntas/s.
Versión de código abierto Jev
Jev, todos deberían haberse familiarizado con él en estos dos días.
La principal diferencia con un LLM normal es que elimina directamente la generación de texto, que es la tarea más tardada: no chatea, no escribe código, ni toca artículos... solo se enfoca en una sola cosa: tomar decisiones.
(Bert: ¿Hmm? ¿Parece que ya he escuchado este contenido de trabajo antes?)
Al faltar el paso de generación por token, la velocidad de inferencia naturalmente se distingue de la de los LLM tradicionales.
Fue gracias a este enfoque simple y directo que Jev se volvió viral rápidamente después de su lanzamiento.

Inmediatamente después, llegó la alternativa de código abierto.
Laya, un modelo de decisión System 1 multilingüe y no autoregresivo.
Piensa de manera similar a Jev, no gasta potencia de cómputo en generar texto, sino que produce directamente resultados de decisión para problemas estructurados, y ya ha obtenido 10,4k estrellas en GitHub.

Actualmente se dedica principalmente a tres tipos de tareas:
choice, elegir una opción entre varias; score, asignar una puntuación según los criterios dados; noul, determinar la probabilidad de que un evento sea verdadero.
Inserta un estado y la pregunta que se debe evaluar juntos, y obtén el resultado directamente con un solo forward.
Laya actualmente tiene principalmente tres puntos de control.
La versión en inglés se basa en ModernBERT-large, 421M parámetros;
La versión multilingüe se basa en mmBERT-base, tiene solo 322M parámetros y admite más de 100 idiomas;
Además, hay una versión 421M para el flujo de trabajo typed-decisions.

El modelo tiene solo unos trescientos o cuatrocientos millones de parámetros y ya es bastante rápido.
La versión original de Laya en Tesla T4 toma aproximadamente 33 ms por pregunta individual; en procesamiento por lotes, puede lograr un promedio de 7.2 ms/pregunta, con un rendimiento por tarjeta que alcanza cientos de preguntas por segundo.
La latencia del tercer partido Jev P50 referenciada en el proyecto es de 236 a 276 ms, mientras que Laya midió una latencia individual de 32,8 ms, aproximadamente 7 a 8 veces más rápida.
En la prueba de 2,000 decisiones de yped-decisions, la versión de Laya específicamente ajustada alcanzó una precisión del 76.6% (el récord anterior publicado por Jev era del 72.7%).

La versión de código abierto ya está disponible, y la velocidad no es lenta.
Inmediatamente después, algunas personas comenzaron a preguntarse si se podía hacer aún más pequeño.
Entonces llegó Laya-MLX.
Se puede ejecutar con 1 GB locales
Laya-MLX está activando la pila de inferencia de Laya.
Los desarrolladores ya pueden desplegar Laya original por sí mismos, pero principalmente lo ejecutan en el entorno de PyTorch y Transformers.
Mizorewww reimplementó la arquitectura completa de la red neuronal de Laya en el marco Apple MLX, permitiendo que el modelo se ejecute nativamente en Apple Silicon.
PyTorch y el runtime de Transformers se pueden eliminar, y tampoco se necesita solicitar una API en la nube.
Además, después de cambiar la pila de inferencia, los resultados anteriores también deben coincidir.
Laya-MLX validó los tres puntos de control utilizando FP32 y FP16, y en las 63 preguntas de validación, coincidió completamente con las respuestas seleccionadas por la versión original de Laya.
Tres modelos, dos precisiones: 378/378 comparaciones aprobadas, sin desviación en los resultados de inferencia.
La máquina de prueba es una M3 Max con 40 núcleos GPU y 128 GB de memoria unificada.

Al procesar una pregunta corta en inglés, la asignación máxima de MLX para la versión de 421M fue de 943.6 MiB; la versión multilingüe de 322M redujo aún más esta cifra a 687.6 MiB.
Pero la velocidad no disminuyó.
En la misma M3 Max, la versión de 421M procesa una pregunta corta con una latencia P50 de 13.42 ms; la versión multilingüe de 322M es de 7.39 ms.
P95 también es de solo 13,92 ms y 7,79 ms, respectivamente.
Si se insertan 50 preguntas a la vez, el rendimiento de las versiones multilingües puede alcanzar directamente 395 preguntas/s.

Y estos tiempos no son la latencia neta de los operadores centrales del modelo.
El rango de temporización del proyecto incluye la preparación del prompt, la tokenización, la construcción de tensores, la inferencia sincronizada, la calibración y la formatización final del resultado, excluyendo únicamente el tiempo de carga del modelo.
En otras palabras, los 7,39 ms miden la latencia de extremo a extremo de una decisión corta, desde su entrada hasta el resultado.
Laya-MLX can make decisions at a speed of 60 times per second while playing Snake.
Aquí, cada paso invoca directamente a Laya para tomar una nueva decisión según el estado actual, mientras que una capa de seguridad cíclica corrige fuera las acciones peligrosas.
Después de abrir el proyecto, probar la compilación y optimizar la reutilización de prefix, ejecutar 2400 pasos consecutivos en la misma M3 Max—
75.40 movimientos/s, 0 muertes.
Durante todo el proceso, la capa de seguridad intervino dos veces, realizando correcciones de acción solo en escenarios limitados.
Tres líneas de ejecución
Friends interested can deploy locally on Apple Silicon Macs.
Actualmente, el proyecto requiere Python 3.11+ y macOS 14+.
Después de instalar las dependencias, puedes importar directamente la biblioteca y cargar el checkpoint ya convertido:
pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)
Luego, simplemente pase el estado y la pregunta a agent.predict().
La primera ejecución descargará automáticamente el checkpoint; las inferencias posteriores podrán realizarse completamente en local.

Of course, there are also costs to being small.
La versión en inglés del contexto tiene 512 tokens;
La versión multilingüe 322M y la versión typed-decisions 421M solo tienen 1024 tokens.
Un contexto de 1k debe alojar simultáneamente estado, instrucciones y opciones, por lo que es más adecuado para entradas cortas, llamadas frecuentes y tareas de decisión con salida estructurada.
Las debilidades existen objetivamente, pero no pueden detener a los grandes desarrolladores de código abierto que están siguiendo la pista durante la noche; ¡sí, ya estamos soñando con la próxima versión!
Jev: Acabo de volverse popular hace una semana...
Dirección del proyecto: https://github.com/mizorewww/laya-mlx
Este artículo proviene del canal de WeChat "Quantum Bit", autor: Wen Le
