PrismML lanza el modelo ternario Bonsai de 1,58 bits con 9 veces menos parámetros y mayor inteligencia

Noticias de ME, el 17 de abril (UTC+8), según el monitoreo de Beating, PrismML ha lanzado la serie de modelos de lenguaje Ternary Bonsai, que reduce el consumo de memoria GPU a la novena parte de un modelo de 16 bits mediante la tecnología de 1,58 bits (pesos ternarios), manteniendo un alto rendimiento. La serie incluye tres tamaños de parámetros: 8B, 4B y 1.7B, y ya está disponible de código abierto en Hugging Face con soporte nativo para dispositivos Apple. El término "modelo de 1,58 bits" se refiere a restringir los pesos de la red neuronal a tres valores: {-1, 0, +1}. En comparación con los modelos de 1 bit anteriores, que solo utilizaban {-1, +1} para lograr compresión extrema, la introducción del valor "0" permite eliminar eficazmente conexiones redundantes, conservando una capacidad de razonamiento compleja incluso en un tamaño extremadamente reducido. El archivo de pesos de Ternary Bonsai 8B tiene solo 1,75 GB y alcanza una puntuación promedio de 75,5 en pruebas de referencia, superando en 5 puntos la versión de 1 bit y liderando significativamente en "densidad inteligente" (rendimiento por GB de memoria GPU) frente a modelos densos similares como Qwen3. La eficiencia energética y la velocidad de ejecución son otras ventajas clave de esta serie. En el iPhone 17 Pro Max, la versión de 8B alcanza una velocidad de 27 tok/s, mejorando la eficiencia energética aproximadamente 3 a 4 veces. Para desarrolladores que necesitan implementar IA de alto rendimiento en dispositivos periféricos como teléfonos móviles o portátiles, esto significa obtener un rendimiento inteligente cercano al de modelos de precisión completa con un costo de memoria mínimo. Actualmente, los modelos Ternary Bonsai ya cuentan con soporte nativo en dispositivos Apple mediante el marco MLX. Los pesos del modelo se distribuyen bajo la licencia Apache 2.0. (Fuente: BlockBeats)