Mensaje de ChainThink, 1 de abril de 2026: según lo monitoreado por 1M AI News, el laboratorio de IA PrismML, cofundado por el matemático del Caltech Babak Hassibi, finaliza su período de incógnito y lanza en código abierto la serie de modelos de lenguaje grande 1-bit Bonsai. El modelo insignia, 1-bit Bonsai 8B, cuenta con 8.200 millones de parámetros y ocupa solo 1,15 GB de memoria, lo que representa una compresión de aproximadamente 14 veces en comparación con modelos de 16-bit de la misma categoría. Además, se lanzan dos modelos más pequeños: 4B (0,5 GB) y 1,7B (0,24 GB).
Bonsai 8B es un modelo verdadero de 1-bit extremo a extremo, donde todas las capas de incrustación, atención, MLP y cabeza de salida representan los pesos únicamente con +1 o -1, sin parches de alta precisión. PrismML afirma que su capacidad de inferencia y comprensión del lenguaje en pruebas de referencia estándar es comparable a la de modelos de precisión completa de 16 bits; las matemáticas clave de compresión fueron desarrolladas por el equipo durante varios años en el Instituto Tecnológico de California, y la propiedad intelectual pertenece al Instituto Tecnológico de California, siendo PrismML el único licenciatario exclusivo. El modelo se entrenó con TPU v4 de Google.
En pruebas reales, la velocidad es de 136 tok/s en el Mac M4 Pro, 440 tok/s en la RTX 4090 y aproximadamente 44 tok/s en el iPhone 17 Pro Max. El modelo estándar de 8B con 16 bits no cabe en ningún iPhone, y el consumo energético se reduce aproximadamente de 4 a 5 veces en comparación con los modelos de 16 bits. PrismML señala que el hardware actual no está diseñado para inferencia de 1 bit; las ventajas en velocidad y consumo energético provienen principalmente de la reducción en el uso de memoria. Si en el futuro se desarrolla hardware específicamente diseñado para 1 bit, la eficiencia podría mejorar aún más en un orden de magnitud.
PrismML ha completado una ronda de financiación SAFE y semilla de $16.25 millones, con inversiones de Khosla Ventures, Cerberus Capital y el Instituto de Tecnología de California. El fundador de Khosla Ventures, Vinod Khosla, evaluó este logro como "no es una pequeña iteración, es un avance tecnológico significativo, un avance matemático, no solo otro modelo pequeño".