PrismML запускает 1,58-битную тернарную модель Bonsai с в 9 раз меньшим количеством параметров и более высоким интеллектом

Согласно новости ME, 17 апреля (UTC+8), по данным мониторинга Beating, PrismML выпустила серию языковых моделей Ternary Bonsai, используя технологию 1,58 бит (тернарные веса), что позволило сократить потребление видеопамяти до одной девятой по сравнению с 16-битными моделями при сохранении высокой производительности. Серия включает три версии с объемом параметров: 8B, 4B и 1,7B, которые уже открыты на Hugging Face и поддерживают нативную работу на устройствах Apple. Термин «1,58-битная модель» означает ограничение весов нейронной сети тремя значениями: {-1, 0, +1}. В отличие от предыдущих 1-битных моделей (веса только {-1, +1}), введение значения «0» эффективно устраняет избыточные соединения, позволяя модели сохранять сложные способности к выводу даже при крайне малом размере. Веса модели Ternary Bonsai 8B занимают всего 1,75 ГБ, а средний балл по базовым тестам достигает 75,5 — это на 5 баллов выше, чем у собственной 1-битной версии, и значительно превосходит по «интеллектуальной плотности» (производительность на единицу видеопамяти) такие аналогичные плотные модели, как Qwen3. Еще одним ключевым преимуществом серии является энергоэффективность и скорость работы. На iPhone 17 Pro Max скорость работы версии 8B достигает 27 токенов/с, а энергоэффективность повышается примерно в 3–4 раза. Для разработчиков, которым необходимо развертывать высокопроизводительный ИИ на таких конечных устройствах, как смартфоны и ноутбуки, это означает возможность получить производительность, близкую к полной точности модели, при минимальных затратах памяти. В настоящее время модели Ternary Bonsai уже поддерживаются нативно на устройствах Apple через фреймворк MLX. Веса моделей распространяются по лицензии Apache 2.0. (Источник: BlockBeats)