PrismML запускає 1,58-бітну тернарну модель Bonsai з у 9 разів меншими параметрами та вищою інтелектуальністю

ME News: 17 квітня (UTC+8), за даними моніторингу Beating, PrismML випустила серію мовних моделей Ternary Bonsai, які за допомогою технології 1,58 біта (ternary weights) зменшили використання відеопам’яті до дев’ятої частини порівняно з 16-бітними моделями, зберігаючи високу продуктивність. Серія включає три версії з розмірами параметрів 8B, 4B та 1,7B і вже відкрита на Hugging Face з підтримкою нативного запуску на пристроях Apple. Під 1,58-бітною моделлю розуміють обмеження ваг нейронної мережі до трьох значень: {-1, 0, +1}. У порівнянні з попередніми 1-бітними моделями (ваги лише {-1, +1}), додавання значення «0» ефективно видаляє надлишкові з’єднання, дозволяючи моделі зберігати складні здатності до міркувань навіть при надзвичайно малих розмірах. Ваги Ternary Bonsai 8B займають лише 1,75 ГБ, а їхній середній бал у базових тестах становить 75,5 — це на 5 балів вище, ніж у власної 1-бітної версії, і значно перевищує «розумну щільність» (продуктивність на один ГБ відеопам’яті) таких схожих щільних моделей, як Qwen3. Ще однією ключовою перевагою цієї серії є енергоефективність та швидкість роботи. На iPhone 17 Pro Max швидкість роботи версії 8B досягає 27 ток/с, а енергоефективність зростає приблизно у 3–4 рази. Це означає, що розробники, яким потрібно розгорнути потужний ШІ на таких пристроях, як смартфони або ноутбуки, можуть отримати майже таку ж розумову продуктивність, як у повнорозмірних моделей, за мінімальну вартість пам’яті. Наразі моделі Ternary Bonsai мають нативну підтримку на пристроях Apple через фреймворк MLX. Ваги моделей розповсюджуються за ліцензією Apache 2.0. (Джерело: BlockBeats)