Caltech відкриває джерела 1-бітної моделі Bonsai: 8 млрд параметрів при 1,15 ГБ, 44 ток/с на iPhone

iconChainthink
Поділитися
Share IconShare IconShare IconShare IconShare IconShare IconCopy
AI summary iconКороткий зміст

expand icon
Новини на ланцюгу: Caltech з PrismML під керівництвом Бабака Хассібі відкрили код моделей Bonsai AI з 1-бітним точністю. Варіант 8B має 8,2 мільярда параметрів, займає 1,15 ГБ пам’яті і працює зі швидкістю 44 токени за секунду на iPhone 17 Pro Max. Новини про штучний інтелект і криптовалюту: модель використовує в 4–5 разів менше енергії, ніж 16-бітні версії. PrismML зібрала 16,25 мільйона доларів США у рамках SAFE та початкових інвестицій від Khosla Ventures, Cerberus Capital та Caltech.

ChainThink повідомляє, що 1 квітня 2026 року, за даними 1M AI News, AI-лабораторія PrismML, заснована математиком Каліфорнійського технологічного інституту Бабаком Хассібі, завершила період прихованої розробки та відкрила код серії великих мовних моделей 1-bit Bonsai. Флагманська модель 1-bit Bonsai 8B має 8,2 мільярда параметрів та займає лише 1,15 ГБ пам’яті, що на 14 разів менше, ніж у аналогічних 16-бітних моделей. Також були опубліковані дві менші моделі: 4B (0,5 ГБ) та 1,7B (0,24 ГБ).


Bonsai 8B — це енд-ту-енд справжній 1-бітний моделю, у якому всі шари: вбудовування, уваги, MLP та вихідний заголовок, мають ваги лише +1 або -1, без високоточних патчів. PrismML стверджує, що його здатність до висновків та мовного розуміння на стандартних тестах порівнянна з 16-бітними повноточними моделями. Основна математика стиснення була розроблена командою в Каліфорнійському технологічному інституті протягом кількох років, і інтелектуальна власність належить Каліфорнійському технологічному інституту; PrismML є єдиним виключним ліцензіатом. Модель навчалася на TPU v4 від Google.


За результатами реальних вимірювань: на M4 Pro Mac — 136 ток/с, на RTX 4090 — 440 ток/с, на iPhone 17 Pro Max — приблизно 44 ток/с; стандартна 16-бітна 8B-модель не вміщується на жодному iPhone, а енергоспоживання зменшено приблизно в 4–5 разів порівняно з 16-бітною моделлю. PrismML зазначає, що сучасне обладнання не розроблене для 1-бітного висновку, і переваги швидкості та енергоефективності зумовлені головним чином зменшенням використання пам’яті. Якщо у майбутньому з’явиться обладнання, спеціально розроблене для 1-бітного висновку, ефективність може зросту ще на порядок.


PrismML завершила раунд фінансування SAFE та посівний раунд на 16,25 мільйона доларів США з інвестиціями від Khosla Ventures, Cerberus Capital та Каліфорнійського технологічного інституту. Засновник Khosla Ventures Вінод Хосла оцінив цей досягнення як «не просто ітерацію, а великий технологічний прорив, математичний прорив, а не ще один малий модуль».

Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.