SQLite AI відкриває джерела WASTE інференс-енджина для запуску Kimi K3 на MacBook з 64 ГБ

iconKuCoinFlash
Поділитися
AI summary iconКороткий зміст
SQLite AI відкрила свій інференс-енджин WASTE, що дозволяє повністю запускати модель Kimi K3 на MacBook Pro з 64 ГБ ОЗП. Модель, перетворена на 1 ТБ, працює зі швидкістю 0,49–0,54 токена на секунду. WASTE завантажує лише необхідних експертів з SSD, зберігаючи 27 ГБ основної частини в пам’яті. Ваги повторно квантовано до 3-бітного та 4–8-бітного форматів. Ця новина про ШІ та криптовалюту позначає крок вперед у на-ланцюгових новинах щодо ефективності моделей.
ME AI повідомлення: за даними моніторингу Beating, компанія з краєвих баз даних SQLite AI випустила відкритий інференсний рушій WASTE. Він дозволяє запускати Kimi K3 з усіма шарами та експертами на MacBook Pro з 64 ГБ ОЗП. Перетворена модель займає близько 1 ТБ, швидкість становить 0,49–0,54 токена на секунду. Приблизно 27 ГБ основної частини моделі залишаються в пам’яті, а понад 80 000 експертів розміщені на вбудованому SSD. Під час генерації кожного токена з диска читається лише поточний експерт. У цій версії не застосовано дистиляцію, обрізання чи видалення експертів. Однак ваги експертів були переведені до 3-бітного формату, а основна частина моделі використовує 4-бітний та 8-бітний формати. (Джерело: MLion)
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.