SQLite AI открывает исходный код движка WASTE для запуска Kimi K3 на MacBook с 64 ГБ ОЗУ

iconKuCoinFlash
Поделиться
AI summary iconСводка
SQLite AI открыла исходный код своего инференс-движка WASTE, позволяя полностью запустить модель Kimi K3 на MacBook Pro с 64 ГБ ОЗУ. Модель, сконвертированная в 1 ТБ, работает со скоростью 0,49–0,54 токена в секунду. WASTE загружает только необходимых экспертов с SSD, сохраняя 27 ГБ основной части в памяти. Веса повторно квантизированы до 3-бит и 4–8-бит. Эта новость об ИИ и криптовалюте знаменует собой шаг вперёд в области новостей на цепочке для эффективности моделей.
ME AI сообщение, согласно наблюдениям Beating, компания Edge Database выпустила открытый инференс-движок WASTE для SQLite AI. Он позволяет запускать Kimi K3 со всеми слоями и экспертами на MacBook Pro с 64 ГБ ОЗУ. Преобразованная модель занимает около 1 ТБ и работает со скоростью 0,49–0,54 токена в секунду. Около 27 ГБ основной части модели остаются в памяти, а более 80 000 экспертов размещены во встроенном SSD. При генерации каждого токена с диска считывается только текущий вызываемый эксперт. В этой версии не применяется дистилляция, обрезка или удаление экспертов. Однако веса экспертов были переоцифрованы до 3 бит, а основная часть модели использует 4- и 8-битную квантизацию. (Источник: MLion)
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.