Согласно наблюдениям Beating, компания EdgeDB, SQLite AI, выпустила открытый инференс-движок WASTE. Он позволяет запускать Kimi K3 со всеми слоями и экспертами на MacBook Pro с 64 ГБ ОЗУ. Преобразованная модель занимает около 1 ТБ и работает со скоростью 0,49–0,54 токена в секунду. Около 27 ГБ основной части модели остаются в памяти, а более 80 000 экспертов размещены во встроенном SSD. При генерации каждого токена с диска считывается только текущий вызываемый эксперт. Эта версия не содержит дистилляции, обрезки или удаления экспертов. Однако веса экспертов были пере-квантованы до 3 бит, а основная часть модели использует 4-битную и 8-битную квантизацию.
SQLite AI открывает исходный код движка вывода WASTE для Kimi K3 на MacBook с 64 ГБ
MarsBitПоделиться
Сводка
SQLite AI открыла свой инференс-движок WASTE, позволяя полностью запустить модель Kimi K3 на MacBook Pro с 64 ГБ ОЗУ. Эта новость в блокчейне знаменует собой важный шаг в области AI + криптовалюты, так как модель работает со скоростью 0,49–0,54 токена в секунду. Модель объемом 1 ТБ сохраняет 27 ГБ основной части в памяти и загружает экспертов с SSD по мере необходимости. Веса переоцениваются до 3 бит, при этом основная часть использует 4 и 8 бит.
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.