根據動察 Beating 監測，邊緣資料庫公司 SQLite AI 開源了推理引擎 WASTE。它讓保留全部層和專家的 Kimi K3 能在一台 64GB MacBook Pro 上運行。轉換後的模型約佔 1TB，速度為每秒 0.49 至 0.54 個 Token。WASTE 將約 27GB 的模型主幹保留在記憶體中，8 萬多個專家存放在內建 SSD 上。每生成一個 Token，僅從硬碟讀取當前調用的專家。此版本未進行蒸餾、裁剪或刪除專家，但專家權重已被重新量化為 3-bit，模型主幹採用 4-bit 和 8-bit。
SQLite AI 開源推理引擎 WASTE，適用於 Kimi K3 與 64GB MacBook
MarsBit分享
精華摘要
SQLite AI 已開源其推理引擎 WASTE，讓完整的 Kimi K3 模型可在 64GB 的 MacBook Pro 上運行。這則鏈上新聞標誌著 AI + 加密貨幣新聞的重大進展，因為該模型的運行速度為每秒 0.49 至 0.54 個 token。1TB 的模型將 27GB 的主幹保留在記憶體中，並按需從 SSD 載入專家模塊。權重已重新量化為 3-bit，其中主幹使用 4-bit 和 8-bit。
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。
虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。