SQLite AI 開源 WASTE 推理引擎，以在 64GB MacBook 上運行 Kimi K3

iconKuCoinFlash
分享
AI summary icon精華摘要
SQLite AI 已開源其 WASTE 推理引擎，讓完整的 Kimi K3 模型可在 64GB 的 MacBook Pro 上運行。該模型轉換為 1TB 後，運行速度為 0.49–0.54 個詞元/秒。WASTE 從 SSD 僅載入所需的專家，並將 27GB 的主幹保留在記憶體中。權重被重新量化為 3 位和 4–8 位。這項 AI 加加密貨幣新聞標誌著模型效率於鏈上新聞方面的一大進步。
ME AI 消息，根據動察 Beating 監測，邊緣資料庫公司 SQLite AI 開源推理引擎 WASTE。它讓保留全部層和專家的 Kimi K3，能在一臺 64GB MacBook Pro 上運行。轉換後的模型約佔 1TB，速度為每秒 0.49 至 0.54 個 Token。WASTE 把約 27GB 的模型主幹留在記憶體。8 萬多個專家放在內置 SSD。每生成一個 Token，只從硬碟讀取當前調用的專家。這個版本沒有蒸餾、裁剪或刪除專家。但專家權重被重新量化到 3-bit，模型主幹採用 4-bit 和 8-bit。（來源：MLion）
來源:顯示原文
免責聲明：本頁面資訊可能來自第三方，不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用，不構成任何形式的陳述或保證，也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏，或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息，請參閱我們的使用條款和風險披露 。