Laya-MLX 模型可在 1GB 本地記憶體上運行,提供快速決策

icon MarsBit
分享
AI summary icon精華摘要
一項新專案公告指出,Laya-MLX 模型現已可在 1GB 本地記憶體上運行,並針對 Apple 的 MLX 框架進行優化。多語言版本峰值記憶體使用量為 687.6MiB,在 M3 Max 上每秒可處理 395 個問題,且延遲極低。此鏈上新聞更新強調了對 Apple Silicon Mac 的本地部署支援。該開源專案已於 GitHub 上提供。

不是,Jev 才剛火了一週,不到 1GB 的本地版都出來了???

有開發者將開源平替 Laya 原生搬上 Apple MLX,做出了 Laya-MLX——

421M 參數版本,峰值 MLX 記憶體佔用僅為 943.6MiB。

換成 322M 的多語言版本,更是直接掉到了 687.6MiB。

決策模型

不使用雲端 API,無需 PyTorch 和 Transformers 運行時,模型下載到 Mac 後即可直接運行。

而且雖然體積小,速度卻相當快。

在 M3 Max 上,Laya-MLX 的一個短決策 P50 最快只需 7.39 ms;421M 版本也僅為 13.42 ms。

如果一次輸入 50 個問題,322M 多語言版本的吞吐量仍可達到 395 questions/s。

開源版 Jev

Jev 大家這兩天應該已經眼熟了。

它與普通 LLM 最大的區別,就是直接砍掉最耗時的文本生成,不聊天、不寫代碼、不碰文章……只專注做一件事:下判斷。

(Bert:嗯?這個工作內容我好像在哪裡聽過?)

缺少了逐 Token 生成這一步,推理速度自然與傳統 LLM 拉開了差距。

正是依靠這種簡單粗暴的玩法,Jev 發布後迅速出圈。

決策模型

緊接著,開源替代方案就來了。

Laya,一個多語言、非自迴歸的 System 1 決策模型。

思路與 Jev 類似,同樣不將算力花費在生成文本上,直接針對結構化問題輸出決策結果,在 GitHub 上已獲得 10.4k Star。

決策模型

它目前主要就做三類工作:

choice,從幾個選項中挑一個;score,根據給定標準打分;noul,判斷一件事為 True 的概率。

將一段 state 和需要判斷的問題一起輸入,一次 forward 即可直接獲得結果。

Laya 目前主要有三個 checkpoint。

英文版本基於 ModernBERT-large,421M 個參數;

多語言版本基於 mmBERT-base,僅有 322M 參數,支援 100 多種語言;

此外,還有一個針對 typed-decisions 工作流的 421M 版本。

決策模型

The model itself has only three to four hundred million parameters, and the speed is already quite fast.

原版 Laya 在 Tesla T4 上,單個問題約為 33 ms;批量處理時平均可達 7.2 ms/question,單卡吞吐量最高可達每秒數百個問題。

項目引用的第三方 Jev P50 延遲為 236~276ms,而 Laya 自測單問題為 32.8ms,約快 7~8 倍。

在 yped-decisions 的 2000 次決策測試中,專門微調過的 Laya 版本準確率為 76.6%(之前 Jev 公開成績為 72.7%)。

決策模型

開源版已推出,速度也不慢。

接著就有人開始琢磨,還能不能再小一點?

於是 Laya-MLX 來了。

本地 1GB 可運行

Laya-MLX 是 Laya 的推理堆棧。

開發者已經能夠自行部署原版 Laya,但主要運行在 PyTorch、Transformers 這套環境中。

mizorewww 在 Apple MLX 框架上重新實現了 Laya 完整神經網路架構,讓模型能夠原生運行於 Apple Silicon 上。

PyTorch 和 Transformers runtime 都可以移除,也不需要請求雲端 API。

而且更換推理棧後,原有的結果也必須一致。

Laya-MLX 分別以 FP32 和 FP16 對三個 checkpoint 進行了驗證,在 63 個驗證問題上,全部匹配原版 Laya 選擇的答案。

三個模型、兩種精度,共計 378/378 次對比通過,未出現推理結果漂移。

測試機器為 M3 Max,40 核 GPU、128 GB 統一記憶體。

決策模型

421M 英文版本在處理一個短問題時,峰值 MLX 分配為 943.6MiB;322M 多語言版本進一步降至 687.6MiB。

但速度並未隨之縮水。

在相同的 M3 Max 上,421M 版本處理一個短問題的 P50 延遲為 13.42ms;322M 多語言版本為 7.39ms。

P95 分別只有 13.92 ms 和 7.79 ms。

如果一次塞入 50 個問題,多語言版本的吞吐量可直接提升至 395 questions/s。

決策模型

而且這些時間還不是模型核心算子的裸延遲。

The project's timing range includes prompt preparation, tokenization, tensor construction, synchronized inference, calibration, and final result formatting, excluding only the model loading time.

換句話說,7.39 ms 測量的是從進場到得出結果的一次短線決策的端到端延遲。

Laya-MLX can make decisions for the Snake game at a speed of 60 times per second.

這裡每走一步都會實際調用一次 Laya,根據當前狀態重新做出決策,外部則由 cycle safety layer 對危險動作進行糾正。

在開啟專案測試過的編譯和 prefix reuse 優化後,在同一台 M3 Max 上連續跑 2400 步——

75.40 次移動/秒,0 次死亡。

在整個過程中,安全層共介入了 2 次,僅在少數情境下進行了動作修正。

三行運行

感興趣的朋友可直接在 Apple Silicon Mac 上本地部署。

目前項目要求 Python 3.11+、macOS 14+。

安裝依賴後,可直接導入庫使用,載入已轉換好的 checkpoint:

pip install laya-mlx import laya_mlx as laya agent = laya.load(“aac6fef/laya-mlx”)

接下來只需將 state 和問題交給 agent.predict()。

首次運行時會自動下載 checkpoint,之後的推理即可完全在本地進行。

決策模型

當然,小也有小的代價。

421M 的英文版本上下文僅有 512 個 tokens;

322M 多語言版和 421M typed-decisions 版本,也僅有 1024 tokens。

1k 上下文還需同時容納 state、instructions 和 options,因此它更適合短輸入、高頻調用、輸出結構明確的決策任務。

短板客觀存在,但擋不住開源大神連夜跟進,沒錯我們已經在開發下一版了!

Jev:我才剛火了一週。。。

項目地址:https://github.com/mizorewww/laya-mlx

本文來自微信公眾號「量子位」,作者:聞樂

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。