在 macOS 27 中搭載的 LLM 見到的報導不多,因此我特別做了介紹 https://t.co/7m33xszKVb Mac 上內建的 AI 真的能用於工作嗎?工程師觀點評測 Apple 的「fm」【macOS 27 / fm 命令 / 本地 LLM】 由 CodeRabbit 所屬的 兔子駭客的 AI 實驗室 #AI摘要 macOS 27 內建的本地 LLM「fm 命令」實力與應用方式 🔳 Apple 將本地 LLM 標準內建 影片介紹了 macOS 27 中內建了 Apple 自家的本地 LLM「fm 命令」。此功能可在搭載 Apple Silicon 的 Mac 上無需依賴雲端即可執行 AI,因而備受關注。 🔳 離線使用、免費且無使用次數限制 fm 命令無需互聯網連接即可運行,無論使用多少次均不會產生額外費用。由於所有處理均在本地完成,不向外部傳輸數據,因此在隱私保護方面也具備優勢。 🔳 使用條件與初始設定 影片說明需具備 Apple M3 或更高版本的晶片,且記憶體需超過 12GB。首次使用時,需先執行「fm license」同意使用條款,再以「fm available」確認模型是否可用。待模型啟用後即可開始使用。 🔳 fm 命令的主要功能 可透過「fm chat」進行對話式 AI 互動,並以「fm respond」處理單次提問。此外還支援基於 OCR 的圖片文字提取、條碼讀取、JSON 格式結構化輸出,以及 API 伺服器功能等。 🔳 透過 OpenAI 兼容 API 與外部工具整合 可透過「fm serve」啟動本地 API 伺服器,並透過 OpenAI 兼容介面,讓 OpenCode 等外部工具呼叫 fm,進而整合至 AI 代理或自動化系統中。 🔳 與 Python 及 Shell 腳本的整合 結合 Python SDK 或 Shell 腳本,可實現翻譯、OCR、檔案整理等自動化處理。若指定 JSON schema 作為輸出格式,則更易於程式讀取與處理結果。 🔳 最大弱點:8192 令牌的上下文限制 上下文視窗僅為 8192 令牌,相對較小,不適合處理長文或大型編碼任務。影片中將其與 2023 年左右的 GPT-3.5 Turbo 作比較,認為與當前高性能 LLM 相比,限制較為明顯。 🔳 知識陳舊與幻覺問題 影片中的測試指出,該模型的知識截止於 2024 年 10 月左右,無法自主搜尋最新資訊,存在事實錯誤與幻覺風險。不過,在某些提問中(例如正確否定虛構小說),仍能提供合理回應。 🔳 透過 OpenCode 驗證編碼能力 將 fm 設定為 OpenCode 的子代理,成功建立一個 HTML 的待辦事項應用程式。約耗時 20 分鐘實現基本的新增與刪除功能,但 UI 簡陋,且仍存在日文輸入問題。 🔳 作為子代理的應用潛力 由於上下文限制嚴格,fm 更適合擔任子代理角色,而非主體 AI。實際應用上,建議用於翻譯、文字提取、簡單程式碼生成等有限任務。 ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon ListItemIcon 🔳 期待用於大量資料自動處理 適用於一次性處理數百至數千張圖片的 OCR,或將長文分割後進行翻譯等場景。由於無使用次數收費,與程式結合進行重複處理具有明顯優勢。 🔳 當前綜合評價 雖尚未達到最新雲端 LLM 的同等性能,但其免費與離線特性仍具價值。對開發者而言,作為小規模自動化或 AI 代理實驗的選擇,仍是一項值得關注的選項。


