Mesh LLM 利用閒置的 Nvidia GPU 建立去中心化 AI 計算網路

運行一個 2350 億參數的 AI 模型，過去需要租用價值數百萬美元的雲端運算資源。Mesh LLM 希望你利用家中、鄰居家中，甚至互聯網上一些陌生人手中的 GPU 來完成這項任務。

由開發者 Michael Neale 領導、並獲 Jack Dorsey 支持的開源項目，將多台設備閒置的 Nvidia GPU 汇聚成一個點對點網絡，可用於大型語言模型的分布式推理。

Mesh LLM 創建了一個跨越 macOS、Linux 和 Windows 裝置的分散式 GPU 網狀結構，並重點使用 Nvidia 的 CUDA 架構。該系統不會將您的 AI 查詢路由至 OpenAI 或 Google 的資料中心，而是將所有運算保留在本地或分佈於連接的節點上，完全無需中央伺服器參與。

該專案提供與 OpenAI 兼容的 API，意味著開發者無需重寫其應用程式，即可將 Mesh 作為雲端託管模型的即插即用替代方案。在底層，一種稱為「Skippy」的創新管道方法將大型模型分割並分佈到多個節點上。例如，一個具有 235 億參數的專家混合模型會被切分並分散到網絡上任何可用的硬體上。

資料傳輸依賴 iroh P2P 函式庫，該庫處理 NAT 穿透，這是當裝置位於路由器和防火牆後方時，使點對點連接變得困難的網路難題。

在區域網路設定下，Mesh LLM 在該 235B 模型上可達約 16 個詞元每秒。在廣域網路中，速度範圍為每秒 10 至 25 個詞元。

該項目支援數十個開源權重模型系列，包括 Qwen、Llama、GLM 和 DeepSeek 等變體。

一個名為 Meshtrain 的相關項目於 2026 年 8 月 27 日推出，為 GPU 提供者設計了激勵機制。貢獻者透過點對點本地帳本分享其計算資源，即可賺取「MeshCoin」。

該主流應用程式是 Block 的 Buzz 應用程式，Mesh 已整合於其中以實現社區計算共享。由 Dorsey 執行的金融科技公司 Block 一直穩步擴大其在比特幣和去中心化基礎設施領域的佈局。

Mesh LLM 的核心賣點之一是其無中央伺服器架構。當您透過網路運行模型時，您的資料從未接觸任何外部資料中心。

在廣域網上，性能相比本地設置會有所下降。當節點地理位置接近且通過低延遲鏈路連接時，該架構效果最佳。