Ginagamit ng Mesh LLM ang mga Nvidia GPU na walang ginagawa para sa decentralized AI compute network

Ang pagpapatakbo ng isang AI model na may 235 bilyong parameter ay dating nangangailangan ng pag-rent ng isang malaking halaga ng cloud compute. Gusto ng Mesh LLM na gawin mo ito gamit ang mga GPU na nasa bahay mo, bahay ng iyong kapitbahay, at posibleng ilang mga di kilalang tao sa internet.

Ang open-source project, na pinamumunuan ng developer na si Michael Neale at sinuportahan ni Jack Dorsey, ay nagpupulong ng mga Nvidia GPU na nasa kalagayang walang ginagawa mula sa iba’t ibang machine sa isang peer-to-peer network na may kakayahang magbigay ng distributed inference sa malalaking language models.

Nilikha ng Mesh LLM ang isang decentralizadong mesh ng GPUs na nagsasaklaw sa mga machine na may macOS, Linux, at Windows, na may malakas na tekad sa CUDA architecture ni Nvidia. Sa halip na i-rout ang iyong AI queries sa mga data center ni OpenAI o Google, pinapanatili ng sistema ang lahat ay lokal o distributed sa mga konektadong node na walang anumang pakikilahok ng sentral na server.

Ipinapakita ng proyekto ang isang OpenAI-compatible API, na nangangahulugan na ang mga developer ay maaaring palitan ang Mesh bilang isang drop-in replacement para sa mga cloud-hosted na model nang hindi muling isusulat ang kanilang mga aplikasyon. Sa ilalim ng kisame, isang bagong pipeline approach na tinatawag na “Skippy” ang nagpapartisyon sa malalaking model sa iba’t ibang node. Halimbawa, ang isang 235 bilyong-parameter Mixture of Experts model ay hinahati-hati at ipinapalaganap sa anumang hardware na available sa network.

Ang pagpapadala ng data ay nakasalalay sa iroh P2P library, na nag-aangkop sa NAT traversal, ang networking headache na nagiging sanhi ng hirap sa paggawa ng peer-to-peer na koneksyon kapag nasa likod ng routers at firewalls ang mga device.

Sa isang LAN setup, nakakamit ng Mesh LLM ang halos 16 tokens bawat segundo sa 235B model. Sa mga wide area network, ang bilis ay nasa pagitan ng 10 at 25 tokens bawat segundo.

Suportahan ng proyekto ang dozeng mga open-weight model family, kabilang ang Qwen, Llama, GLM, at mga variant ng DeepSeek.

Isang kaugnay na proyekto na tinatawag na Meshtrain, na itinatag noong Agosto 27, 2026, ay nagdaragdag ng isang istruktura ng insentibo para sa mga tagapagbigay ng GPU. Ang mga kontribyutor na nagbabahagi ng kanilang compute resources ay kumikita ng “MeshCoin” sa pamamagitan ng isang P2P local ledger.

Ang pangunahing aplikasyon ay ang Buzz app ni Block, kung saan na-integrate ang Mesh para sa pagbabahagi ng compute ng komunidad. Ang Block, ang fintech company na pinapatakbo ni Dorsey, ay patuloy na lumalawak ang kanyang presensya sa parehong Bitcoin at decentralized infrastructure.

Isa sa pangunahing katangian ng Mesh LLM ay ang kanyang zero-central-server architecture. Kapag ginagamit mo ang isang model sa network, ang iyong data ay hindi nagkakaroon ng pagkakontak sa anumang external data center.

Nagkakaroon ng pagbaba sa performance sa wide area networks kumpara sa local setups. Ang arkitektura ay gumagana nang pinakamabuti kapag ang mga node ay malapit sa heograpiko at konektado sa mga link na may mababang latency.