Mesh LLM memanfaatkan GPU Nvidia yang tidak digunakan untuk rangkaian komputasi AI terdesentralisasi

Menjalankan model AI dengan 235 bilion parameter dahulu memerlukan penyewaan komputasi awan bernilai besar. Mesh LLM ingin anda melakukannya dengan GPU yang sudah berada di rumah anda, rumah jiran anda, dan mungkin beberapa orang asing di internet.

Projek sumber terbuka, yang dipimpin oleh pembangun Michael Neale dan disokong oleh Jack Dorsey, mengumpulkan GPU Nvidia yang tidak digunakan dari pelbagai mesin ke dalam rangkaian peer-to-peer yang mampu menjalankan inferensi teragih pada model bahasa besar.

Mesh LLM menciptakan rangkaian terdesentralisasi GPU yang merangkumi mesin macOS, Linux, dan Windows, dengan penekanan kuat terhadap arsitektur CUDA Nvidia. Alih-alih menghala pertanyaan AI anda ke pusat data OpenAI atau Google, sistem ini mengekalkan semua perkara secara tempatan atau teragih di antara nod-nod yang terhubung tanpa sebarang penyertaan pelayan pusat.

Projek ini memaparkan API yang kompatibel dengan OpenAI, yang bermaksud pembangun boleh menggantikan model yang dihoskan awan dengan Mesh sebagai pengganti tanpa perlu menulis semula aplikasi mereka. Di belakang layar, pendekatan saluran baru yang dipanggil “Skippy” membahagikan model besar-besaran di antara beberapa nod. Sebagai contoh, model Mixture of Experts dengan 235 bilion parameter dipotong dan disebarkan ke mana-mana peranti keras yang tersedia di rangkaian.

Penghantaran data bergantung pada pustaka iroh P2P, yang mengendalikan pelintasan NAT, masalah rangkaian yang membuat sambungan peer-to-peer sukar apabila peranti berada di belakang router dan firewall.

Dalam pengaturan LAN, Mesh LLM mencapai kira-kira 16 token per saat pada model 235B. Melalui rangkaian kawasan luas, kelajuan berada antara 10 hingga 25 token per saat.

Projek ini menyokong puluhan keluarga model terbuka, termasuk Qwen, Llama, GLM, dan pelbagai DeepSeek.

Projek berkaitan bernama Meshtrain, dilancarkan pada 27 Ogos 2026, menambah struktur insentif untuk penyedia GPU. Penyumbang yang berkongsi sumber komputasi mereka mendapat “MeshCoin” melalui buku besar tempatan P2P.

Aplikasi utama itu ialah aplikasi Buzz Block, di mana Mesh telah diintegrasikan untuk perkongsian pengiraan komuniti. Block, syarikat fintech yang diuruskan oleh Dorsey, telah secara berterusan memperluaskan kehadirannya dalam bitcoin dan infrastruktur terdesentralisasi.

Salah satu titik jual utama Mesh LLM ialah arsitektur tanpa pelayan pusat. Apabila anda menjalankan model melalui rangkaian, data anda tidak pernah menyentuh pusat data luar.

Prestasi akan mengalami penurunan pada rangkaian kawasan luas berbanding pengaturan tempatan. Arsitektur berfungsi paling baik apabila nod-nod berada berdekatan secara geografi dan disambungkan melalui pautan latensi rendah.