Menjalankan model AI dengan 235 miliar parameter sebelumnya memerlukan penyewaan komputasi cloud senilai kekayaan kecil. Mesh LLM ingin Anda melakukannya dengan GPU yang sudah ada di rumah Anda, rumah tetangga Anda, dan mungkin beberapa orang asing di internet.
Proyek open-source, yang dipimpin oleh pengembang Michael Neale dan didukung oleh Jack Dorsey, mengumpulkan GPU Nvidia yang tidak terpakai dari berbagai mesin ke dalam jaringan peer-to-peer yang mampu melakukan inferensi terdistribusi pada model bahasa besar.
Bagaimana cara kerjanya sebenarnya
Mesh LLM menciptakan jaringan terdistribusi GPU yang mencakup mesin macOS, Linux, dan Windows, dengan penekanan kuat pada arsitektur CUDA milik Nvidia. Alih-alih mengarahkan permintaan AI Anda ke pusat data OpenAI atau Google, sistem ini menyimpan semuanya secara lokal atau terdistribusi di seluruh node yang terhubung tanpa keterlibatan server pusat sama sekali.
Proyek ini menyediakan API yang kompatibel dengan OpenAI, yang berarti pengembang dapat mengganti model yang dihosting di cloud dengan Mesh sebagai pengganti langsung tanpa harus menulis ulang aplikasi mereka. Di balik layar, pendekatan pipeline baru yang disebut “Skippy” membagi model besar-besar di antara beberapa node. Sebagai contoh, model Mixture of Experts dengan 235 miliar parameter dipotong-potong dan disebar di perangkat keras apa pun yang tersedia di jaringan.
Transmisi data bergantung pada pustaka iroh P2P, yang menangani traversing NAT, masalah jaringan yang membuat koneksi peer-to-peer sulit ketika perangkat berada di belakang router dan firewall.
Pada pengaturan LAN, Mesh LLM mencapai sekitar 16 token per detik pada model 235B. Di atas jaringan area luas, kecepatan berkisar antara 10 hingga 25 token per detik.
Proyek ini mendukung puluhan keluarga model dengan bobot terbuka, termasuk Qwen, Llama, GLM, dan varian DeepSeek.
Lapisan hadiah
Proyek terkait bernama Meshtrain, diluncurkan pada 27 Agustus 2026, menambahkan struktur insentif bagi penyedia GPU. Kontributor yang berbagi sumber daya komputasi mereka mendapatkan “MeshCoin” melalui buku besar lokal P2P.
Aplikasi utama tersebut adalah aplikasi Buzz milik Block, tempat Mesh telah diintegrasikan untuk berbagi komputasi komunitas. Block, perusahaan fintech yang dijalankan oleh Dorsey, terus memperluas kehadirannya di bitcoin dan infrastruktur terdesentralisasi.
Privasi sebagai fitur, bukan setelahnya
Salah satu keunggulan utama Mesh LLM adalah arsitektur tanpa server pusat. Saat Anda menjalankan model melalui jaringan, data Anda tidak pernah menyentuh pusat data eksternal.
Kinerja memang mengalami penurunan pada jaringan area luas dibandingkan dengan pengaturan lokal. Arsitektur bekerja paling baik ketika node-node berada dekat secara geografis dan terhubung oleh tautan dengan latensi rendah.