235 milyar parametreli bir AI modelini çalıştırmak, önce bir küçük servet kadar bulut hesaplama kaynağı kiralamayı gerektirirdi. Mesh LLM, bunu evinizde, komşunuzun evinde ve belki internet üzerindeki birkaç yabancının cihazlarında zaten bulunan GPU'larla yapmanızı istiyor.
Geliştirici Michael Neale tarafından yönetilen ve Jack Dorsey tarafından desteklenen açık kaynak projesi, birden fazla makinedeki boşta kalan Nvidia GPU'larını büyük dil modelleri üzerinde dağıtılmış çıkarım yapabilecek bir peer-to-peer ağına birleştirir.
Nasıl çalıştığı
Mesh LLM, macOS, Linux ve Windows makinalarını kapsayan bir GPU ağı oluşturur ve özellikle Nvidia'nın CUDA mimarisine odaklanır. AI sorgularınızı OpenAI'nin veya Google'ın veri merkezlerine yönlendirmek yerine, sistem tüm işlemleri yerel olarak veya bağlı node'lar arasında dağıtır ve hiçbir merkezi sunucu dahil edilmez.
Proje, OpenAI ile uyumlu bir API sunar, bu da geliştiricilerin uygulamalarını yeniden yazmadan Mesh'i bulutta barındırılan modellerin yerine kolayca kullanmalarını sağlar. Arka planda, “Skippy” adı verilen yenilikçi bir işlem hattı yaklaşımı, büyük modelleri birden fazla node arasında böler. Örneğin, 235 milyar parametrelik bir Uzmanlar Karışımı modeli, ağda mevcut olan herhangi bir donanım üzerinde parçalara ayrılır ve dağıtılarak kullanılır.
Veri iletimi, cihazlar router ve güvenlik duvarlarının ardında olduğunda noktadan noktaya bağlantıları zorlaştıran NAT geçişini yöneten iroh P2P kütüphanesine dayanır.
Bir LAN kurulumunda, Mesh LLM, 235B modeli üzerinde yaklaşık 16 token/saniye hızında çalışır. Geniş alan ağlarında hızlar saniyede 10 ile 25 token arasında değişir.
Proje, Qwen, Llama, GLM ve DeepSeek varyantlarını da içeren onlarca açık ağırlıklı model ailesini destekler.
Ödüller katmanı
27 Ağustos 2026'da başlatılan ilgili bir proje olan Meshtrain, GPU sağlayıcılar için bir teşvik yapısı ekler. Hesaplama kaynaklarını paylaşan katkıda bulunanlar, P2P yerel defter aracılığıyla “MeshCoin” kazanır.
Bu ana akım uygulama, Mesh'in topluluk hesaplama paylaşımı için entegre edildiği Block’ın Buzz uygulamasıdır. Dorsey tarafından yönetilen fin teknoloji şirketi Block, bitcoin ve merkeziyetsiz altyapıda adım adım varlığını genişletmektedir.
Gizlilik, bir özellik olarak, sonradan eklenen bir şey değil
Mesh LLM’nin temel satış noktalarından biri, sıfır merkezi sunucu mimarisidir. Bir modeli ağ üzerinden çalıştırdığınızda, verileriniz hiçbir zaman harici bir veri merkezine temas etmez.
Performans, yerel kurulumlara kıyasla geniş alan ağlarında biraz düşer. Mimari, düğümler coğrafi olarak yakın olduğunda ve düşük gecikmeli bağlantılarla birbirine bağlandığında en iyi şekilde çalışır.