Запуск AI-моделі з 235 мільярдами параметрів раніше вимагав оренди величезної кількості хмарних обчислювальних ресурсів. Mesh LLM хоче, щоб ви робили це за допомогою GPU, які вже знаходяться у вашому домі, у будинку сусіда та, можливо, кількох незнайомців у Інтернеті.
Відкритий проект, який керує розробник Майкл Ніл і підтримує Джек Дорсі, об’єднує не використовувані GPU Nvidia з кількох машин у пір-ту-пір мережу, здатну до розподіленого висновування на великих мовних моделях.
Як це працює насправді
Mesh LLM створює децентралізовану мережу GPU, що охоплює пристрої з macOS, Linux і Windows, з акцентом на архітектуру Nvidia CUDA. Замість того щоб направляти ваші запити до центрів обробки даних OpenAI чи Google, система зберігає все локально або розподіляє його між підключеними нодами без участі центрального сервера.
Проект надає API, сумісне з OpenAI, що означає, що розробники можуть замінити Mesh на заміну хмарним моделям без переписування своїх додатків. У підложі використовується новий підхід до конвеєра під назвою «Skippy», який розділяє масштабні моделі між кількома нодами. Наприклад, модель Mixture of Experts з 235 мільярдами параметрів розрізається на частини та розподіляється між будь-яким доступним обладнанням у мережі.
Передача даних здійснюється за допомогою бібліотеки iroh P2P, яка вирішує проблеми обходу NAT — мережеву складність, яка ускладнює встановлення з’єднань типу «точка-точка», коли пристрої знаходяться за маршрутизаторами та брандмауерами.
У налаштуванні LAN Mesh LLM досягає приблизно 16 токенів за секунду на цій моделі розміром 235 млрд. У мережах з великою площею покриття швидкість варіюється від 10 до 25 токенів за секунду.
Проект підтримує десятки сімей моделей з відкритими вагами, включаючи Qwen, Llama, GLM та варіанти DeepSeek.
Шар винагород
Пов’язаний проект під назвою Meshtrain, запущений 27 серпня 2026 року, додає систему стимулів для постачальників GPU. Учасники, які надають свої обчислювальні ресурси, отримують «MeshCoin» через P2P локальний реєстр.
Тою головною застосунком є Buzz від Block, де Mesh інтегровано для спільного використання обчислювальних ресурсів спільноти. Block, фінтех-компанія, якою керує Дорсі, поступово розширює своє присутність у сфері bitcoin та децентралізованих інфраструктур.
Приватність як функція, а не післядумка
Однією з ключових переваг Mesh LLM є його архітектура без центрального сервера. Коли ви запускаєте модель через мережу, ваші дані ніколи не контактуватимуть з зовнішнім центром обробки даних.
Продуктивність знижується у широких мережах порівняно з локальними налаштуваннями. Архітектура працює найкраще, коли ноди розташовані географічно близько і з’єднані зв’язками з низькою затримкою.