Việc chạy mô hình AI với 235 tỷ tham số trước đây đòi hỏi phải thuê một lượng lớn tài nguyên điện toán đám mây. Mesh LLM muốn bạn thực hiện điều đó bằng cách sử dụng các GPU đã có sẵn trong nhà bạn, nhà hàng xóm và có thể cả một vài người lạ trên internet.
Dự án mã nguồn mở, do nhà phát triển Michael Neale dẫn dắt và được Jack Dorsey ủng hộ, tập hợp các GPU Nvidia đang nghỉ ngơi từ nhiều máy tính thành một mạng ngang hàng có khả năng thực hiện suy luận phân tán trên các mô hình ngôn ngữ lớn.
Nó hoạt động thực tế như thế nào
Mesh LLM tạo ra một mạng lưới phân tán các GPU trải dài trên các máy macOS, Linux và Windows, với trọng tâm mạnh mẽ vào kiến trúc CUDA của Nvidia. Thay vì chuyển các truy vấn AI của bạn đến trung tâm dữ liệu của OpenAI hoặc Google, hệ thống giữ mọi thứ tại chỗ hoặc phân phối trên các nút mạng được kết nối mà không cần sự tham gia của máy chủ trung tâm.
Dự án cung cấp một API tương thích với OpenAI, nghĩa là các nhà phát triển có thể thay thế các mô hình được lưu trữ trên đám mây bằng Mesh mà không cần viết lại ứng dụng của họ. Về mặt nội bộ, một phương pháp pipeline mới gọi là “Skippy” chia nhỏ các mô hình khổng lồ thành nhiều nút mạng. Ví dụ, một mô hình Mixture of Experts với 235 tỷ tham số sẽ được chia nhỏ và phân phối trên bất kỳ phần cứng nào có sẵn trên mạng.
Việc truyền dữ liệu dựa trên thư viện iroh P2P, xử lý vấn đề NAT — nỗi ám ảnh mạng khiến các kết nối điểm-điểm trở nên khó khăn khi thiết bị nằm sau các bộ định tuyến và tường lửa.
Trên cấu hình LAN, Mesh LLM đạt khoảng 16 token mỗi giây trên mô hình 235B. Trên các mạng diện rộng, tốc độ dao động từ 10 đến 25 token mỗi giây.
Dự án hỗ trợ hàng chục họ mô hình mở trọng số, bao gồm các biến thể Qwen, Llama, GLM và DeepSeek.
Lớp phần thưởng
Một dự án liên quan gọi là Meshtrain, ra mắt vào ngày 27 tháng 8 năm 2026, thêm cơ chế khuyến khích cho các nhà cung cấp GPU. Những người đóng góp tài nguyên tính toán sẽ nhận được “MeshCoin” thông qua sổ cái địa phương P2P.
Ứng dụng phổ biến đó là ứng dụng Buzz của Block, nơi Mesh đã được tích hợp để chia sẻ tính toán cộng đồng. Block, công ty fintech do Dorsey điều hành, đã không ngừng mở rộng sự hiện diện của mình trong cả bitcoin và hạ tầng phi tập trung.
Quyền riêng tư như một tính năng, không phải việc làm sau
Một trong những điểm bán hàng cốt lõi của Mesh LLM là kiến trúc không có máy chủ trung tâm. Khi bạn chạy một mô hình qua mạng, dữ liệu của bạn không bao giờ tiếp xúc với trung tâm dữ liệu bên ngoài.
Hiệu suất sẽ bị ảnh hưởng trên các mạng diện rộng so với các thiết lập cục bộ. Kiến trúc hoạt động tốt nhất khi các nút mạng ở gần nhau về mặt địa lý và được kết nối bằng các liên kết độ trễ thấp.