การรันโมเดล AI ที่มีพารามิเตอร์ 235 พันล้านตัวก่อนหน้านี้ต้องเช่าทรัพยากรคอมพิวเตอร์บนคลาวด์ในจำนวนที่มหาศาล แต่ Mesh LLM ต้องการให้คุณทำสิ่งนี้ด้วย GPU ที่มีอยู่แล้วในบ้านของคุณ บ้านของเพื่อนบ้าน และอาจมีผู้ใช้แปลกหน้าไม่กี่คนบนอินเทอร์เน็ต
โครงการโอเพ่นซอร์สที่นำโดยนักพัฒนา Michael Neale และได้รับการสนับสนุนจาก Jack Dorsey รวม GPU ของ Nvidia ที่ไม่ได้ใช้งานจากเครื่องหลายเครื่องเข้าเป็นเครือข่ายแบบเพียร์ทูเพียร์ที่สามารถดำเนินการประมวลผลแบบกระจายบนโมเดลภาษาขนาดใหญ่
มันทำงานอย่างไร
Mesh LLM สร้างเครือข่ายแบบกระจายของ GPU ข้ามอุปกรณ์ macOS, Linux และ Windows โดยเน้นที่สถาปัตยกรรม CUDA ของ Nvidia เป็นหลัก แทนที่จะส่งคำขอ AI ของคุณไปยังศูนย์ข้อมูลของ OpenAI หรือ Google ระบบจะเก็บทุกอย่างไว้ที่เครื่องของคุณหรือกระจายไปยังโหนดที่เชื่อมต่อโดยไม่มีเซิร์ฟเวอร์กลางใดๆ
โปรเจกต์นี้เปิดให้ใช้งาน API ที่เข้ากันได้กับ OpenAI ซึ่งหมายความว่านักพัฒนาสามารถแทนที่โมเดลที่โฮสต์บนคลาวด์ด้วย Mesh ได้ทันทีโดยไม่ต้องเขียนโค้ดใหม่สำหรับแอปพลิเคชันของตน ภายใต้พื้นผิว แนวทางการประมวลผลแบบใหม่ที่เรียกว่า “Skippy” จะแบ่งโมเดลขนาดใหญ่ออกเป็นส่วนๆ และกระจายไปยังโหนดหลายตัว ตัวอย่างเช่น โมเดล Mixture of Experts ที่มีพารามิเตอร์ 235 พันล้านค่า จะถูกตัดเป็นชิ้นๆ และกระจายไปยังฮาร์ดแวร์ใดๆ ที่มีอยู่ในเครือข่าย
การส่งข้อมูลอิงจากไลบรารี iroh P2P ซึ่งจัดการการเจาะผ่าน NAT ปัญหาเครือข่ายที่ทำให้การเชื่อมต่อแบบเพียร์ทูเพียร์ยากเมื่ออุปกรณ์อยู่เบื้องหลังรูเตอร์และไฟร์วอลล์
ในการตั้งค่า LAN Mesh LLM สามารถทำได้ประมาณ 16 โทเค็นต่อวินาทีบนโมเดล 235B โดยบนเครือข่ายพื้นที่กว้าง ความเร็วอยู่ระหว่าง 10 ถึง 25 โทเค็นต่อวินาที
โครงการนี้รองรับครอบครัวโมเดลเปิดนับสิบ รวมถึง Qwen, Llama, GLM และรุ่น DeepSeek
ชั้นรางวัล
โครงการที่เกี่ยวข้องชื่อ Meshtrain ซึ่งเปิดตัวเมื่อวันที่ 27 สิงหาคม 2026 ได้เพิ่มโครงสร้างแรงจูงใจสำหรับผู้ให้บริการ GPU ผู้มีส่วนร่วมที่แบ่งปันทรัพยากรการประมวลผลจะได้รับ “MeshCoin” ผ่านสมุดบัญชีท้องถิ่นแบบ P2P
แอปพลิเคชันหลักที่ว่านั้นคือแอป Buzz ของ Block ซึ่ง Mesh ได้รับการผสานรวมไว้เพื่อการแชร์การคำนวณของชุมชน Block บริษัทฟินเทคที่ Dorsey บริหาร ได้ขยายการมีอยู่อย่างต่อเนื่องในทั้ง Bitcoin และโครงสร้างพื้นฐานแบบกระจายศูนย์
ความเป็นส่วนตัวเป็นคุณสมบัติ ไม่ใช่สิ่งที่คิดทีหลัง
จุดขายหลักหนึ่งของ Mesh LLM คือสถาปัตยกรรมแบบไม่มีเซิร์ฟเวอร์กลาง เมื่อคุณรันโมเดลผ่านเครือข่าย ข้อมูลของคุณจะไม่เคยสัมผัสกับศูนย์ข้อมูลภายนอก
ประสิทธิภาพจะลดลงเล็กน้อยบนเครือข่ายพื้นที่กว้างเมื่อเปรียบเทียบกับการตั้งค่าแบบท้องถิ่น สถาปัตยกรรมนี้ทำงานได้ดีที่สุดเมื่อโหนดอยู่ใกล้กันทางภูมิศาสตร์และเชื่อมต่อด้วยลิงก์ที่มีความหน่วงต่ำ