ข้อความจาก AIMPACT: วันที่ 1 พฤษภาคม (UTC+8) องค์กร LightSeek Foundation เพิ่งเปิดตัว Shepherd Model Gateway (SMG) ซึ่งมีเป้าหมายเพื่อแก้ไขปัญหาขวดไห้ในการผลิตที่เกิดจากงานที่ใช้ CPU หนักอยู่บนเส้นทางหลักของบริการ LLM โดยการออกแบบนี้จะย้ายงานทั้งหมดที่ไม่ใช่ GPU ไปยังเกตเวย์ที่สร้างด้วย Rust และตั้งขอบเขต gRPC ให้เล็กที่สุดรอบกระบวนการให้เหตุผล เพื่อลดการขัดขวางของ CPU ต่อเส้นทางการให้เหตุผล จึงช่วยเพิ่มประสิทธิภาพโดยรวมของบริการ (ที่มา: InFoQ)
LightSeek Foundation เปิดตัว Shepherd Model Gateway เพื่อลดข้อจำกัดของ CPU ในการประมวลผล LLM
KuCoinFlashแชร์
สรุป
LightSeek Foundation ประกาศเมื่อวันที่ 1 พฤษภาคม 2026 (UTC+8) การเปิดตัว Shepherd Model Gateway (SMG) เพื่อแก้ไขปัญหาข้อจำกัดของ CPU ในบริการ LLM โซลูชันนี้จะส่งงานที่ไม่ใช่ GPU ไปยังเกตเวย์ที่ใช้ Rust และลดขอบเขตของ gRPC เพื่อลดการบล็อก CPU การอัปเดตนี้ปรากฏในข่าวบนโซ่เป็นการพัฒนาสำคัญในข่าวคริปโต ดีไซน์นี้มีเป้าหมายเพื่อเพิ่มประสิทธิภาพของบริการสำหรับการอนุมาน LLM
แหล่งที่มา:แสดงต้นฉบับ
คำปฏิเสธความรับผิดชอบ: ข้อมูลในหน้านี้อาจได้รับจากบุคคลที่สาม และไม่จำเป็นต้องสะท้อนถึงมุมมองหรือความคิดเห็นของ KuCoin เนื้อหานี้จัดทำขึ้นเพื่อวัตถุประสงค์ในการให้ข้อมูลทั่วไปเท่านั้น โดยไม่มีการรับรองหรือการรับประกัน และจะไม่ถูกตีความว่าเป็นคำแนะนำทางการเงินหรือการลงทุน KuCoin จะไม่รับผิดชอบต่อความผิดพลาดหรือการละเว้นในเนื้อหา หรือผลลัพธ์ใดๆ ที่เกิดจากการใช้ข้อมูลนี้
การลงทุนในสินทรัพย์ดิจิทัลอาจมีความเสี่ยง โปรดประเมินความเสี่ยงของผลิตภัณฑ์และความเสี่ยงที่คุณยอมรับได้อย่างรอบคอบตามสถานการณ์ทางการเงินของคุณเอง โปรดดูข้อมูลเพิ่มเติมได้ที่ข้อกำหนดการใช้งานและเอกสารเปิดเผยข้อมูลความเสี่ยงของเรา