LightSeek Foundation ra mắt Gateway mô hình Shepherd để giảm thiểu tình trạng nghẽn CPU của LLM

Thông báo từ AIMPACT, ngày 1 tháng 5 (UTC+8), Quỹ LightSeek vừa ra mắt Shepherd Model Gateway (SMG), một giải pháp nhằm giải quyết các điểm nghẽn sản xuất do các tác vụ đòi hỏi nhiều CPU nằm trên đường dẫn chính trong các dịch vụ LLM. Thiết kế của nó chuyển tất cả các tác vụ không sử dụng GPU sang một cổng được xây dựng bằng Rust, đồng thời thiết lập các ranh giới gRPC tối thiểu xung quanh quá trình suy luận, nhằm giảm thiểu sự cản trở của CPU đối với đường dẫn suy luận, từ đó nâng cao hiệu quả tổng thể của dịch vụ. (Nguồn: InFoQ)