Mesej AIMPACT, 1 Mei (UTC+8), Yayasan LightSeek baru saja melancarkan Shepherd Model Gateway (SMG), yang bertujuan untuk menyelesaikan bottleneck pengeluaran yang disebabkan oleh tugas yang memerlukan CPU berat berada di laluan kritikal dalam perkhidmatan LLM. Reka bentuknya menggerakkan semua tugas bukan GPU ke dalam gateway yang dibina berdasarkan Rust, serta menetapkan sempadan gRPC yang minimum mengelilingi proses inferens untuk mengurangkan halangan CPU terhadap laluan inferens, seterusnya meningkatkan kecekapan perkhidmatan keseluruhan. (Sumber: InFoQ)
LightSeek Foundation melancarkan Gateway Model Shepherd untuk mengurangkan beban CPU LLM
KuCoinFlashKongsi
Ringkasan
LightSeek Foundation mengumumkan pada 1 Mei 2026 (UTC+8), pelancaran Shepherd Model Gateway (SMG) untuk mengatasi bottleneck CPU dalam perkhidmatan LLM. Penyelesaian ini menghala tugas bukan-GPU ke gateway berasaskan Rust dan mengurangkan sempadan gRPC untuk mengurangkan blok CPU. Kemas kini ini muncul dalam berita on-chain sebagai perkembangan utama dalam berita kripto. Reka bentuk ini bertujuan untuk meningkatkan kecekapan perkhidmatan untuk inferens LLM.
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini.
Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.