Сообщение AIMPACT, 1 мая (UTC+8): Фонд LightSeek недавно выпустил Shepherd Model Gateway (SMG), предназначенный для устранения производственных узких мест, вызванных высокой нагрузкой на CPU в критических путях сервисов LLM. Основная идея заключается в перемещении всей нек GPU-работы в шлюз, построенный на Rust, и установке минимальных gRPC-границ вокруг процесса вывода, чтобы снизить блокировку CPU на пути вывода и повысить общую эффективность сервиса. (Источник: InFoQ)
LightSeek Foundation запускает шлюз Shepherd Model для снятия узких мест CPU в LLM
KuCoinFlashПоделиться
Сводка
LightSeek Foundation объявила 1 мая 2026 года (UTC+8) о запуске Shepherd Model Gateway (SMG) для решения проблем с узкими местами CPU в сервисах LLM. Решение перенаправляет задачи, не требующие GPU, на шлюз на основе Rust и сокращает границы gRPC для уменьшения блокировок CPU. Это обновление отражено в блокчейн-новостях как ключевое развитие в крипто-новостях. Дизайн направлен на повышение эффективности сервисов для инференса LLM.
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации.
Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.