Повідомлення AIMPACT, 1 травня (UTC+8): Фонд LightSeek недавно випустив Shepherd Model Gateway (SMG), призначений для вирішення виробничих обмежень, спричинених тим, що CPU-інтенсивні завдання в LLM-сервісах розташовані на критичному шляху. Його дизайн передбачає перенесення всіх неграфічних завдань до шлюзу, побудованого на Rust, та встановлення мінімізованих gRPC-меж навколо процесу висновку, щоб зменшити блокування CPU на шляху висновку і таким чином підвищити загальну ефективність сервісу. (Джерело: InFoQ)
Фонд LightSeek запускає Shepherd Model Gateway для зменшення навантаження на ЦП LLM
KuCoinFlashПоділитися
Короткий зміст
Фонда LightSeek оголосив 1 травня 2026 року (UTC+8) про запуск Shepherd Model Gateway (SMG) для вирішення проблем зі швидкодією CPU у сервісах LLM. Рішення перенаправляє завдання, що не використовують GPU, до шлюзу на основі Rust і зменшує межі gRPC, щоб зменшити блокування CPU. Це оновлення з’явилося в он-чейн новинах як ключовий розвиток у крипто-новинах. Дизайн спрямований на підвищення ефективності сервісів для інференсу LLM.
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації.
Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.