Hugging Face запускає Kernels Hub для попередньо скомпільованих GPU-операторів

ME News: 15 квітня (UTC+8), за даними 1M AI News, генеральний директор Hugging Face Клем Деланж оголосив про офіційний запуск Kernels на Hub. GPU-оператори — це низькорівневий оптимізаційний код, який дозволяє вивести графічні процесори на максимальну швидкість, прискорюючи висновки та навчання в 1,7–2,5 рази. Однак їх встановлення завжди було кошмаром: наприклад, для найпоширенішого FlashAttention локальна компіляція вимагає близько 96 ГБ оперативної пам’яті та кілька годин; навіть невеликі розбіжності у версіях PyTorch або CUDA призводять до помилок, і більшість розробників застрягають саме на цьому етапі. Kernels Hub переносить компіляцію до хмари. Hugging Face заздалегідь скомпілював оператори для різних конфігурацій графічних процесорів та операційних систем, і розробникам достатньо написати один рядок коду — Hub автоматично визначає середовище апаратного забезпечення та за кілька секунд завантажує вже скомпільовані файли, готові до використання. У одному процесі можна завантажити кілька версій операторів, що сумісні з torch.compile. Kernels були запущені у тестовому режимі у червні минулого року, а цього місяця їх було піднято до рівня першого класу репозиторіїв Hub, поставивши їх у один ряд з Models, Datasets та Spaces. На даний момент доступно 61 попередньо скомпільований оператор, що охоплює поширені сценарії, такі як увага, нормалізація, маршрутизація мішаних експертів та квантування. Підтримуються чотири платформи апаратного прискорення: NVIDIA CUDA, AMD ROCm, Apple Metal та Intel XPU. Kernels вже інтегровано в інфраструктуру TGI та бібліотеку Transformers від Hugging Face. (Джерело: BlockBeats)