Hugging Face запускает Kernels Hub для предварительно скомпилированных GPU-операторов

Согласно новости ME, 15 апреля (UTC+8), по данным 1M AI News, генеральный директор Hugging Face Клем Деланж объявил о официальном запуске Kernels на Hub. GPU-операторы — это низкоуровневый оптимизационный код, позволяющий добиться максимальной скорости работы видеокарт, ускоряющий вывод и обучение в 1,7–2,5 раза, но их установка всегда была кошмаром: например, для наиболее популярного FlashAttention локальная компиляция требует около 96 ГБ оперативной памяти и нескольких часов, а даже незначительное несоответствие версий PyTorch или CUDA приводит к ошибкам — большинство разработчиков застревают именно на этом этапе установки. Kernels Hub переносит компиляцию в облако. Hugging Face заранее скомпилировал операторы для различных конфигураций видеокарт и операционных систем; разработчику достаточно написать одну строку кода — Hub автоматически определяет аппаратную среду и за несколько секунд загружает предварительно скомпилированный файл, готовый к использованию. В одном процессе можно загружать несколько версий операторов, совместимых с torch.compile. Kernels были запущены в тестовом режиме в июне прошлого года, а в этом месяце были повышены до уровня основных репозиториев Hub, став равноправными с Models, Datasets и Spaces. На данный момент доступно 61 предварительно скомпилированный оператор, охватывающий распространённые сценарии, такие как механизмы внимания, нормализация, маршрутизация смешанных экспертов и квантование; поддерживается четыре платформы аппаратного ускорения: NVIDIA CUDA, AMD ROCm, Apple Metal и Intel XPU. Kernels уже интегрированы в фреймворк TGI и библиотеку Transformers от Hugging Face. (Источник: BlockBeats)