Hugging Face lança o Kernels Hub para operadores GPU pré-compilados

Notícia da ME, 15 de abril (UTC+8): segundo monitoramento da 1M AI News, o CEO da Hugging Face, Clem Delangue, anunciou o lançamento oficial do Kernels no Hub. Os operadores GPU são códigos de otimização de baixo nível que permitem que as placas gráficas atinjam sua velocidade máxima, acelerando a inferência e o treinamento em 1,7 a 2,5 vezes; no entanto, sua instalação sempre foi um pesadelo: por exemplo, o FlashAttention, o mais utilizado, exige cerca de 96 GB de memória e várias horas para compilação local, e qualquer discrepância nas versões do PyTorch ou CUDA gera erros — a maioria dos desenvolvedores é bloqueada nessa etapa de instalação. O Kernels Hub transfere a compilação para a nuvem. A Hugging Face já compila previamente os operadores em diversos ambientes de placas gráficas e sistemas; os desenvolvedores escrevem uma única linha de código, e o Hub automaticamente detecta o ambiente de hardware e baixa os arquivos pré-compilados em segundos, prontos para uso. O mesmo processo pode carregar múltiplos operadores de versões diferentes, com compatibilidade total com torch.compile. O Kernels foi lançado em teste em junho do ano passado e foi atualizado este mês para se tornar um tipo de repositório principal no Hub, ao lado de Models, Datasets e Spaces. Atualmente, já existem 61 operadores pré-compilados, cobrindo cenários comuns como mecanismos de atenção, normalização, roteamento de especialistas mistos e quantização, com suporte às quatro plataformas de aceleração de hardware: NVIDIA CUDA, AMD ROCm, Apple Metal e Intel XPU, já integrados ao framework de inferência TGI e à biblioteca Transformers da Hugging Face. (Fonte: BlockBeats)