Hugging Face lance Kernels Hub pour les opérateurs GPU pré-compilés

Selon les nouvelles de ME, le 15 avril (UTC+8), selon les données de 1M AI News, le PDG de Hugging Face, Clem Delangue, a annoncé le lancement officiel de Kernels sur Hub. Les opérateurs GPU sont des codes d'optimisation de base permettant d'atteindre la vitesse maximale des cartes graphiques, accélérant l'inférence et l'entraînement de 1,7 à 2,5 fois. Toutefois, leur installation a toujours été un cauchemar : par exemple, pour FlashAttention, le plus couramment utilisé, la compilation locale nécessite environ 96 Go de mémoire et plusieurs heures ; une légère incompatibilité entre la version de PyTorch et celle de CUDA entraîne des erreurs, ce qui bloque la plupart des développeurs à cette étape. Kernels Hub déplace la compilation vers le cloud. Hugging Face a pré-compilé les opérateurs dans divers environnements de cartes graphiques et de systèmes ; les développeurs n'ont qu'à écrire une seule ligne de code, et Hub détecte automatiquement l'environnement matériel, téléchargeant en quelques secondes des fichiers pré-compilés prêts à l'emploi. Un même processus peut charger plusieurs versions d'opérateurs différents et est compatible avec torch.compile. Kernels a été mis en test en juin dernier et a été promu ce mois-ci au rang de type de dépôt principal sur Hub, aux côtés de Models, Datasets et Spaces. Actuellement, 61 opérateurs pré-compilés sont disponibles, couvrant des scénarios courants tels que les mécanismes d'attention, la normalisation, le routage des experts mixtes et la quantification. Ils prennent en charge quatre plateformes d'accélération matérielle : NVIDIA CUDA, AMD ROCm, Apple Metal et Intel XPU, et sont déjà intégrés au framework d'inférence TGI et à la bibliothèque Transformers de Hugging Face. (Source : BlockBeats)