أطلقت Hugging Face Kernels Hub لمشغّلي GPU المُعدّة مسبقًا

أخبار ME، في 15 أبريل (UTC+8)، وفقًا لمراقبة 1M AI News، أعلنت كليمن ديلانغ، الرئيس التنفيذي لشركة Hugging Face، عن إطلاق Kernels رسميًا على Hub. إن عوامل GPU هي كودات تحسين أساسية تُمكّن بطاقة الرسوميات من تحقيق أقصى سرعة، ويمكنها تسريع الاستنتاج والتدريب من 1.7 إلى 2.5 مرة، لكن التثبيت كان دائمًا كابوسًا: فعلى سبيل المثال، يتطلب التجميع المحلي لأكثر عوامل FlashAttention شيوعًا حوالي 96 جيجابايت من الذاكرة وساعات عديدة، وأي اختلاف طفيف في إصدار PyTorch أو إصدار CUDA يؤدي إلى أخطاء، مما يعوق معظم المطورين في هذه الخطوة. ينقل Kernels Hub عملية التجميع إلى السحابة. قامت Hugging Face بتسهيل تجميع العوامل مسبقًا في بيئات بطاقات رسوميات وأنظمة مختلفة، بحيث يكتب المطور سطرًا واحدًا من الكود، ويقوم Hub تلقائيًا بتوافق البيئة hardware، ويوفر ملفات مُعدّة مسبقًا للتنزيل والاستخدام خلال ثوانٍ قليلة. يمكن لعملية واحدة تحميل عدة إصدارات مختلفة من العوامل، مع التوافق مع torch.compile. تم إطلاق Kernels في يونيو الماضي كاختبار، وتم ترقيته هذا الشهر ليصبح نوع مستودع رئيسي على Hub، بجانب Models وDatasets وSpaces. حاليًا، هناك 61 عاملًا مُعدًا مسبقًا، تغطي سيناريوهات شائعة مثل آلية الانتباه، التطبيع، توجيه الخبراء المختلطين، والكمية، وتدعم أربع منصات تسريع عتادية: NVIDIA CUDA وAMD ROCm وApple Metal وIntel XPU، وقد تم دمجها في إطار عمل الاستنتاج TGI ومكتبة Transformers التابعة لـ Hugging Face. (المصدر: BlockBeats)