ہگنگ فیس نے پہلے سے مجموعہ GPU آپریٹرز کے لیے کرنلز ہب شروع کیا ہے

ME خبروں کے مطابق، 15 اپریل (UTC+8) کو، 1M AI خبروں کے مطابق، Hugging Face کے سی ای او کلیم ڈیلانگ نے کہا ہے کہ Kernels اب Hub پر مکمل طور پر لانچ ہو گئے ہیں۔ GPU آپریٹرز وہ بنیادی بہتری کوڈ ہیں جو گرافکس کارڈ کو اپنی حد تک تیزی سے چلانے میں مدد کرتے ہیں، جس سے انفرینس اور ٹریننگ کو 1.7 سے 2.5 گنا تیز کیا جا سکتا ہے، لیکن ان کی نصب کرنا ہمیشہ ایک خواب دیکھنا رہا ہے: سب سے زیادہ استعمال ہونے والے FlashAttention کے لیے، مقامی طور پر کمپائل کرنے کے لیے تقریباً 96GB ریم اور کئی گھنٹے درکار ہوتے ہیں، اگر PyTorch یا CUDA کا ورژن تھوڑا بھی غلط ہو تو غلطی آ جاتی ہے، اور زیادہ تر ڈولپرز اس مرحلے پر گڑبڑا جاتے ہیں۔ Kernels Hub نے کمپائلنگ کو کلاؤڈ پر منتقل کر دیا ہے۔ Hugging Face نے مختلف گرافکس کارڈ اور سسٹم ماحول میں پہلے سے آپریٹرز کو کمپائل کر لیا ہے، جب ڈولپرز صرف ایک لائن کوڈ لکھتے ہیں، تو Hub خود بخود اپنے ہارڈ ویئر ماحول کے مطابق ملتا ہے اور کچھ سیکنڈوں میں پہلے سے کمپائل شدہ فائلز ڈاؤن لوڈ کر دیتا ہے جو فوراً استعمال کے لیے تیار ہوتی ہیں۔ ایک ہی پروسس میں مختلف ورژنز کے آپریٹرز لوڈ کئے جا سکتے ہیں، جو torch.compile کے ساتھ مطابقت رکھتے ہیں۔ Kernels جون 2023 میں ٹیسٹ ورژن کے طور پر لانچ ہوئے تھے، اور اس ماہ انہیں Hub کا ایک بنیادی رپوزٹری قسم بنایا گیا ہے، جو Models، Datasets، اور Spaces کے ساتھ برابر ہے۔ اب تک 61 پہلے سے کمپائل شدہ آپریٹرز دستیاب ہیں، جو توجہ مکانزم، نارملائزیشن، مکسڈ اسپرٹس راؤٹنگ، کوانٹائزیشن سمیت عام استعمال کے مناظر کو شامل کرتے ہیں، اور ناوڈیا CUDA، AMD ROCm، ایپل Metal، اور انٹل XPU سمیت چار ہارڈ ویئر اکسلریشن پلیٹ فارمز کو سپورٹ کرتے ہیں، جو Hugging Face کے انفرینس فریم ورک TGI اور Transformers لائبریری میں اندراج شدہ ہیں۔ (ذرائع: BlockBeats)