हगिंग फेस ने प्री-कंपाइल्ड GPU ऑपरेटर्स के लिए कर्नेल्स हब लॉन्च किया

ME समाचार के अनुसार, 15 अप्रैल (UTC+8) को, 1M AI News के अनुसार, Hugging Face के सीईओ क्लेम डेलांग के द्वारा घोषणा की गई कि Kernels अब Hub पर आधिकारिक रूप से लॉन्च हो गए हैं। GPU ऑपरेटर्स वह निचले स्तर के अनुकूलन कोड होते हैं जो GPU को अधिकतम गति तक पहुँचाने में मदद करते हैं और निष्पादन और प्रशिक्षण को 1.7 से 2.5 गुना तेज कर सकते हैं, लेकिन इंस्टॉल करना हमेशा से ही एक बड़ी समस्या रही है: सबसे अधिक उपयोग किए जाने वाले FlashAttention के मामले में, स्थानीय रूप से कंपाइल करने के लिए लगभग 96GB मेमोरी और कई घंटे की आवश्यकता होती है, PyTorch और CUDA के संस्करण में थोड़ी सी असंगति होने पर त्रुटि आ जाती है, जिसके कारण अधिकांश डेवलपर्स इसी चरण में अटक जाते हैं। Kernels Hub ने कंपाइलेशन को क्लाउड पर स्थानांतरित कर दिया है। Hugging Face ने विभिन्न GPU और सिस्टम परिवेशों में पहले से ही ऑपरेटर्स को कंपाइल कर लिया है, इसलिए डेवलपर्स को केवल एक पंक्ति कोड लिखना होता है, Hub स्वचालित रूप से हार्डवेयर परिवेश को मैच करता है, और कुछ ही सेकंड में पहले से कंपाइल किए गए फ़ाइलें डाउनलोड करके सीधे उपयोग के लिए तैयार हो जाती हैं। एक ही प्रक्रिया में कई अलग-अलग संस्करणों के ऑपरेटर्स को लोड किया जा सकता है, torch.compile के साथ संगत। Kernels का परीक्षण 2023 के जून में शुरू हुआ था, और इस महीने इसे Hub की प्रमुख संग्रह प्रकारों में से एक के रूप में अपग्रेड किया गया है, Models, Datasets, Spaces के साथ-साथ। वर्तमान में 61 पहले से कंपाइल किए गए ऑपरेटर्स उपलब्ध हैं, जो सावधानी, सामान्यीकरण, मिश्रित विशेषज्ञ रूटिंग, क्वांटाइज़ेशन सहित सामान्य प्रयोगों को कवर करते हैं, NVIDIA CUDA, AMD ROCm, Apple Metal, Intel XPU सहितचार हार्डवेयर स्पीड-अप प्लेटफ़ॉर्म्स का समर्थन करते हैं, और Hugging Face के TGI प्रक्रमण प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता प्रभावशीलता TGI में समन्वयित हैं। (स्रोत: BlockBeats)