হাগিং ফেস প্রি-কম্পাইলড GPU অপারেটরগুলির জন্য কার্নেলস হাব চালু করেছে

ME সংবাদের মতে, ১৫ এপ্রিল (UTC+8), 1M AI নিউজের মনিটরিংয়ের ভিত্তিতে, Hugging Face-এর সিইও ক্লেম ডেলাংগু ঘোষণা করেছেন যে Kernels এখন Hub-এ অফিসিয়ালি লঞ্চ হয়েছে। GPU অপারেটরগুলি হল গ্রাফিক্স কার্ডকে সর্বোচ্চ গতিতে চালানোর জন্য ব্যবহৃত নিম্নস্তরের অপ্টিমাইজেশন কোড, যা ইনফারেন্স এবং ট্রেনিংকে 1.7 থেকে 2.5 গুণ দ্রুত করে দেয়, কিন্তু ইনস্টলেশন সবসময়ই একটি দুঃস্বপ্ন ছিল: সবচেয়ে বেশি ব্যবহৃত FlashAttention-এর ক্ষেত্রে, স্থানীয়ভাবে কম্পাইল করতে প্রায় 96GB মেমোরি এবং ঘন্টার পর ঘন্টা লাগে, PyTorch এবং CUDA-এর ভার্সনগুলির একটি ছোটও অসামঞ্জস্যতা শুধুমাত্র এরর দেখায়, এবং অধিকাংশ ডেভেলপাররা এই ইনস্টলেশন পদক্ষেপেই আটকে যান। Kernels Hub-এ কম্পাইলিংকে ক্লাউডে স্থানান্তরিত করা হয়েছে। Hugging Face-এর পক্ষে বিভিন্ন GPU এবং সিস্টেমের পরিবেশে আগেই অপারেটরগুলি কম্পাইল করা হয়েছে, ডেভেলপাররা শুধুমাত্র একটি লাইন কোড লিখলেই Hub-এর মাধ্যমে হার্ডওয়্যার পরিবেশটি 자동ভাবে মিলিয়ে নেওয়া হয়, 5-10 সেকেন্ডেরও কমসময়েই pre-compiled files-এর download-এর mধ্যমে direct use-এর अনুমতি।একই process-এ multiple different versions of operators load-এর अनुमति, torch.compile-এর compatibility। Kernels 2023-এর June-এ test launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমे launch-এর mধ्यमे launch-এर mধ्यमे launch-এर mध्यमे launch-এर mध्यमे launch-এर mध्यमे launch-এर mध्यमे launch-এর mধ्यমे launch-এর mধ्यমे launch-এর mধ्यমे launch-এর mধ্যমे launch-এর mধ্যমे launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ্যমে launch-এর mধ្យមे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-एर mध्यमे launch-এர 2024년 4월 Hub의 primary repository type으로 업그레이드되어 Models, Datasets, Spaces와 동일한 위치에 배치되었습니다. 현재까지 61개의 pre-built operators가 있으며, 주의 메커니즘, 정규화, 혼합 전문가 라우팅, 양자화 등 일반적인 시나리오를 커버하고 있으며, NVIDIA CUDA, AMD ROCm, Apple Metal 및 Intel XPU의 4가지 하드웨어 가속 플랫폼을 지원하며, Hugging Face의 추론 프레임워크 TGI 및 Transformers 라이브러리에 통합되었습니다. (출처: BlockBeats)