Hugging Face Melancarkan Kernels Hub untuk Operator GPU yang Telah Dikompilasi Sebelumnya

Berita ME, 15 April (UTC+8), menurut pemantauan 1M AI News, CEO Hugging Face, Clem Delangue, mengumumkan pelancaran rasmi Kernels di Hub. Operator GPU adalah kod pengoptimuman aras bawah yang membolehkan kad grafik beroperasi pada kelajuan maksimum, mampu mempercepatkan inferens dan latihan sebanyak 1.7 hingga 2.5 kali, tetapi pemasangan selalunya menjadi mimpi buruk: sebagai contoh, FlashAttention yang paling biasa digunakan memerlukan sekitar 96GB memori dan berjam-jam untuk dikompilasi secara tempatan; sebarang ketidaksesuaian versi PyTorch atau CUDA akan menghasilkan ralat, dan kebanyakan pembangun terhenti pada langkah pemasangan ini. Kernels Hub memindahkan proses kompilasi ke awan. Hugging Face telah mengompilasi operator tersebut terlebih dahulu dalam pelbagai persekitaran kad grafik dan sistem, sehingga pembangun hanya perlu menulis satu baris kod, Hub akan secara automatik mencocokkan persekitaran peranti dan memuat turun fail pra-kompilasi dalam beberapa saat untuk digunakan secara langsung. Satu proses yang sama boleh memuatkan pelbagai versi operator yang berbeza, kompatibel dengan torch.compile. Kernels dilancarkan dalam ujian pada Jun tahun lepas, dan bulan ini dinaikkan taraf menjadi jenis repositori utama di Hub, bersama Models, Datasets, dan Spaces. Sementara itu, terdapat 61 operator pra-kompilasi yang tersedia, mencakupi skenario biasa seperti mekanisme perhatian, normalisasi, penghalaan pakar campuran, dan kuantisasi, menyokong empat platform akselerasi peranti—NVIDIA CUDA, AMD ROCm, Apple Metal, dan Intel XPU—dan telah diintegrasikan ke dalam kerangka inferens TGI dan pustaka Transformers milik Hugging Face. (Sumber: BlockBeats)