Hugging Face、事前コンパイル済みGPUオペレーター用のKernels Hubをリリース

MEニュース：4月15日（UTC+8）、1M AI Newsの監視によると、Hugging FaceのCEOであるClem Delangueが、KernelsがHubに正式にリリースされたことを発表しました。GPU算子は、GPUのパフォーマンスを極限まで引き出すための低レベル最適化コードであり、推論およびトレーニングを1.7〜2.5倍高速化できますが、インストールはこれまで大きな課題でした。最も広く使われるFlashAttentionを例に取ると、ローカルでのコンパイルには約96GBのメモリと数時間が必要で、PyTorchやCUDAのバージョンがわずかにでも不一致だとエラーが発生し、多くの開発者がこのインストール段階で詰まってしまいました。Kernels Hubは、このコンパイル作業をクラウドに移行します。Hugging Faceは、さまざまなGPUとOS環境で事前に算子をコンパイル済みであり、開発者が1行のコードを記述するだけで、Hubがハードウェア環境を自動で認識し、数秒以内に事前コンパイル済みファイルをダウンロードして即座に利用可能になります。同じプロセス内で複数の異なるバージョンの算子を読み込むことができ、torch.compileとも互換性があります。Kernelsは昨年6月にテストリリースされ、本月よりHubの主要なリポジトリタイプとして昇格し、Models、Datasets、Spacesと並ぶ位置づけとなりました。現在、61個の事前コンパイル済み算子が用意されており、アテンション機構、正規化、混合エキスパートルーティング、量子化など一般的なシナリオをカバーしており、NVIDIA CUDA、AMD ROCm、Apple Metal、Intel XPUの4つのハードウェアアクセラレーションプラットフォームをサポートしています。これらはすでにHugging Faceの推論フレームワークTGIおよびTransformersライブラリに統合されています。（出典：BlockBeats）