Hugging Face ra mắt Kernels Hub cho các bộ xử lý GPU đã được biên dịch sẵn

Tin tức từ ME News, ngày 15 tháng 4 (UTC+8), theo giám sát của 1M AI News, CEO của Hugging Face, Clem Delangue, đã công bố Kernels chính thức ra mắt trên Hub. Các GPU kernels là mã tối ưu hóa cấp底层 giúp tăng tốc độ card đồ họa đến giới hạn, có thể tăng tốc độ suy luận và huấn luyện từ 1,7 đến 2,5 lần, nhưng việc cài đặt luôn là cơn ác mộng: lấy FlashAttention – kernel phổ biến nhất – làm ví dụ, việc biên dịch cục bộ yêu cầu khoảng 96 GB bộ nhớ và vài giờ đồng hồ; chỉ cần phiên bản PyTorch hoặc CUDA không khớp là sẽ xảy ra lỗi, đa số nhà phát triển bị kẹt ngay ở bước cài đặt này. Kernels Hub chuyển quá trình biên dịch lên đám mây. Hugging Face đã biên dịch sẵn các kernels trên nhiều môi trường card đồ họa và hệ điều hành khác nhau; nhà phát triển chỉ cần viết một dòng mã, Hub sẽ tự động nhận diện môi trường phần cứng và tải về tệp đã biên dịch sẵn trong vài giây để sử dụng ngay. Một tiến trình có thể tải nhiều phiên bản kernels khác nhau đồng thời, tương thích với torch.compile. Kernels được thử nghiệm ra mắt vào tháng 6 năm ngoái và tháng này đã được nâng cấp thành loại kho cấp một trên Hub, cùng hàng với Models, Datasets và Spaces. Hiện đã có 61 kernels được biên dịch sẵn, bao phủ các kịch bản phổ biến như cơ chế chú ý, chuẩn hóa, định tuyến chuyên gia hỗn hợp, lượng tử hóa, hỗ trợ bốn nền tảng tăng tốc phần cứng: NVIDIA CUDA, AMD ROCm, Apple Metal và Intel XPU, và đã được tích hợp vào khung công cụ suy luận TGI và thư viện Transformers của Hugging Face. (Nguồn: BlockBeats)