أخبار ME، في 7 أبريل (UTC+8)، أعلنت فرقة PyTorch الرسمية مؤخرًا عن دمج CuteDSL كخلفية رابعة لضبط تلقائي لضرب المصفوفات داخل TorchInductor. تم اختيار هذه الخلفية بناءً على ثلاثة معايير: عدم زيادة عبء الصيانة بشكل مفرط، وعدم إبطاء وقت التجميع أو الاختبارات المرجعية، وتقديم أداء أفضل على أحمال العمل المستهدفة. يتم تطوير CuteDSL بنشاط من قبل NVIDIA، ويوفر قوالب نواة مُحسّنة، حيث يساوي وقت التجميع الخاص به وقت الخلفيات الحالية، ويفوق بشكل كبير مسار CUTLASS C++ الذي يتطلب تجميع `nvcc` كامل. تستند هذه الخلفية إلى نفس التجريد المستخدم في CUTLASS C++، ولكنها مكتوبة بلغة Python، مما يجعلها أسرع في التجميع وأسهل في الصيانة، وقد أثبتت أدائها القوي في GEMM FP8 ودمج Epilogue. ركّز الفريق على تحسين GEMM (ضرب المصفوفات) لأنه يمثل العبء الحسابي الرئيسي في نماذج Transformer. يوفر CuteDSL كودًا أساسيًا من خلال قوالب مُحسّنة يدويًا، مما يتجنب تعقيد كتابة النوى من الصفر، ويُظهر بالكامل هيكل الخيوط والذاكرة، مما يدعم الميزات الخاصة بالبنية. (المصدر: InFoQ)
يُدمج PyTorch CuteDSL كخلفية رابعة لضرب المصفوفات في TorchInductor
KuCoinFlashمشاركة
ملخص
أضاف PyTorch CuteDSL كخلفية رابعة لضرب المصفوفات في TorchInductor، مما يوفر معالجة محسّنة للبيانات على السلسلة لعمليات العقد الكاملة. وقد تم اختيار CuteDSL المبني على MetaEra بناءً على صيانة منخفضة، وعدم تباطؤ في التجميع، وأداء أفضل على أحمال العمل الرئيسية. وطوّرت NVIDIA CuteDSL باستخدام قوالب قائمة على Python مع وقت تجميع سريع، مما يتوافق مع الخلفيات الحالية ويتفوق على CUTLASS C++ من حيث السرعة. تُحاكي الخلفية تجريدات CUTLASS C++ وتقدم نتائج قوية في GEMM بـ FP8 ودمج Epilogue. وتركّز الفريق على تحسين GEMM، وهو مكون أساسي في نماذج Transformer. يولد CuteDSL كودًا منخفض المستوى من خلال قوالب مُحسّنة، مما يبسّط تطوير النواة ويعزز الميزات الخاصة بالبنية.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.