قد يكون هذا هو اللحظة التي انتظرتها AMD لفترة طويلة.
في الآونة الأخيرة، نَفَّذَ Wafer AI على AMD MI355X كيمي K3. النتيجة هي أن النموذج الذي كان يتطلب 16 وحدة NVIDIA B200، موزعة على خادمين، يمكن الآن نشره على خادم واحد من AMD مزودًا بـ 8 وحدات MI355X.
الأهم من ذلك، أنه لم يُدخل النموذج فقط.
في اختبار بإدخال 1024 رمزًا وإخراج 400 رمزًا، حقق MI355X إجمالي إنتاجية قدرها 952 رمزًا/ثانية، بسرعة إنشاء مستخدم واحد تصل إلى 118 رمزًا/ثانية.
بحساب العقدة الواحدة، فإن سعة المعالجة تبلغ حوالي 3.8 ضعف حل B200، كما تفوق من حيث القيمة مقابل السعر B200 وB300.
والأكثر إثارة للدهشة أن ROCm لم تُعقّد الأمور هذه المرة على الإطلاق.
النموذج كبير جدًا، لذا أصبحت ذاكرة العرض أكثر أهمية من قوة الحوسبة
كيمي يحتوي K3 على 2.8 تريليون معلمة، ويتطلب وزن النموذج وحده أكثر من 1.5 تيرابايت من ذاكرة GPU، دون احتساب ذاكرة KV المطلوبة للسياق المليوني رمز.
خادم بـ 8 بطاقات B200، مع كل بطاقة تمتلك 192 جيجابايت من ذاكرة GPU، بإجمالي سعة حوالي 1.5 تيرابايت. هذا يعني أن أوزان النموذج لا يمكن حتى تخزينها بالكامل، ناهيك عن ترك مساحة لـ KV Cache. لذلك، يجب على B200 استخدام خادمين، بـ 16 وحدة معالجة رسومية.
تحتوي كل بطاقة B300 على 288 جيجابايت من ذاكرة الفيديو، مما يسمح باستيعاب النموذج داخل عقدة واحدة. ومن المفارقة أن AMD MI355X تمتلك أيضًا 288 جيجابايت من ذاكرة الفيديو، حيث تبلغ الذاكرة الإجمالية لـ 8 بطاقات MI355X حوالي 2.3 تيرابايت، وهو ما يكفيه خادم واحد.
هذا ليس مجرد استخدام جهاز واحد أقل. بعد تشغيل النموذج عبر العقد، قد يتطلب كل توليد لـ Token مزامنة بيانات عبر الشبكة. حتى باستخدام شبكة RoCE v2 بسرعة حوالي 195 Gb/s، فإن الاتصال عبر العقد لا يزال يبطئ الترميز.
MI355X باستخدام ذاكرة فيديو أكبر، أبقى النموذج الكامل على عقدة واحدة.
من النتيجة النهائية، بلغ إجمالي ذروة الإنتاجية لـ 8 وحدات MI355X 952 رمزًا/ثانية، بسرعة إنتاج فردية قدرها 118 رمزًا/ثانية.
كمقارنة، فإن إجمالي إنتاجية نشر ثنائي العقد بـ 16 وحدة B200 هو 498 رمزًا/ثانية، أي ما يعادل حوالي 249 رمزًا/ثانية لكل عقدة.
بمعنى آخر، فإن معدل الإنتاجية للعقدة الواحدة لـ MI355X يقارب 3.8 مرات معدل الإنتاجية المتوسط للعقدة الواحدة في نشر B200 بعقدتين. من حيث سرعة إنشاء المستخدم الواحد، فإن 118 رمزًا/ثانية لـ MI355X أعلى أيضًا من 90 رمزًا/ثانية لـ B200.
لا يزال B300 هو الحل الأعلى أداءً على الإطلاق. يصل إجمالي إنتاجية العقدة بـ 8 وحدات B300 إلى 1568 رمز/ثانية، مع سرعة إنتاج فردية قدرها 172 رمز/ثانية، مما يجعل الإنتاجية الإجمالية حوالي 1.65 مرة أعلى من MI355X.
لكن السعر غيّر الاستنتاج. تُحسب Wafer بسعر 2.5 دولار لكل بطاقة في الساعة لـ MI355X، و4.25 دولار لـ B200، و6 دولارات لـ B300.
تحت هذا الافتراض السعري، يمكن لـ MI355X تقديم حوالي 48 Token/s من خلال الحد الأقصى للإطلاق لكل دولار؛ بينما يبلغ B200 حوالي 7 Token/s؛ وB300 حوالي 33 Token/s.
B300 أسرع، لكن MI355X تتمتع بكفاءة تكلفة وحدة أعلى. بالنسبة لمركز البيانات الذي يحتاج إلى تشغيل نماذج مفتوحة على نطاق واسع، قد يكون هذا أكثر أهمية من مجرد التنافس على لقب الأداء الأعلى.
الأكثر إثارة للدهشة أن ROCm يمكن استخدامه مباشرة تقريبًا
لطالما كان أكبر مشكلة في وحدات معالجة الرسومات الخاصة بمركز بيانات AMD ليست العتاد، بل البرنامج.
يمكن تشغيل نفس النموذج مباشرة على CUDA، لكن على ROCm، قد يلزم تعديل الإطار، إضافة مشغلات، أو حتى إعادة كتابة النوى الأساسية.
لكن كيمي حالة K3 مختلفة.
قدمت AMD دعماً مزامناً شبه أولي. أشار ويفير إلى أن النماذج يمكن تشغيلها مباشرة على MI355X، مع تركيز العمل التالي على عدد قليل من مشكلات التوافق وتحسين الأداء.
يظهر أحد المشكلات في مرحلة التخمين والفك. كيمي لا توفر K3 معلمات نموذج المسودة المطلوبة لـ MTP أو EAGLE، لذا استخدم Wafer نموذج مسودة انتشار كتلي خارجي.
يمكن تشغيل هذا الحل مباشرة على CUDA، ولكن في بيئة ROCm، يؤدي أول طلب حقيقي إلى خطأ في المُوزّع. السبب هو أن دالة تُسمى top_k_renorm_prob غير مُعرّفة في فرع ROCm.
ما يفعله هذا الدالة ليس معقدًا: اختيار أعلى k قيمة من توزيع الاحتمالات، وتعيين باقي الاحتمالات إلى صفر، ثم إعادة تطبيع الاحتمالات المحفوظة.
استخدم Wafer وظيفة PyTorch عادية لإكمال هذا المنطق، دون الحاجة إلى كتابة نواة GPU يدويًا أو إعادة تصميم نظام التخمين.
بعد الإصلاح، يُفترض أن فك التشفير أدى إلى زيادة أداء المسار الواحد بنسبة حوالي 2.2 مرة، وأداء التدفق الواحد تحت التزامن المتوسط بنسبة حوالي 1.7 مرة، وزيادة في الحد الأقصى لإجمالي العرض الترددي بنسبة حوالي 18%.
الأهم أن النظام يمكنه تحقيق أقصى إنتاجية تحت أحمال تزامنية أعلى.
الحرف الأول بطيء جدًا، وفي النهاية أُضيفت أربعة أصفار فقط
بالطبع، لا يمثل الإنتاجية كل شيء في خدمات الاستدلال. بالنسبة للمستخدمين الحقيقيين، فإن مؤشرًا آخر يؤثر مباشرة على التجربة هو TTFT، وهو الوقت اللازم من إرسال الطلب حتى ظهور أول رمز.
في هذه المهمة، لم تكن أداء MI355X جيدًا في البداية. واجهت MI355X مهمة تحميل أولية بحجم حوالي 172,000 رمز، واستغرقت حوالي 51 ثانية، بينما استغرقت B300 حوالي 23 ثانية فقط.
في النماذج التي تدعم سياقًا يصل إلى ملايين الرموز، قد تكون مهام التمهيد ضخمة جدًا. إذا كان على المستخدمين الانتظار لبضع عشرات من الثواني أو أكثر في كل مرة عند معالجة السياقات الطويلة، فلن يتمكن أي سرعة توليد عالية من تعويض مشكلة تجربة المستخدم.
اكتشف Wafer في النهاية أن فجوة الأداء تأتي تقريبًا بالكامل من نواة انتباه واحدة. كيمي في تكوين التوازي المتجهي بـ 8 مسارات، سيحصل كل GPU على 12 رأس انتباه. بينما تدعم نواة التمهيد الأسرع MLA في AMD AITER فقط الأشكال التي هي مضاعفات لـ 4 أو 8 أو 16.
لم يتمكن 12 رأسًا من التوافق، لذا عاد النظام إلى تنفيذ Triton العام الأبطأ.
الحل بسيط: ملء 12 رأس انتباه بصفرات لتصبح 16 رأسًا، واستخدام النواة السريعة الحالية، ثم استرجاع الرؤوس الـ12 الحقيقية المطلوبة بعد إكمال الحساب. لم يتم تعديل هيكل النموذج، ولا كتابة نواة تجميع جديدة، بل تم إضافة أربعة أصفار فقط.
بعد التحسين، وصلت سرعة التمهيد الثابتة لنموذج AITER MLA إلى حوالي 13,000 رمز/ثانية، بينما كانت مسار التراجع Triton الأصلي حوالي 4,000 إلى 7,000 رمز/ثانية، مما قلل وقت التمهيد البارد بمقدار ضعفين إلى ثلاثة أضعاف.
هذا التحسين لن يغير إنتاجية الترميز النهائية، لكنه سيقلل بشكل كبير من وقت انتظار المستخدم لظهور أول حرف.
هذا يوضح أيضًا أن الفجوة البرمجية الظاهرة بين AMD وNVIDIA ليست دائمًا نتيجة نقص في القدرات الأساسية، بل قد تكون بسبب أن النوى السريعة الحالية لا تغطي حاليًا شكلًا جديدًا للنموذج.
لا تزال حماية CUDA قائمة، لكن الفجوات ظهرت بالفعل
بالطبع، لا يمكن لاختبار واحد أن يثبت أن AMD قد أدركت NVIDIA بالكامل.
يُجبر B200 على التشغيل عبر عقد متعددة بسبب نقص ذاكرة العرض؛ لا يزال الأداء المطلق لـ B300 متقدمًا؛ كما لا تزال أدوات ROCm ودعم الإطارات وبيئة المطورين أقل من CUDA.
لكن النماذج المفتوحة تدخل بسرعة عصر التريليونات من المعلمات. عندما تصبح النماذج كبيرة لدرجة أن خادمًا واحدًا لا يستطيع استيعابها، فإن سعة ذاكرة العرض لم تعد مجرد رقم في جدول المعلمات، بل ستؤثر مباشرة على تكلفة الاتصال وتعقيد النشر وال THROUGHPUT النهائي.
استراتيجية AMD في تزويد وحدة المعالجة الرسومية الواحدة بكمية أكبر من HBM تتحول إلى ميزة نظامية عملية.
إذا استطاعت AMD مواصلة تحسين استقرار ROCm، وتوسيع دعم أشكال النوى عالية السرعة، وتوفير توافق فوري في اليوم الأول للنماذج الجديدة، فسيتعين على مراكز البيانات أن تأخذ هذه المعالجات الرسومية بعين الاعتبار بجدية. فهي أرخص سعرًا، وأكبر في ذاكرة الفيديو، وأداءها كافٍ، والبرمجيات لم تعد تتطلب تجربة وخطأ لشهور.
ما رأيك في هذا؟
رابط المرجع:
https://x.com/wafer_ai/status/2083628389903315406
https://x.com/ChiragAsarpota/status/2083864019870634151
هذا المقال من حساب ويشات الرسمي "ماشين سينس" (ID: almosthuman2014)، المؤلف: متابع LLM