بايت دانس تبدأ تدريب نموذج ذكاء اصطناعي بـ 10 تريليون معلمة، وتقترب من حجم Anthropic

وفقًا لمراقبة Beating، ذكرت صحيفة فاينانشال تايمز البريطانية، مستشهدة بثلاثة مصادر مطلعة، أن ByteDance بدأت بالفعل التدريب المسبق لنموذج ضخم يصل إلى 10 تريليون معلمة. لا يزال المشروع في مراحله المبكرة، ولم يُحسم حجمه النهائي. إذا تم تدريبه عند الحد الأقصى، فسيتجاوز حجمه نموذج Kimi K3 بأكثر من ثلاثة أضعاف، ليصبح أكبر نموذج معروف من حيث عدد المعلمات الذي طورته فرقة صينية حتى الآن. تدفع ByteDance هذه المرة حجم النموذج مباشرة نحو مستوى نماذج Anthropic الرائدة. لم تُعلن Anthropic أبدًا عن عدد المعلمات في Mythos 5، لكن صحيفة فاينانشال تايمز استشهدت بتقديرات صناعية تشير إلى أن Mythos 5 يبلغ حوالي 8 تريليون معلمة، بينما Fable 5 يبلغ حوالي 5 تريليون معلمة. إذا حقق النموذج الجديد لـ ByteDance حجمًا قدره 10 تريليون معلمة، فسيكون على الأقل من حيث عدد المعلمات في نفس الفئة مثل أحدث النماذج المغلقة الأمريكية. يظل هذا النموذج حاليًا في مرحلة التدريب المسبق (تدريب قدرات النموذج الأساسية باستخدام كميات هائلة من البيانات). وتشير صحيفة فاينانشال تايمز إلى أن هذه المرحلة تستغرق عادةً من 3 إلى 6 أشهر، ثم يتبعها تدريب إضافي قبل الإطلاق، إذا سارت الأمور على ما يرام. لا يعني زيادة عدد المعلمات بالضرورة تحسنًا في الأداء، فالأداء النهائي يعتمد على البنية وبيانات التدريب وأساليب التدريب. وقد عارض زانغ يي مينغ مؤخرًا داخل Seed بوضوح استخدام التقطيع لنموذج المنافسين، وطلب من الفريق قبول التأخر المؤقت والاعتماد على التطوير الذاتي للوصول إلى الطليعة العالمية. يُعد هذا النموذج الجديد بحجم يصل إلى 10 تريليون معلمة أكبر مراهنة من حيث الحجم تقوم بها ByteDance حتى الآن.