تحسينات البيانات تتفوق على تقدم النماذج في كفاءة التدريب المسبق للذكاء الاصطناعي

المؤلف: Dwarkesh Patel

مُترجم: Deep潮 TechFlow

مقدمة من Shenchao: على مدار السنوات الست الماضية، شهدت قدرات نماذج الذكاء الاصطناعي تقدمًا هائلًا، لكن ما إذا كان هذا التقدم ناتجًا عن الخوارزميات أم البيانات؟ تقدم هذه المقالة استنتاجًا غير بديهي باستخدام مجموعة من التجارب المضبوطة الصغيرة: تحسين البيانات يُحسن كفاءة الحوسبة أكثر من تحسين النموذج بثلاث مرات تقريبًا. بالنسبة لأولئك الذين يتابعون استثمارات البنية التحتية للذكاء الاصطناعي وتنافس المختبرات الرائدة، فإنها تكشف عن دافع مُهمَل: هندسة البيانات.

في السنوات الأخيرة، ما النسبة التي تعود إلى تحسين البيانات مقابل تحسين النماذج في التقدم السريع الذي شهدناه في مجال الذكاء الاصطناعي؟ إجابة هذا السؤال لها تأثير كبير على النموذج الاقتصادي للمختبرات الرائدة وسرعة التقدم المستقبلي.

أجرينا تحقيقًا نسبيًا صغيرًا حول هذه المسألة، مع التركيز على التدريب المسبق من عام 2019 إلى عام 2025. خلال هذه السنوات، تم نشر مجموعة جديدة من نماذج مفتوحة المصدر كل عام، تلخص التحسينات المعروفة علنًا في الخوارزميات لهذا العام (مثل التحسينات في البنية، والمُحسّن، والتهيئة، وجدول معدل التعلم، والمعاملات الفائقة). في الوقت نفسه، ظهرت كل عام قواعد بيانات نصية عامة جديدة (نتيجة لعمليات جمع أوسع نطاقًا، بالإضافة إلى تقنيات جديدة في التنظيم والاستخراج والتصفية).

قمنا بتدريب هذه النماذج التي تمثل مجموعات مختلفة من مستويات السنوات وبيانات التدريب، على مقاييس مختلفة من قوة الحوسبة للتدريب (حتى 1e19 FLOPs).

من الواضح أننا لا نستطيع مقارنة هذه النماذج المختلفة بناءً على خسارة الإنتروبيا المتقاطعة على مجموعة بيانات ثابتة، لأننا نغير مجموعة البيانات التي تُدرّب عليها. لذلك، نقوم بدلًا من ذلك بتقييم هذه النماذج وفقًا لقدراتها النهائية، باستخدام معيار تقييم OLMES (الذي يجمع بين 10 معايير بسيطة نسبيًا، معظمها أسئلة وأجوبة متعددة الخيارات). وللأسف، فإن تقييم القدرة النهائية بدلاً من خسارة التدريب المسبق يضيف بعض الضوضاء إلى نتائجنا، كما سترى في الرسم البياني أدناه، لكننا حاولنا الحصول على حدود أكثر وضوحًا من خلال استخدام عدة بذور عشوائية.

لقد وجدنا أنه بين عامي 2019 و 2025، جاء أكثر من 3.24 ضعف من تحسين كفاءة الحوسبة تحت ميزانية قدرها 1e19 FLOPs من تحسينات البيانات، وليس من تحسينات النموذج (البيانات: 12.0 ضعف، النموذج: 3.7 ضعف).

تُظهر هذه الشبكة مدى التحسن في قدرة النموذج الذي قمنا بتدريبه على الاختبار النهائي مقارنةً بقاعدة بيانات وهندسة عام 2019، تحت قدرة حسابية قدرها 3.16e18 FLOPs.

لقد وجدنا أن الفوائد الناتجة عن تحسين البيانات وتحسين النموذج هي في الغالب مستقلة عن بعضها البعض، ولا توجد تفاعلات بينها (أي أن فائدة تحقيق تحسين معين في النموذج لا تعتمد على مجموعة بيانات تدريبية معينة، والعكس صحيح). باستخدام النموذج الخطي، يمكن تفسير 88% من التباين في درجة OLMES من خلال التأثيرات الجمعية لتحسينات النموذج وتحسينات البيانات.

كمخلفية، دعونا نلخص باختصار التغييرات التي حدثت على جانب البيانات وجانب النموذج بين عامي 2019 و2025.

على جانب النموذج، انتقلنا من GPT-2 إلى OLMo-2، بما في ذلك الابتكارات الأساسية في المُحسِّن، ترميز الموقع، التطبيع، دالة التنشيط، والتهيئة.

من حيث البيانات، بدأنا في عام 2019 بـ OpenWebText، الذي كان يحتوي فقط على صفحات الويب المرتبطة بروابط مُعجب بها بشكل كبير على Reddit، وبعد إزالة التكرارات والتصفية، انتهى الأمر بحوالي 9 مليارات رمز فقط (وهذا يعادل تقريبًا بيانات تدريب GPT-2). بحلول عام 2025، أصبحت مجموعات البيانات المفتوحة مثل UltraFineWeb أكبر بكثير (من خلال التصييد الكامل للإنترنت)، واستخدمت أساليب تصفية أكثر تعقيدًا (على سبيل المثال، تدريب مُصنّف للتنبؤ بالبيانات التي يمكنها فعليًا تحسين أداء النموذج).

تفسير بسيط لنتائجنا هو أن معظم تقدم الذكاء الاصطناعي بين عامي 2019 و2024 (عصر التدريب المسبق) كان في الواقع نتيجة هندسة بيانات أفضل (الاستخراج، والتنقيح، إلخ)، بينما كانت أعمال النماذج خلال تلك الفترة أقل أهمية بكثير.

لكن هذا قد يكون طريقة خاطئة لرؤية قيمة تحسين النموذج. فليس بالضرورة أن يكون الإسهام الرئيسي لتحسين النموذج هو كفاءة الحوسبة، أي تحقيق نفس الأداء باستخدام عدد أقل من FLOPs. بل على العكس، فإنه يجعل الحوسبة بحجم أكبر متاحة أولاً. مع زيادة عدد المعلمات، وطول السياق، ومدة التشغيل، وحجم التجمع، تصبح المشكلات المختلفة عرضة للفشل (مثل انفجار أو اختفاء التدرجات، واستنفاد الذاكرة والعرض الترددي، وتباطؤ التدريب إلى درجة مستحيلة). يشكل جزء كبير من أبحاث النماذج إزالة أو تأجيل هذه القيود على التوسع. وتندرج العديد من الابتكارات الأهم ضمن هذه الفئة، مثل MoE، والمتغيرات النادرة للانتباه، والابتكارات المتعلقة بالاستقرار (موقع التطبيع، التهيئة، إلخ)، وكذلك التحسينات على مستوى النظام والنووى مثل FlashAttention.

التحسينات في البيانات التي ندرسها هنا قد تكون أقل أهمية للنماذج الأكبر. النماذج الصغيرة (مثل النماذج التي قمنا بتدريبها) تستفيد بشكل كبير من تحسين جودة البيانات، لأنها تمتلك سعة محدودة، لذا يجب أن تكون حذرًا جدًا في اختيار ما تُدخله فيها. أما النماذج الكبيرة فلديها سعة زائدة هائلة، وقد ترغب فقط في إدخال أكبر قدر ممكن من البيانات، حتى لو كانت معظمها غير مفيدة، لأن سحر الانحدار التدريجي العشوائي سيُفصِّل الإشارة عن الضوضاء. إذا اخترت تصفية عدوانية، فستضطر إلى إجراء عشرات الجولات من الـ epochs، وغالبًا ما تكون النتائج التجريبية أسوأ من استخدام مجموعة بيانات أكبر حجمًا ولكن بجودة متوسطة أقل. في الواقع، إذا أخذنا في الاعتبار أن النماذج الرائدة تُدرَّب بدرجة تجاوز معيار Chinchilla الأمثل ما يصل إلى 100 مرة، بهدف تقليل قوة الحوسبة المطلوبة للاستدلال في التعلم المعزز والنشر، فإن الأضرار الناتجة عن التصفية العدوانية للبيانات تصبح أكبر.

قد يكون التشبيه هو الفرق بين القارب الشراعي والسفينة الحاوية: فرغم أن السفينة الحاوية لا تسير بالضرورة أسرع، إلا أنها قادرة على نقل آلاف الأطنان من البضائع (ما يعادل مئات المليارات من وحدات التوكن المُدرَّبة مسبقًا)، ولا تنقلب في ظل الأمواج العاتية (ما يعادل التدريب المستقر على مئات الآلاف من وحدات معالجة الرسوميات).

بفضل السفن الحاويات الأكبر حجمًا وأكثر متانة التي لدينا الآن، لم نعد بحاجة للقلق بشأن ما نحمّله؛ يمكننا تحميل كل شيء حتى لو كان له فائدة ضئيلة فقط. أما بالنسبة للسفن الشراعية الصغيرة والهشة التي كانت موجودة في عام 2019، فقد كان يجب أن تكون حذرًا جدًا وتُحمّل فقط أكثر البضائع قيمة.

لكن إذا كان جوهر تقدم التدريب المسبق هو مجرد تحميل المزيد من البضائع على هذه السفينة، فهل نحن على وشك نفاد البضائع؟ هذا سؤال يتعلق بجدول البيانات، ويشير أيضًا إلى مدى مساعدة بيانات التوليف في تجاوز هذا الجدار. من الواضح أن بيانات التوليف تُستخدم على نطاق واسع في المختبرات المختلفة، لكننا لم ندرس بعد ما إذا كانت يمكنها توسيع مجموعات البيانات بفعالية دون الإضرار بأداء النموذج. إذا كانت هذه المكاسب محدودة، فسيتوقف المحرك الرئيسي لتقدم التدريب المسبق، لأننا لن ننتج محتوى إضافيًا على الإنترنت، كما أن درجة تجميع مجموعة بيانات ثابتة محدودة أيضًا. يجب التوضيح أننا لا نمتلك حاليًا أي سبب إيجابي يشير إلى أن هذا سيحدث بالفعل. لكن نظرًا لأن البيانات تبدو حاسمة في دفع تقدم التدريب المسبق، يبدو أن هذا سؤال جوهري يستحق مزيدًا من البحث.

أشار ريان غرينبلات إلى أن العديد من التحسينات التاريخية في مجموعات بيانات التدريب المسبق تبدو وكأنها تقدمات يمكن للباحثين الآليين دفعها مباشرة من خلال الاختبارات التجريبية، مثل تشغيل تجارب إزالة مبنية على بيانات مختلفة لمعرفة أداء النموذج. وبالتالي، فإن هذا يتماشى تمامًا مع نتائجنا: إذا تم أتمتة تطوير الذكاء الاصطناعي، فقد تسارع بشكل كبير التقدمات في البيانات التي دفعت تحسينات التدريب المسبق منذ عام 2019.

نريد توضيح نقطة واحدة: النظر في تقدم التدريب المسبق بشكل منفصل للتحديد ما إذا كان يتسارع أو يتباطأ ليس هو السؤال الأهم فيما يتعلق بالتقدم العام للذكاء الاصطناعي، لأن العديد من المكاسب خلال السنتين الماضيتين جاءت من التعلم المعزز.

اتجاهات البحث المستقبلية

إليك بعض اتجاهات وأسئلة البحث المستقبلية التي نعتقد أنها ستكون رائعة وأهمية كبيرة:

• You can scale up this experiment to see whether the data or model improvements are more dependent on scale, thereby having a greater impact in frontier areas.
• ما هي القيمة الحدية للبيانات الجديدة عالية الجودة في التدريب المسبق والتدريب اللاحق، مقاسة بالقدرة النهائية؟
• نرغب في فهم الأداء الفعلي للبيانات المولدة اصطناعيًا. مشكلة محددة تستحق الدراسة هي: إذا كان لديك مجموعة صغيرة من البيانات عالية الجودة، فما مدى تحسن الأداء عند توسيعها باستخدام توليد البيانات الاصطناعية مقارنةً بالتدريب المتعدد الدورات على هذه البيانات مباشرةً؟
• يمكنك حساب القيمة الضمنية للبيانات من خلال نسبة الإنفاق على وسطاء البيانات ومُنتجي البيئة مقارنةً بالإنفاق على قوة الحوسبة والباحثين.

نرغب في دراسة الدور الذي تلعبه البيانات في دفع تقدم الذكاء الاصطناعي. هناك العديد من الطرق الأخرى لاستكشاف هذا السؤال، وبعضها قد يكون أكثر ذكاءً أو إفادة من منهجنا. بالإضافة إلى ذلك، فإن تجربتنا صغيرة جدًا. نحن نعتقد بالفعل أننا قد نكون تجاهلنا بعض الأشياء، ونود بشدة معرفة كيف سيقوم الآخرون بدراسة هذا السؤال، ونود أيضًا رؤية نتائجهم!

نشكر بشدة تشارلي أو نييل على المناقشات المفيدة الكثيرة.

قمنا بتدريب هذه الوصفات النموذجية من الصفر على مجموعات بيانات مختلفة، باستخدام ميزانيات حسابية مختلفة، وضبط عدة بذور مستقلة 6. كانت ميزانياتنا الحسابية: 1e17 و 3.16e17 و 1e18 و 3.16e18 و 1e19 FLOP. يتم حساب الموارد الحسابية وفقًا للمعيار المتمثل في استخدام الحساب الاسمي C = 6ND (حيث N هو عدد المعلمات غير المضمنة، وD هو عدد رموز البيانات).

تحت كل ميزانية قوة حسابية، نقوم بضبط عدد المعلمات، وبالتالي تعديل عدد الرموز التدريبية، لتحديد النسبة المثلى للقوة الحسابية لكل وصفة تدريب وتركيب مادة تدريبية. نستخدم خسارة التخليص على المادة التدريبية لتحديد نقطة القوة الحسابية المثلى. ثم يمكننا الحصول على منحنيات توسيع القوة الحسابية لأداء كل تركيبة في المهام اللاحقة، ومنها نستخلص عامل القوة الحسابية في النهاية.

نستخدم بشكل إلزامي مُقسِّم مشترك وطول سياق في جميع التشغيلات: GPT-2 BPE (tiktoken، مفردات 50257) و T=2048، دُفعة = 262144 رمزًا.

تعتمد القدرة النهائية لتشغيل التدريب بشكل كبير على المعلمات الفائقة. من الواضح أنه من المستحيل استكشاف جميع التركيبات الممكنة للمعلمات الفائقة، وإن ضبط المعلمات الفائقة هو فن دقيق حقًا! نبذل قصارى جهدنا للتحكم في ذلك، ونعتبر معدل التعلم الذروي أهم معلمة فائقة رئيسية.

تقدم بعض إصدارات الخوارزميات معايير لتحديد قيمة معدل التعلم القصوى كدالة لمتغيرات أخرى ذات صلة، مثل حجم النموذج وميزانية البيانات وحجم الدُفعات، إلخ. توفر هذه المعايير معرفة مسبقة جيدة لتحديد معدل التعلم الأمثل.

نقوم أولاً بمسح معدلات التعلم على 5 نقاط مرجعية: 3 أحجام نماذج مختلفة ونسبتي D/N مختلفتين. نحدد أفضل معدلات تعلم لهذه النقاط المرجعية، ثم نناسب شكل المعاملات لأفضل معدلات التعلم.

لجميع وصفات النماذج باستثناء OLMo-2، نقوم بضبط أسس مشتركة a و b، بالإضافة إلى lr₀ محدد لكل نموذج. بالنسبة لـ OLMo-2، نستخدم معدل التعلم الأمثل المحدد في وصفة هذا النموذج. السبب في معاملتنا لـ OLMo-2 بهذه الطريقة هو أن Ai2 نشرت خطوات النماذج الصغيرة كجزء من الوصفة، والتي حددت المعلمات الفائقة المثلى ضمن المقاييس التي ندرسها. كما قمنا بتأكيد أن معدل التعلم الإنتاجي الخاص بنا يقع في أو بالقرب من النقطة المثلى من حيث القوة الحسابية البالغة 3.16e18 FLOP.

النتائج التقنية الرئيسية

شرح بعض الشذوذات في الرسم البياني

لقد لاحظنا أن كفاءة القوة الحسابية تتحسن بمرور الوقت على مستويي النموذج والبيانات، وهو ما يتوافق مع التوقعات. لقد لاحظنا بعض القيم الشاذة:

• يُظهر NeoX أداءً أسوأ من GPT-2 عند 1e19 (على الرغم من أدائه الأفضل في النطاق من 1e17 إلى 3.16e18). قد يعود ذلك إلى الضوضاء في تقييم OLMES. كما لاحظنا أن NeoX يتفوق على GPT-2 في خسارة التدريب المُستبعدة على مجمع FineWeb-Edu.
• يبدو أن أداء Piles أسوأ بكثير من OpenWebText. هذا غير مفاجئ، لأن التحسين الرئيسي لـ Pile يكمن في تنوع مادة البيانات وليس في التصفية. فهو يحتوي على مزيج مُخطَّط بعناية من 22 مصدرًا، بما في ذلك أوراق PubMed وarXiv، ورمز GitHub، وآراء قانونية، وبراءات اختراع، وسجلات برلمانية. بالنسبة للعديد من هذه الرموز، قد يكون الانتقال عبر المجالات إلى OLMES (الأسئلة متعددة الخيارات في النثر الإنجليزي على الويب) ضئيلًا، مما يؤدي إلى كفاءة حسابية أقل. لاحظنا أنه نظرًا لحجمه الأكبر، نتوقع أن يتفوق Pile في النهاية على OpenWebText (الذي يكون حجمه صغيرًا حقًا) عند مقاييس أكبر.
• يجب أيضًا ملاحظة أن مضاعفات القوة الحسابية لـ NeoX وPile تم الحصول عليها من خلال التخمين الخارجي، مما يُدخل خطأً محتملاً إضافيًا.

How is the hashrate multiplier calculated and its error line?

• كل نقطة على منحنى توسيع القوة الحسابية تأتي من عدة عمليات تدريب مستقلة ببذور مختلفة. خطوط الخطأ هناك تمثل الانحراف المعياري لتقييمات OLMES على هذه البذور.
• ضع في الاعتبار نموذج المرجع أو بيانات التدريب عند مستوى أداء مرجعي معين تحت مستوى حسابي معين.
• نحسب مضاعف الحوسبة بعد ذلك من خلال تحديد أول نقطة على يسار منحنى توسيع الحوسبة للنموذج أو الترجمة المرشحين التي تصل إلى مستوى الأداء المرجعي هذا. يكون مضاعف الحوسبة للمرشح هو نسبة الحوسبة المطلوبة للمرجع إلى الحوسبة المطلوبة للمرشح.
• تُستمد خطوط الخطأ لعامل القوة الحسابية من أسلوب التقدير الذاتي للمعلمات في عملية التقدير بأكملها، وهي تمثل فترة انحراف معياري واحد.
• نود حقًا التأكيد على أننا نتوقع أن عدم اليقين الفعلي في مضاعف قوة الحوسبة لوصفة النموذج أعلى مما تشير إليه خطوط الخطأ. وذلك لأن نطاق ضبط المعلمات الفائقة الذي أجريناه محدود، وقد تكون القدرة النهائية أو الخسارة المحفوظة حساسة جدًا للخيارات الدقيقة لمعدل التعلم الذروة وحجم الدُفعات إلخ.

من المهم أيضًا ملاحظة أن تجارب الإزالة الخاصة بنا لا تستطيع، لأسباب عديدة، التقاط نطاق تحسين كفاءة الحوسبة بالكامل. في الواقع، من عام 2019 إلى عام 2025، لاحظنا تحسينًا سنويًا في كفاءة الحوسبة من جانب النموذج بمقدار 1.24 ضعفًا [1.19، 1.29]، ومن جانب البيانات بمقدار 1.51 ضعفًا [1.45، 1.57]. عند القياس المشترك، لاحظنا تحسينًا سنويًا في كفاءة الحوسبة بمقدار 1.57 ضعفًا [1.49، 1.65]7. وهذا يقل بشكل واضح عن التقدير المتوسط البالغ 3 أضعاف سنويًا الذي قدمه أنسون هو وآخرون، للأسباب التالية:

• قد تعتمد العديد من المكاسب على الحجم، أو تكون أكثر أهمية في سياقات أطول، بينما حجم عملياتنا صغير جدًا بحيث لا يُظهر العديد من المكاسب. على سبيل المثال، معيار الطبقات ومعيار QK في OLMo-2، وكتل الانتباه المتوازي مع MLP في NeoX.
• لا تُظهر تحسينات كفاءة الاستدلال (مثل GQA في LLama-3، وهي تحسين لذاكرة KV) مضاعفًا في القوة الحسابية في دراستنا. كما لم ندرس تحسينات مُقسّم الكلمات.
• العامل المضاعف للقوة الحسابية الذي حصلنا عليه حساس جدًا لوصفات النموذج أو مجموعات البيانات التي نختارها سنويًا. لقد اخترنا وصفات نموذجية أو مجموعات بيانات نعتبرها تمثيلية، لكن هذا لا يثبت بشكل شامل أنها الأفضل سنويًا.
• نحن نركز على مضاعف الحوسبة مقارنة بمعيار OLMES (الذي يجمع بين 10 أنواع مهام بسيطة نسبيًا)، وليس على مضاعف الحوسبة المطلوب للوصول إلى مؤشر إرباك معين. إذا نظرنا إلى معايير أخرى (مثل معايير الترميز أو حل المشكلات المتخصصة)، فستكون الأرقام مختلفة تمامًا، وقد تكافئ هذه المعايير أساليب هندسة بيانات مختلفة تمامًا.

نود أيضًا الإشارة إلى أننا لم ندرس تحسينات على جوانب البيانات الأخرى، مثل جمع مزيد من البيانات عالية الجودة من مصادر جديدة، أو بيانات مُنشأة من قبل خبراء بشريين، أو أساليب توليد البيانات الاصطناعية. معظم اللغات التي درسناها هي نفسها مجموعة مختارة (فرعية) من Common Crawl، وليست توسيعًا لمجموعة البيانات المتاحة. هذا يمثل بالتأكيد استهلاكًا لرصيد محدود، ودرجة التقدم التي يمكن تحقيقها من خلال هذا العامل محدودة.

العائدات مستقلة عن وصفة النموذج وبيانات التدريب

أجرينا الاستبيان التالي لتحديد مدى استقلالية عوائد وصفات النموذج ومجموعات البيانات. لقد تحققنا من شبكة درجات OLMES عند 3.16e18 FLOPs. عند تطبيق الانحدار الخطي على درجات OLMES باستخدام النموذج: درجة OLMES = المتوسط + تأثير النموذج + تأثير البيانات، تم الحصول على R مربع قدره 0.88. وهذا يعني أن 88% من التباين في درجات OLMES يمكن تفسيره بواسطة التأثيرات الإضافية للتحسينات في النموذج والبيانات، بينما يأتي حوالي 12% فقط من التباين من مصطلحات التفاعل أو مصطلحات من رتبة أعلى، بالإضافة إلى ضوضاء التقييم. وهذا يشير إلى أن التفاعلات المعقدة بين النموذج والبيانات (أي أن استغلال تحسين معين في النموذج يعتمد على هندسة بيانات معينة، أو العكس) تكون نسبيًا صغيرة.

قدر أنسون هو وآخرون تحسن كفاءة البرمجيات (في التدريب المسبق) بثلاثة أضعاف سنويًا (مجال ثقة 95%: 1.5 ضعف إلى 64 ضعفًا). وكما ذكر هو في هذه المدونة، "ربما تأتي معظم تحسينات البرمجيات في الواقع من تحسين جودة البيانات"، و"من توسيع تغييرات خوارزمية قليلة مرتبطة بالحجم".

نستخدم التوافق الاسمي C = 6ND لحساب قوة الحوسبة.

وصفة النموذج لعام 2019 هي GPT-2، ووصفة النموذج لعام 2025 هي OLMo-2. مجموعة البيانات لعام 2019 هي OpenWebText، ومجموعة البيانات لعام 2025 هي UltraFineWeb.

واجهنا بعض مشكلات عدم الاستقرار أثناء التدريب على Pile مع GPT3 (قمم التدرج).

تشمل هذه التحسينات: تحسين المُحسِّن، جدولة التسخين مع التخفيض، استبدال المواقع المطلقة المُتعلمة بـ RoPE، RMSNorm مع MLP مُتحكم بها بواسطة SwiGLU، إعادة ترتيب Norm، QK-norm، تنظيم Z-loss، وتهيئة أكثر نظافة.

لرسم خريطة توسيع الحوسبة، استخدمنا ما لا يقل عن 3 بذور لكل نقطة. بالنسبة لمصفوفة 7x7 من وصفات النماذج ومجموعات البيانات ضمن ميزانية 3.16e18، استخدمنا بذرة واحدة فقط لكل نقطة.

يُحسب مضاعف النمو السنوي البالغ 1.57 باستخدام التحسينات المشتركة من نموذج ومرجع عام 2019 إلى نموذج ومرجع عام 2025، وليس كحاصل ضرب تحسين النموذج بنسبة 1.24 ضعف وتحسين البيانات بنسبة 1.51 ضعف.