المؤلف:تينا، دونغ مي،InfoQ
1. بعد فترة تزيد على ثلاث سنوات، كشف ماسك مجددًا عن خوارزمية توصيات X.
أعلنت فريق هندسة X للتو على منصة X عن إعلان خوارزمية التوصيات الخاصة بـ X كمشروع مفتوح المصدر. وبحسب ما ورد، يحتوي هذا المكتبة المفتوحة المصدر على نظام التوصية الأساسية الذي يدعم تدفق الأخبار "المُوصى بها لك" على X، حيث يدمج المحتوى الداخلي للشبكة (من الحسابات التي يتابعها المستخدمون) مع المحتوى الخارجي للشبكة (الذي يتم اكتشافه من خلال استرجاع يعتمد على التعلم الآلي)، ويستخدم نموذج Transformer المعتمد على Grok لتصنيف جميع المحتويات. أي أن الخوارزمية تستخدم نفس هيكل نموذج Transformer المستخدم في Grok.
العنوان المفتوح المصدر: https://x.com/XEng/status/2013471689087086804
يُهَدِّث خوارزمية التوصية الخاصة بـ X مسؤولًا عن إنشاء المحتوى الذي يراه المستخدمون على واجهة التطبيق الرئيسية.محتوى "المُوصى به لك"تستخرج المشاركات المرشحة المحتملة من مصدرَين رئيسيَّن:
الحساب الذي تتابعه (In-Network / Thunder)
المشاركات الأخرى المكتشفة على المنصة (Out-of-Network / Phoenix)
ثم تتم معالجة هذه المحتويات المرشحة بشكل موحد ومن ثم تمر بمرحلة التصفية ومن ثم تُصنَّف حسب الصلة.
إذن، ما هي بنية الخوارزمية الأساسية و منطق تشغيلها؟
يبدأ الخوارزمية أولاً بجمع المحتوى المرشح من نوعين من المصادر:
المحتوى المتابع: المشاركات المنشورة من قبل الحسابات التي تتبعها بشكل نشط.
المحتوى غير المراد متابعته: المشاركات المحتملة التي تهمك والتي تم استرجاعها من قبل النظام عبر المكتبة الكاملة من المحتوى.
الهدف من هذه المرحلة هو "إيجاد المنشورات ذات الصلة المحتملة".
تقوم أنظمة التلقائية بإزالة المحتوى منخفض الجودة أو المكرر أو المخالف أو غير المناسب. على سبيل المثال:
محتوى الحساب المُحْجَب
المواضيع التي يُوضح المستخدم عدم اهتمامه بها
المنشورات غير القانونية أو القديمة أو غير الصالحة
به هذه الطريقة يتم التأكد من معالجة المحتوى المرشح ذي القيمة فقط في النهاية.
النواة الأساسية لهذا الخوارزمي المفتوح المصدر هي استخدام النموذج نظاماً لنموذج ترانسفورمر (Grok-based) (نوع من النماذج اللغوية الكبيرة / الشبكات العصبية المدربة بعمق) لتقييم كل مشاركة محتملة. ويتنبأ نموذج ترانسفورمر احتمال كل نوع من الأنشطة بناءً على سلوك المستخدم في الماضي (مثل الإعجاب، الرد، إعادة النشر، النقر، إلخ). في النهاية، يتم دمج احتمالات هذه الأنشطة بشكل موزون لتكوين درجة مجمعة، وكلما زادت درجة المشاركة، زاد احتمال توصيلها للمستخدم.
يقوم هذا التصميم ب基本上 إلغاء الممارسة التقليدية لاستخراج السمات يدويًا، ويستخدم بدلاً من ذلك أسلوب التعلم من الطرف إلى الطرف لتنبؤ اهتمامات المستخدم.
هذا ليس أول مرة يُعلن فيها ماسك عن خوارزمية التوصيات في X بشكل مفتوح المصدر.
في 31 مارس 2023، كما وعده عند شراء تويتر، قام ماسك بفتح جزء من كود تويتر المصدر بشكل رسمي، بما في ذلك خوارزمية توصية التغريدات في سلسلة أحداث المستخدم.في يوم إصداره كمشروع مفتوح المصدر، حصل المشروع على أكثر من 10 آلاف نجمة على GitHub.
في ذلك الوقت، صرح ماسك على تويتر أن هذا الإصدار هو"معظم خوارزميات التوصية"كما أشار إلى أن الخوارزميات الأخرى سيتم فتحها تدريجيًا. كما أوضح أنه يأمل أن "يمكن لجهات خارجية مستقلة تحديد المحتوى الذي قد تُظهره تويتر للمستخدمين بدقة معقولة".
في مناقشة Space حول نشر الخوارزمية، قال إنه يهدف من خلال هذه الخطة المفتوحة المصدر إلى جعل تويتر "أيضًا نظامًا شفافًا على الإنترنت"، وإعطائه قوة تشبه قوة مشروع لينكس، وهو مشروع مفتوح المصدر الأكثر شهرةً ونجاحًا. وأضاف: "الهدف العام هو أن يتمكن المستخدمون الذين يستمرون في دعم تويتر من الاستمتاع بأقصى حد ممكن من هنا."
بعد مرور أكثر من ثلاث سنوات على إعلان ماسك عن خوارزمية X بشكل مفتوح المصدر لأول مرة، فقد قام ماسك، بصفته شخصية بارزة في عالم التكنولوجيا، بالفعل بالكثير من الترويج لهذا الإطلاق المفتوح المصدر مسبقًا.
في 11 يناير، نشر إيلون ماسك تغريدة على X، قائلاً إنه سي开源 الخوارزمية الجديدة لـ X (وتشمل كل الأكواد المستخدمة لتحديد المحتوى البحثي الطبيعي والإعلانات التي يتم توصيلها للمستخدمين) خلال 7 أيام.
سيتم تكرار هذا الإجراء كل أربعة أسابيع مع ملاحظات مطورة مفصلة لمساعدة المستخدمين على معرفة ما الذي تغير.
اليوم، تحقق وعده مرة أخرى.
2. لماذا قرر ماسك جعله مفتوح المصدر؟
عندما يذكر إيلون ماسك مصطلح "المفتوح المصدر" مرة أخرى، فإن أول رد فعل من الخارج ليس الاشتياق إلى المثالية التقنية، بل هو ضغط واقعي.
خلال العام الماضي، وجدت منصة X نفسها في وسط جدل متكرر بسبب آلية توزيع المحتوى الخاص بها. تعرضت المنصة لانتقادات واسعة لانحيازها وتعزيزها آليات الخوارزميات لآراء اليمين المتطرف، ويُعتبر هذا الانحياز ليس حالة فردية بل يُنظر إليه كميزة نظامية. أشارت تقرير بحثي نُشر العام الماضي إلى ظهور انحيازات جديدة واضحة في نظام التوصيات الخاص بـ X في نشر المحتوى السياسي.
في الوقت نفسه، زادت بعض الحالات المتطرفة من الشكوك الخارجية. ففي العام الماضي، انتشر فيديو غير مُدقَّق يُظهر محاولة اغتيال تشارلي كيرك، وهو ناشط من اليمين الأمريكي، بسرعة على منصة X، مما أثار اهتمام الرأي العام. ويرى المُنتقدون أن هذا يُظهر بشكل واضح فشل آليات المراجعة على المنصة، كما يبرز مرة أخرى دور الخوارزميات في "زيادة انتشار بعض المحتويات وعدم زيادة انتشار محتويات أخرى". السلطة الضمنية.
في ظل هذه الخلفية، من الصعب تفسير تأكيد ماسك المفاجئ على الشفافية الخوارزمية على أنه قرار تقني بحت.
3. ما رأي مستخدمي الإنترنت؟
بعد أن تم إصدار خوارزمية التوصيات الخاصة بمنصة X كمشروع مفتوح المصدر، قام المستخدمون على منصة X بتلخيص آلية خوارزمية التوصيات إلى خمس نقاط رئيسية وهي:
- رد على تعليقكإن وزن الخوارزمية لـ "الرد + استجابة الكاتب" هو 75 مرة أكثر من وزن الإعجابات. عدم الرد على التعليقات يؤثر بشكل كبير على معدل الظهور.
- سيؤدي الارتباط إلى تقليل المعدل المُعرضيجب وضع الروابط في السيرة الذاتية أو في الموضوع المثبت، ولا تضعها أبدًا في نص الموضوع.
- مدة المشاهدة أمر بالغ الأهميةإذا تجاهلوه بتمرير الشاشة، فلن يلفتوا انتباههم. إن الفيديوهات/المشاركات تحظى باهتمام كبير لأنها تجبر المستخدمين على التوقف.
- التمسك بمنطقتك"النُّسخ من المجموعات" موجودة بالفعل. إذا ابتعدت عن مجالك المحدد (العملات المشفرة، التكنولوجيا، إلخ)، فلن تحصل على أي قنوات توزيع.
- إذا قمت بحظر شخص ما أو لم ترد عليه، فسيؤثر ذلك بشكل كبير على تقييمك السلبي.أن تكون جدلاً، ولكن لا تثير النفور.
ببساطة: اتصل بجمهورك، وقم ببناء علاقات، واحتفظ بالمستخدمين داخل التطبيق. هذا في الواقع سهل.
كما لاحظ بعض مستخدمي الإنترنت أنه على الرغم من أن الهيكل هو مفتوح المصدر، إلا أن هناك بعض المحتويات لم تُفتح بعد. وعلق أحد المستخدمين أن هذه الإصدار في جوهره هو إطار عمل فقط، وليس هناك محرك. ما الذي يفتقده تحديدًا؟
الوزن المفقود يُعد معلمةً ضر - تؤكد الكود على "إضافة نقاط للسلوكيات الإيجابية" و"خصم نقاط للسلوكيات السلبية"، ولكن على عكس الإصدار لعام 2023، تم حذف القيم المحددة.
إخفاء وزن النموذج - لا تشمل المعلمات الداخلية والحسابات الخاصة بالنموذج نفسه.
بيانات التدريب غير المعلنة - لا نعرف شيئًا عن البيانات المستخدمة لتدريب النموذج أو طريقة أخذ عينات سلوك المستخدمين أو كيفية بناء العينات "الجيدة" والعينات "السيئة".
لن يكون فتح مصدر خوارزمية X تأثيرًا كبيرًا على المستخدمين العاديين لـ X. لكن الشفافية الأعلى يمكن أن تفسر سبب حصول بعض المنشورات على الظهور بينما تهمل أخرى، ويمكن أن تسمح للمحققين بدراسة كيفية ترتيب المنصة المحتوى.
4. لماذا تعد أنظمة التوصية مجالًا متنافسًا؟
في معظم المناقشات التقنية،نظام التوصيةغالبًا ما يُنظر إليه كجزء من الهندسة الخلفية، معقد وغير مبالٍ، ونادرًا ما يظهر في الأضواء. ولكن إذا تم تحليل طريقة تشغيل الأعمال التجارية لشركات الإنترنت العملاقة بشكل عميق، ستجد أن نظام التوصية ليس مجرد وحدة هامشية، بل هو "وجودية البنية التحتية" التي تدعم نموذج العمل بأكمله. وبسبب ذلك، يمكن تسميته "ال野兽 الصامت" في صناعة الإنترنت.
أعادت البيانات المفتوحة تأكيد هذه الحقيقة مرارًا وتكرارًا. كشفت أمازون أن حوالي 35% من عمليات الشراء على منصتها تأتي مباشرة من نظام التوصيات؛ أما نتفليكس، فهي أكثر جرأة، حيث يُستهلك حوالي 80% من وقت المشاهدة بفضل الخوارزميات التوصيلية؛ وحالة يوتيوب مشابهة، إذ يُقدّر أن حوالي 70% من وقت المشاهدة يُستمد من أنظمة التوصية، وخاصة تدفق المحتوى (Feed). أما بالنسبة لشركة ميتا، فعلى الرغم من أنها لم تُعلن نسبة واضحة، إلا أن فريقها التقني ذكر أن حوالي 80% من دورة المعالجة في مراكز الحوسبة الداخلية للشركة تُستخدم لخدمة المهام المرتبطة بالتوصية.
ماذا تعني هذه الأرقام؟إذا تم إزالة نظام التوصية من هذه المنتجات، فإن ذلك يشبه تقريبًا سحب الأساس من تحتها.على سبيل المثال، تعتمد Meta في إعلاناتها وطول مدة تواجد المستخدمين وتحويلهم إلى عملاء تجاريين بشكل أساسي على نظام التوصيات. إن نظام التوصيات لا يحدد فقط ما الذي سيشاهده المستخدمون، بل يحدد أيضًا بشكل مباشر الطريقة التي يربح بها المنصة.
ومع ذلك، فإن هذا النظام الذي يحدد بين الحياة والموت يواجه منذ فترة طويلة مشكلة تعقيد هندسي متزايد.
في العمارة التقليدية لأنظمة التوصية، من الصعب تغطية جميع السيناريوهات باستخدام نموذج موحد. تميل أنظمة الإنتاج في الواقع إلى أن تكون مجزأة للغاية. على سبيل المثال، في شركات مثل ميتا ولينكد إن ونيتفليكس، عادةً ما تعمل 30 نموذجًا متخصصة أو أكثر في سلسلة التوصية الكاملة: نماذج الاسترجاع، ونماذج الترتيب الخشن، ونماذج الترتيب الدقيق، ونماذج إعادة الترتيب، وكل منها مُحسَّن لدالة أهداف ومقاييس أعمال مختلفة. خلف كل نموذج، غالبًا ما يوجد فريق أو أكثر مسؤول عن هندسة السمات والتدريب والضبط والتحديث المستمر.
إن تكلفة هذا النمط واضحة: تعقيد هندسي، تكاليف صيانة مرتفعة، وصعوبة في التعاون بين المهام. بمجرد أن يطرح أحدهم سؤال "هل يمكن استخدام نموذج واحد لحل مشاكل التوصية المتعددة"، فهذا يعني انخفاضًا كبيرًا في التعقيد بالنسبة للنظام بأكمله. وهذا بالضبط الهدف الذي طالما رغب فيه القطاع لسنوات، لكنه كان صعب المنال.
ظهرت ظاهرة نماذج اللغة الكبيرة، مما يوفر مسارًا محتملًا جديدًا لنظام التوصية.
لقد أثبتت النماذج اللغوية الكبيرة (LLM) عمليًا أنها نماذج قوية جدًا ومُستخدمة على نطاق واسع: فهي تمتلك القدرة العالية على النقل بين المهام المختلفة، كما أن أدائها يمكن أن يتحسن باستمرار مع توسع حجم البيانات والقدرة الحسابية. في المقابل، تكون النماذج التقليدية المستخدمة في التوصيات غالبًا "مخصصة للمهام"، مما يجعل من الصعب جدًا مشاركة القدرات بين السيناريوهات المتعددة.
ما يهم أكثر هو أن نموذجًا واحدًا كبيرًا لا يجلب فقط تبسيطًا هندسيًا، بل يشمل أيضًا إمكانية "التعلم المتبادل". عندما يقوم نفس النموذج بمعالجة مهام التوصية متعددة في آنٍ واحد، يمكن أن تكمل الإشارات بين المهام المختلفة بعضها البعض، وعندما تزداد كمية البيانات، يصبح من الأسهل على النموذج أن يتطور ككل. هذه بالضبط هي الميزة التي طالما رغب فيها أنظمة التوصية، لكنها كانت صعبة التحقيق باستخدام الطرق التقليدية.
هل تغير LLM شيئًا؟ في الواقع، لقد تغير من هندسة الميزات إلى القدرة على الفهم.
من الناحية المنهجية، فإن أكبر تغيير يطرأ على أنظمة التوصية بسبب نماذج LLM يحدث في مرحلة "هندسة السمات"، وهي مرحلة مركزية في العملية.
في أنظمة التوصية التقليدية، يجب على المُهندسين أولاً إنشاء كميات كبيرة من الإشارات يدويًا: تاريخ النقرات للمستخدم، مدة البقاء، تفضيلات المستخدمين المشابهين، علامات المحتوى، إلخ، ثم إخبار النموذج بشكل صريح بـ "الرجاء اتخاذ القرارات بناءً على هذه السمات". لا يفهم النموذج المعنى الدلالي لهذه الإشارات، بل يتعلم فقط العلاقات المقابلة في الفضاء العددي.
وبعد إدخال نموذج اللغة، أصبح هذا الإجراء مُجرَّدًا بشكل كبير. لم تعد بحاجة إلى تحديد "راقب هذا الإشارة، اتجاهل تلك الإشارة" واحدة تلو الأخرى، بل يمكنك ببساطة وصف المشكلة نفسها للنموذج: هذا هو المستخدم، هذا هو المحتوى؛ لقد أحب المستخدم هذا النوع من المحتوى في الماضي، والمستخدمون الآخرون قد أعطوا رد فعل إيجابي تجاه هذا المحتوى أيضًا — يُرجى التقدير الآن، هل يجب توصيل هذا المحتوى لهذا المستخدم؟
يتمتع نموذج اللغة نفسه بقدرة فهم، ويمكنه اتخاذ قرارات مستقلة حول ما إذا كانت المعلومات مهمة وكيفية دمج هذه الإشارات لاتخاذ قرارات. وبمعنى ما، فهو لا ينفذ فقط قواعد التوصية، بل هو يفهم "عملية التوصية" نفسها.
تستمد هذه القدرة من حقيقة أن النماذج اللغوية الكبيرة (LLM) كانت على اتصال بكم هائل ومتنوع من البيانات في مرحلة التدريب، مما يجعل من الأسهل عليها اكتشاف الأنماط الدقيقة ولكن المهمة. في المقابل، يجب على أنظمة التوصية التقليدية الاعتماد على مهندسين لسرد هذه الأنماط بشكل صريح، وإذا تم إهمال أي شيء، فلن يكون النموذق قادرًا على إدراكه.
من منظور الطرف الخلفي، هذه التغييرات ليست غريبة. فكما تطرح سؤالاً على GPT، فإنه يولد إجابة بناءً على سياق المعلومات؛ بنفس الطريقة، عندما تسأله "هل سأهتم بهذه المحتوى؟"، فإنه يستطيع اتخاذ قرار بناءً على المعلومات المتوفرة. إلى حدٍ ما، فإن نموذج اللغة نفسه يمتلك بالفعل قدرة "توصي" بشكل طبيعي.