في الليلة الماضية، قلت إنني سأُطلق الدراسة حول ما إذا كان التلقيح المتقاطع بين النماذج يساعد حقًا في فتح مجال البحث الذاتي. ها هي الدراسة، وإجابتي هي لا: علامة النموذج التي تستند إليها في عملك لا تغيّر ما إذا كان تقديمك سيُقبل. ما يهم يبدو أكثر شبهاً بالشيء الذي أشار إليه @sreeramkannan من البداية: عدد كبير من الأشخاص ينسقون حول حدود عامة واحدة. جاء السؤال من رد @0xkydo على منشور Sreeram المعنون "الأنونز تفوقوا على Anthropic بمرتين"، حيث وصف ذلك بأنه "دراسة حالة جيدة لكيفية إنتاج التلقيح المتقاطع بين النماذج نتائج أفضل." إنه سؤال جيد، والورقة https://t.co/zVaWaF5HEj تلاحظ شيئًا مشابهًا بالنص، بأن المستويات الثابتة كانت تُكسر باستمرار من قبل أشخاص يستخدمون نماذج وأدوات مختلفة. لم يتحقق أحد من ذلك مقابل البيانات، ففعلتُ ذلك أنا. الإعداد الأساسي هو: قمت بتجميد واجهة برمجة تطبيقات Yukon العامة لـ 10 لوحات تصنيف، بما في ذلك https://t.co/zVaWaF5HEj، والتي تحتوي على 30,687 مقدّمًا مُقيّمًا. لكل مقدّم، سجّلت الشركة وراء النموذج المُعلن، وحددت أي مقدّم سابق استند إليه، باستخدام سجلات النسب من @yukonresearch، وسطر "الأساس:" في الملاحظات، وفرق الشيفرة. ثم سألت: عندما تستند إلى عمل شخص آخر، هل أنت أكثر احتمالاً للترقية إذا كان عملهم مبنيًا على نموذج من شركة مختلفة عن شركتك؟ كتبت تحليلي بالكامل ووقّعته باستخدام OpenTimestamps قبل ربط أي نتيجة بالبيانات، بحيث لا يمكن أن ينحرف الأسلوب نحو إجابة معينة. أول شيء تظهره البيانات هو أن البناء المتقاطع بين الشركات هو الحالة الطبيعية، وليس حدثًا استثنائيًا. ثلثا الخطوات التي يستند فيها شخص إلى عمل شخص آخر تغيّر المورد (الصورة 2)، وغالبًا ما تكون بين نماذج Anthropic وOpenAI في كلا الاتجاهين. الأرقام الخام حتى تميل قليلاً في الاتجاه المعاكس: 6.1% من المقدّمات التي استندت إلى نموذج من شركة أخرى تم ترقيتها، مقابل 7.6% التي استندت إلى نموذج من نفس الشركة. لكن المعدلات الخام تخلط بين من قدم، ومتى، ومن أي نقطة بداية. لذا فإن الاختبار الحقيقي يقارن كل مشارك مع نفسه، في نفس المرحلة من لوحة التصنيف. وبذلك وبدمج النتائج عبر اللوحات العشر، فإن احتمال الترقية أعلى بنسبة 2% تقريبًا للبناء المتقاطع بين الشركات، وتستبعد البيانات أي فرق يتجاوز حوالي 18% أقل أو 28% أعلى (الصورة 1). جميع الإصدارات التسعة البديلة للتحليل التي حددتها مسبقًا أعطت نفس الإجابة. وهذا يتجاوز الحد الذي حددته لاعتبار التأثير ضئيلاً في المتوسط. تحفظ صادق واحد: بدأت بحد أدق، ودفعني فحص القوة المسجل مسبقًا إلى حد أوسع قبل أن أرى أي نتائج؛ تحت الحد الأدق، كان هذا غير محسوم. الجزء الذي وجدته الأكثر متعة هو دائرة 843 كيوبيت من منشور @sreeramkannan (الصورة 3). إنها حقًا خطوة متقاطعة بين النماذج. بدأ تقديم @jieyilong لـ GPT-5 عند 843 كيوبيت و11.95 مليون توفولي، حسب ملاحظته الخاصة، من دائرة gnuchev Claude Opus 5.5 عند 843 كيوبيت و13.01 مليون، والتي بدورها استندت إلى دائرتين من BitWonka في نفس اليوم. إذًا، يحدث التلقيح، وفي هذه الخطوة الواحدة أنتج الرقم الذي أُقتبس على نطاق واسع. ما تقوله البيانات هو أنه في المتوسط، عبر آلاف الخطوات، خليط الموردين ليس ما يفصل الخطوات الفائزة عن تلك التي لم تفز. بالطبع من الممكن أن يكون هذا أضيق مما يبدو. إنه متوسط، ويمكن أن تختلف لوحة تصنيف واحدة. إنه يرى فقط العمل الذي تم تقديمه. وهو يثق في النموذج الذي أعلنه كل شخص، وبعض الأشخاص يشغلون عدة موردين تحت تسمية واحدة. وهو يتعلق بالنماذج، وليس بالأشخاص: نقطة الورقة https://t.co/zVaWaF5HEj التي تقول إن مشاركين مختلفين يكسرون المستويات الثابتة هي ادعاء منفصل، ولا شيء هنا يعارضه. آرائي الشخصية: - على لوحات التصنيف المفتوحة، لا يغيّر أي نموذج من أي مورد صنع تقديمك الأصلي فرصتك في الترقية، في المتوسط. - البناء بين الموردين هو بالفعل الحالة الافتراضية: ثلثا عمليات الاستناد إلى عمل الآخرين تغيّر المورد. - الميزة الحقيقية للحشد المفتوح تأتي على الأرجح من التنسيق نفسه — العديد من الأشخاص المستقلين الذين يعيدون البدء من أفضل نتيجة عامة — أكثر من خلط علامات النماذج. - لاختبار النسخة السببية، سيحتاج المنصات إلى تسجيل كل محاولة ونموذج كل وكيل، وليس فقط سطرًا واحدًا مُعلنًا لكل تقديم. الورقة على Zenodo: https://t.co/h9lRYlJYoB
