يقرأ شبه لا أحد من علماء المختبرات المتقدمة الأوراق البحثية؟
باحث من OpenAI يهاجم ثلاث مؤتمرات رائدة بجملة واحدة: الكثير من المبالغات والتزوير!
السبب يعود إلى ورقة بحثية في ICLR أظهرت نتائج ممتازة لدرجة يصعب تفسيرها، وعندما تحقق المستخدمون في الأمر اكتشفوا "السر" وراءها.
هل أصبح نشر الأوراق في المؤتمرات الرائدة بهذا الشكل؟
أولاً، تحقق مما إذا كان الكود مفتوح المصدر، ثانياً، ابحث عما إذا كانت هناك أي "طرق غير أخلاقية" مخبأة في منهجية التجربة، وثالثاً، تحقق مما إذا كانت النتائج التي تم الحصول عليها قادرة على دعم الاستنتاج الأساسي — بعد طرح هذه الأسئلة المتسلسلة، كم عدد أوراق المؤتمرات الرائدة التي يمكنها تحمل الاختبار؟
لقد قام حقًا شخص ما بذلك.
من أصل 105 مقالة، فقط 8 مقالات "مؤهلة"
في يوليو من هذا العام، أعلنت SAI، التي أسسها بالاشتراك مع تشان تشينهاو، أستاذ مساعد في علوم الحاسوب والعلوم البيانات بجامعة شيكاغو، عن "مراجعة تجريبية" واسعة النطاق.
ما تم اختياره، هو جميع أوراق ICML 2026 الـ168 المقدمة شفهيًا.
في عامنا هذا، تلقى ICML 23,918 مساهمة، وحصلت فقط 168 مساهمة على مؤهلات العرض الشفهي، بنسبة تقارب 0.7%.
بعبارة أخرى، فإن SAI قد فحصت بالفعل أعلى المقالات المختارة من بين أكثر من 20,000 مساهمة.
بالإضافة إلى قراءة الأوراق البحثية وتصميم التجارب ونتائجها بنفس طريقة المراجعين التقليديين، تقوم SAI Review بتنزيل الكود والنماذج والبيانات، وتهيئة البيئة وتشغيل التجارب، ثم مقارنة نتائج التشغيل مع النص الأصلي للورقة نقطة بנקודה.
قامت SAI بمراجعة جميع الـ 168 ورقة شفهية، حيث كان كود 104 ورقة فقط مفتوح المصدر، وتم إكمال إعادة إنتاج كاملة لـ 105 ورقة.
من بينها، فقط 34 ورقة أعادت إنتاج أكثر من 40% من المطالبات؛ وانخفض عدد الأوراق التي أعادت إنتاج أكثر من 80% إلى 8 أوراق فقط.
بغض النظر عن ما إذا كانت كل ورقة تشمل على الأقل مطالبة واحدة أو ثلاث مطالبات أو خمس مطالبات قابلة للتحقق، فإن الوسيط得分 للإعادة الإنتاج ظل ثابتًا بين 28% و30%، مع تغير طفيف في التوزيع العام.
بعد استبعاد التجارب غير المُشغلة أو المُلغاة مبكرًا أو التي تجاوزت قدرات الأجهزة، لا يزال الوسيط الناتج عن إعادة الإنتاج عند 42%–50%؛ وعندما تحتوي كل ورقة بحثية على ما لا يقل عن ثلاث مطالبات قابلة للتحقق، يثبت الوسيط عند 42%.
واجهت جميع المشكلات الأكثر شيوعًا في التكرار: لا يمكن تشغيل الكود، أو نقص الملفات، أو التوضيحات غير الكاملة، أو التبعيات التالفة، أو أن النتائج التي ينتجها الكود لا تتطابق مع الورقة البحثية.
هناك 4 أوراق بحثية أخرى تعتمد على نماذج تم إيقافها. لا يمكن للباحثين اللاحقين، حتى لو أرادوا إنفاق المال والوقت، إعادة تحقيق نفس النتائج.
كما ذكرت SAI مثالين أكثر تحديدًا.
ورقة بحثية عدّت "تدريب 0.77% فقط من معلمات النموذج الأساسي" نقطة بيع رئيسية، بينما تم تدريب نقطة التحقق المنشورة فعليًا على 6.31% من المعلمات، أي حوالي 8 أضعاف الرقم المعلن.
عرض ورقة بحثية أخرى جدولاً يوضح موثوقية التقييمات التي قدمها نموذج الحكم، لكن لا يمكن العثور على نموذج الحكم هذا في الكود المفتوح المصدر، ولا توجد أي نصوص قادرة على حساب الأرقام الواردة في الجدول.
أبحاث رديئة، عوائد عالية ومخاطر منخفضة
نتائج إعادة إنتاج SAI يمكن وصفها بأنها سيئة للغاية.
الأكثر سوءًا أن المشكلات المكتشفة هنا هي فقط المشكلات "القابلة للاكتشاف بشروط".
الأوراق التي لا تحتوي على كود تُعتبر مباشرة "غير قابلة للهجوم".
وحتى لو كان الكود مفتوحًا بالكامل، فإن الوقت والجهد والمال المطلوبين للتحقق من ورقة بحثية هائلان، وغالبًا ما تكون النتيجة أقل من التوقعات، ولا يُعرف كم سيكون الأمر مُحبِطًا.
بناءً على التقديرات المقدمة من SAI بناءً على أسعار Google Cloud المعلنة حسب الطلب، فإن التكلفة الوسيطة لإعادة تشغيل ورقة بحثية واحدة من نوع ICML Oral تبلغ حوالي 8900 دولار أمريكي. من أصل 105 أوراق بحثية، تجاوزت 17 ورقة تكلفة 100 ألف دولار، وأصبحت أكثر ورقة تكلفة قريبة من 2.2 مليون دولار.
كلما ازداد اعتماد الورقة البحثية على قوة حوسبة كبيرة، زاد صعوبة إعادة إنتاجها بشكل مستقل.
بدون كود، لا يمكن للآخرين التحقق؛ ومع وجود الكود، قد لا يستطيع أحد تحمل هذا التكلفة.
وبالتالي، من المحتمل تمامًا أن تمر ورقة بحثية تحتوي على مشكلات بسهولة عبر عملية المراجعة، وتُستشهد بها، ثم تُدرج في السيرة الذاتية، مما يفتح أمام صاحبها فرص القبول أو المناصب الأكاديمية أو الوظائف في المختبرات الكبرى.
أحيانًا يكتشف شخص ما عدم تطابق النتائج، ونادرًا ما تُعاد مراجعة الاجتماعات، ولا تُسحب الأوراق البحثية بالضرورة.
هذا هو ما يُقصد بـ"القيام بأبحاث سيئة يحقق عوائد، لكنه لا يحمل تقريبًا أي تكلفة".
لا تقرأ الأوراق البحثية، لكن التوظيف يتطلب مراجعة الأوراق البحثية
في مجال النماذج الكبيرة، هناك بالفعل العديد من التطورات المهمة حقًا التي لم تعد تظهر على شكل أوراق بحثية.
من الطبيعي أن يشعر مهندس في OpenAI، وهو يقف على طليعة الصناعة، بهذا الشعور. فبفضل قوة حوسبة أكبر، وردود فعل تجريبية أسرع، وكميات هائلة من النتائج الداخلية غير المنشورة، يكون هناك أساس للقول "إنني لا أحتاج إلى قراءة الأوراق البحثية".
لكن قول ذلك بصوت عالٍ يحمل قليلاً من الدقة.
تعليق ساخر يشير إلى أن أشخاصًا في شركات التكنولوجيا يتصرفون بهذه الطريقة كـ"سحب السلم بعد الصعود": استقطاب الباحثين من الجامعات، والبناء على الإنجازات التي تم تجميعها بشكل علني في الأوساط الأكاديمية، وسرقة الكفاءات والـGPU بأسعار أعلى، وتقليل التزامهم بالتدقيق من قبل الزملاء، ثم يتحولون فجأة ليعلنوا أن البحث الأكاديمي "مجرد خدعة".
قاسي قليلاً، لكنه صحيح بالفعل.
يمكن لأولئك الأشخاص في المختبرات المتقدمة أن "لا يقرأوا الأوراق البحثية"، لكن من يريد الدخول يجب عليه أولاً نشر ورقة بحثية.
لطلاب والباحثين الشباب الذين يفتقرون إلى خبرة صناعية، لا تزال أوراق المؤتمرات الرائدة الدليل الأكثر مباشرة على القدرة البحثية.
التقديم للدكتوراه، والبحث عن وظيفة أكاديمية، والانضمام إلى مختبرات رائدة مثل OpenAI، كلها تعتمد على الأوراق البحثية لكسب الاهتمام.
يدخل أفراد الصناعة المختبرات الكبرى ويتهمون الأوراق البحثية، لكنهم لا يزالون يستخدمون عدد الأوراق البحثية ومستوى المؤتمرات ونتائج الاقتباس لانتقاء من هم خارج الباب.
يجد البحث نفسه في موقف محرج: فقد تضاءلت مصداقيته في نقل المعرفة، لكن قيمته في المنافسة على المواهب لم تختفِ على الإطلاق.
لذلك، فإن عبارة "المختبر الكبير لم يعد يقرأ الأوراق البحثية" تبدو متحفظة ومتغطرسة قليلاً. لأن الأشخاص الذين لديهم الحق الحقيقي في عدم قراءة الأوراق البحثية، عادةً ما عبروا بالفعل عن تلك العتبة بفضل الأوراق البحثية.
Of course, not all students are meticulously crafted academic villains.
قال باحث جامعي مازحًا إنه يتمنى أن يكون طلابه قد اكتسبوا بالفعل القدرة على كتابة ورقة بحثية مبالغ فيها أو حتى مزورة.
بعض الناس يحاولون أن يصبحوا محتالين أكاديميين، بينما لا يزال آخرون يكافحون مع LaTeX.
رابط المرجع:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
هذا المقال من حساب WeChat "Machine Heart" (ID: almosthuman2014)، الكاتب: Machine Heart