OpenAI تُعدّل بيانات تقييم GPT-6 Astra، مما يثير مخاوف بشأن الشفافية

تحديثات Beating AI: بعد إصدار OpenAI لـ GPT-6 Astra في 3 سبتمبر، تم تعديل مستمر لبيانات معايير تقييم النماذج، حيث أدت بعض التعديلات إلى تحسين أداء Astra، في حين انخفضت نتائج نماذج منافسة، مما أثار شكوكًا خارجية حول "التلاعب بالتصنيفات" وشفافية التقييم. على سبيل المثال، انخفض معدل الوهم في Astra من 4.2% إلى 2%، بينما انخفض من 12.2% إلى 9.4% في GPT-5.6 Sol، ثم عادت القيم لاحقًا إلى 4.2% و12.2% على التوالي. في تقييم الرياضيات، انخفضت درجة Fable 5.1 من Anthropic من 87.8% إلى 78%، ثم ارتفعت حاليًا إلى 83%؛ بينما انخفضت درجة GPT-5.6 Sol من 83% إلى 80.5%، ثم عادت إلى 83%. بالإضافة إلى ذلك، ارتفع أداء Astra في تقييم ARC-AGI-3 من 98.6% في المسودة الأولية إلى 99.99% في الصفحة النهائية، كما تم رفع أدائه في تقييم البرمجة من 57.7% إلى 57.9% بشكل طفيف. أوضحت OpenAI أن نتائج التقييم تتأثر بنسخة النموذج، وتكوين الأدوات، ومستوى الاستدلال، وتشغيل الاختبارات، وأن هذه التعديلات تهدف إلى ضمان دقة البيانات في عكس الأداء الأمثل للنموذج. ومع ذلك، يرى باحثون من جامعة ستانفورد أن إعادة تشغيل التقييمات المتكررة قد تنطوي على ما يُعرف بـ "Benchmaxxing"، أي تعديل ظروف الاختبار لتحقيق أعلى درجات ممكنة في المعايير. ويشير الخبراء إلى أنه مع تصاعد التنافس بين نماذج الذكاء الاصطناعي، أصبحت بيانات التقييم أداة حاسمة لقياس قدرات النماذج والتنافس على السوق، ويتم التركيز المتزايد على كيفية تحسين شفافية وإمكانية إعادة إنتاج اختبارات المعايير.