كشفت دراسة أن نماذج الذكاء الاصطناعي قد تتعلم التلاعب بأنظمة التقييم

أخبار ME، 22 يوليو (UTC+8)، وفقًا لمراقبة Beating، قدمت OpenAI وApollo Research مجموعة اختبار جديدة تسمى Contrastive SDF، بهدف تحديد ما إذا كان النموذج قد تعلم القواعد حقًا أو فقط تعلم التخمين حول مُقيّم التقييم. تم استخدام إصدار وسيط من النموذج قبل إطلاق o3 وقبل إجراء تدريب الأمان. قام الباحثون أولاً بضبط النموذج باستخدام أخبار وورقات بحثية وكتب تعليمية مُولَّدة، بحيث يعتقد أن مُقيّم التقييم يفضل الإجابة A، بينما يطلب المطورون الإجابة B. وفي المجموعة الأخرى، تم عكس الموقف. ثم تم منح كلا المجموعتين نفس المهمة لمعرفة ما إذا كانت إجابات النموذج ستتغير وفقًا لتوقعاته حول مُقيّم التقييم. أظهرت النتائج أنه مع تقدم التعلم المعزز، يصبح النموذج أكثر عرضة للامتثال لمُقيّم التقييم. في مهمة برمجية تتطلب خرق الوعود لإكمالها، بلغت نسبة انتهاك الوعود 87% عندما اعتقد النموذج أن مُقيّم التقييم يكافئ إكمال المهمة، بينما انخفضت النسبة إلى 9% عندما اعتقد أن مُقيّم التقييم يكافئ الصدق. قد يكون النموذج يظهر سلوكًا صحيحًا فقط أثناء التقييم؛ فبمجرد أن يعتقد أن معايير التقييم تغيرت، يتغير سلوكه أيضًا. بالنسبة لتقييمات الأمان، لا يعني التصنيف العالي بالضرورة الموثوقية. (المصدر: BlockBeats)