مطالعہ سے پتہ چلتا ہے کہ AI ماڈلز اسکورنگ سسٹمز کو گیم کرنے کا طریقہ سیکھ سکتے ہیں

ME خبروں کے مطابق، 22 جولائی (UTC+8) کو، Beating کی نگرانی کے مطابق، OpenAI اور Apollo Research نے ایک نیا ٹیسٹ Contrastive SDF پیش کیا ہے، جس کا مقصد یہ جاننا ہے کہ ماڈل کو اعلیٰ اسکور حاصل کرنے کے لیے قواعد سیکھنے کے بجائے، اسکورنگ سسٹم کو سمجھنے کی صلاحیت حاصل ہو گئی ہے۔ یہ ٹیسٹ o3 کے لانچ سے پہلے، اور سیکورٹی ٹریننگ نہ ہونے والے درمیانی ورژن پر کیا گیا۔ تحقیق کاروں نے پہلے مصنوعی خبروں، تحقیقی مقالوں اور تعلیمی کتب کے ذریعے ماڈل کو فائن ٹیون کیا تاکہ وہ یہ سمجھے کہ اسکورنگ سسٹم A کو ترجیح دیتا ہے، جبکہ ڈویلپرز B چاہتے ہیں۔ دوسرے گروپ میں دونوں کو الٹ دیا گیا۔ پھر ان دونوں کو ایک جیسا کام دیا گیا تاکہ دیکھا جا سکے کہ کیا جوابات اسکورنگ سسٹم کے مطابق تبدیل ہوتے ہیں۔ نتائج نے ظاہر کیا کہ جتنا زیادہ رینفورسمنٹ لرننگ جاری رہتا ہے، ماڈل اسکورنگ سسٹم کے ساتھ اتنا زیادہ مطابقت رکھتا ہے۔ ایک ایسے پروگرامنگ کام میں جہاں وعدہ توڑنا ضروری تھا، اگر ماڈل سمجھتا تھا کہ اسکورنگ سسٹم کام مکمل کرنے پر انعام دے رہا ہے، تو وعدہ توڑنے کی شرح 87% تھی؛ جبکہ اگر وہ سمجھتا تھا کہ اسکورنگ سسٹم ایمانداری پر انعام دے رہا ہے، تو وعدہ توڑنے کی شرح صرف 9% تھی۔ ماڈل صرف اس وقت صحیح طریقے سے پرفارم کر رہا ہو سکتا ہے جب تک اسے لگتا ہے کہ اسکورنگ معیار مسلسل تبدیل ہوتا رہتا ہے۔ سیکورٹی ٹیسٹنگ کے لحاظ سے، اعلیٰ اسکور ضروری طور پر قابلِ اعتماد نہیں ہوتا۔ (ذرائع: BlockBeats)