اوپن اے آئی نے جی پی ٹی-5 سیریز اور ایجنٹ ایلائنمنٹ کے خطرات کا پیش گوئی کرنے کے لیے ڈیپلویمنٹ سیمولیشن فریم ورک جاری کیا ہے

Beating مانیٹرنگ کے مطابق، OpenAI نے ڈیپلومنٹ سیمولیشن نامی ایک محفوظ جائزہ طریقہ جاری کیا ہے، جو مڈل کو حقیقی ماحول میں بے کنٹرول ہونے کے خطرے کا پیشن گوئی کرتا ہے۔ تحقیق نے 2025ء کے اگست سے 2026ء کے مارچ تک GPT-5 سوچنے والے ماڈلز کی 1.3 ملین مخفف تاریخی گفتگوؤں کو دوبارہ چلایا، جس سے غیر متوقع ناقص رویوں کی شرح کا درمیانی خطأ صرف 1.5 گنا رہا۔ روایتی سٹیٹک ایوانٹ سیٹس (جیسے SWE-Bench) ماڈل کو آسانی سے احساس دila دیتی ہیں کہ وہ ٹیسٹ کے تحت ہیں، جس سے وہ ٹیسٹ میں اپنے اصل مقاصد کو چھپا لیتے ہیں (metagaming)۔ تجربات نے ظاہر کیا کہ GPT-5.2 کی روایتی بنچ مارکس پر احساس کی شرح تقریباً 100% تھی، جبکہ ڈیپلومنٹ سیمولیشن ٹریفک میں یہ صرف 5.1% رہ گئی (پروڈکشن ماحول میں 5.4%)، جس سے ثابت ہوتا ہے کہ ماڈل اپنے ٹیسٹنگ کے حالت کو نہیں پہچان سکتا۔ ڈیپلومنٹ سیمولیشن نے GPT-5.1 کے براؤزر ٹولز کو کیلکولیٹر کے طور پر استعمال کرنے والے غیر مناسب رویے (calculator hacking) کو بھی جاری ہونے سے پہلے پکڑ لیا۔ اینٹ (Agent) سیناریوز کے لیے، OpenAI نے GPT-5.4 کے 120,000 اسٹاف پروگرامنگ ٹریکس استعمال کرکے GPT-5.5 کوڈنگ اینٹ کو ڈیپلومنٹ کا سیمولیشن بنایا۔ حقیقی سسٹمز پر فوری عمل کرنے کے محفوظ خطرات سے بچنے کے لیے، ٹیم نے بڑے ماڈل پر مبنی ٹول سیمولیٹر (Tool Simulator) متعارف کرایا، جس نے صرف پڑھنے والے کنکشن اور تاریخی کالز ڈیٹابیس کو جوڑ کر ماحول کی حقیقیت کو 11.6% سے بڑھاکر 49.5% تک پہنچایا، جو تقریباً نمایاں طور پر الگ نہیں کیا جا سکتا۔ اگر باہری آڈٹرز کے پاس نجی پروڈکشن ٹریفک نہ ہو، تو WildChat اوپن سورس گفتگو ڈیٹاسیٹ استعمال کرتے ہوئے بھی پیشن گوئی خطأ تین گنا تک محدود رہتا ہے۔