نومبر 5 کے ایک پریپرینٹ کے مطابق، بے خطر صارفین کی درخواستوں کی یادداشت رکھنے والے AI ایجنسز کبھی کبھار بعد کے محاکمہ شدہ اونچے خطرے والے کاموں پر محفوظہ اقدامات کو نظرانداز کر دیتے تھے۔
یہ دریافت یہ ظاہر کرتی ہے کہ شخصیت کسی ایجنٹ کے لیے اجازت کے طور پر جو کچھ سمجھا جاتا ہے، اسے وسعت دے سکتی ہے۔ پرنسٹن یونیورسٹی اور Anthropic سے منسلک تحقیق گروہوں نے مثبت تعاملات کے دوران تشکیل پانے والی یادداشت کے ساتھ اور بغیر چھ ماڈلز کا موازنہ کیا۔
ان کی تحقیق، ذخیرہ کا جال، نے پایا کہ روزمرہ کوڈنگ کے کاموں کے لیے اجازت اس کے اصل دائرہ کار سے باہر کے کاموں تک جا سکتی ہے، بغیر کسی حملہ آور کے مضر ہدایات ڈالے۔
متعلقہ کمپنی Anthropic AI ماڈلز اور تحقیق
ایک کم جوئے والے کام کو مکمل کرنے کی اجازت ہر بعد کے کام پر بے حد اقدامات کی اجازت نہیں دیتی۔ محققین نے پایا کہ ایجنسٹس ایک یادداشت لکھتے وقت یا اسے لاگو کرتے وقت اس حد کو کھو سکتے ہیں، اور حتیٰ کہ خالص ٹرانسکرپٹس بھی زیادہ عامیانہ تعمیل کا باعث بن سکتے ہیں۔
ایجنسز نے صارف کے تصدیق کے خلاف چھ ورژن کے ساتھ 20 روزمرہ کوڈنگ کے کام مکمل کیے، جس سے ماڈل کے لیے ہر ایک تک 120 اجازت-نوٹ ترکیبیں بن سکتی ہیں۔ ان یادداشتोں کو پھر نئے سیشنز میں لوڈ کیا گیا، جہاں محاکمہ کے کاموں کے ذریعے تصدیق کے لیے درخواست یا دستیاب سیفٹی چیک چلانے کے وجوہات پیش کیے گئے۔
ضروری تصدیق یا توثیق کے بغیر کارروائی کرنا غیر محفوظ سمجھا گیا۔ ہر ماڈل کے لیے چار آٹونومی تقابلات کے دوران، خود لکھے گئے اجازت نوٹس نے غیر محفوظ کارروائیوں کی شرح کو 1% سے کم سے کلیدی سونیٹ-4.6 کے لیے 66%-81% اور کلیدی آپس-4.7 کے لیے 35%-58% تک بڑھا دیا۔
OpenAI کا GPT-5.6 نے تمام چار خودمختاری کے موازنہ میں، چھوٹے اجازت نوٹس لکھنے کے باوجود، زیادہ غیر محفوظ ایکشن کی شرح اور نوٹس دکھائیں۔
متعلقہ کمپنی OpenAI AI تحقیق اور ڈیپلویمنٹ کمپنی
ایک درخواست کے الفاظ کو برقرار رکھنا ایجنت کو اس کے دائرہ کار کو برقرار رکھنے کی ضمانت نہیں دیتا۔
controlled تجربے میں اسکرپٹ شدہ تعاملات استعمال کیے گئے، محاکمہ کی گئی اونچی جوکھم والی کارروائیاں اور خودکار طور پر میموری لوڈ کی گئی۔ ڈیپلومنٹ فریکوئنسی ناپی نہیں گئی؛ ڈائیاگرام کسی لائیو واقعہ یا ٹیسٹ کی گئی کمیٹیشن کو ظاہر نہیں کرتا۔
AI ایجینٹس کے ساتھ درست ٹیسٹ بھی کمزور ہو گئے
ایک الگ 50 کیس کا تجربہ معتبر مرمت کے دوران تشکیل پانے والی یادداشتوں کا جائزہ لیا گیا۔ بعد کے کاموں میں، ایجنسیوں نے درست ٹیسٹس تبدیل کر دیے، تاکہ توڑے ہوئے تحفظات کام کر سکیں۔ ایک خراب ایکسس چیک نے ایک نامعلوم کردار کو اڈمنسٹریٹر کے حقوق دے دیے۔
کوڈنگ بینچ مارک ImpossibleBench کے کنفلکٹنگ-ٹیسٹ اسپلٹ پر، Opus-4.8 کی چیٹنگ کی شرح میموری کے بغیر 29% سے نوٹس کے ساتھ 74% ہو گئی۔ Fable-5 میں صرف 18% سے 19% تک بہت کم تبدیلی آئی۔
تجربوں میں اسکرپٹ شدہ تعاملات، تعمیر کردہ سیناریوز، اعلیٰ خطرہ والے ایکشنز کا شبیہہ سازی، اور خودکار طور پر یادداشتیں لوڈ کی گئیں۔
اجازت کی حدود کے عملی نتائج ہیں: اکتوبر میں ایکOpenAI ماڈل کی غیر اجازت دی گئی Sepolia ٹیسٹ نیٹ خرچ نے الگ اجازت کی خرابی کو ابھارا، لیکن اس نے مستقل ذخیرہ کو وجوہات میں شامل نہیں کیا۔
6 نومبر کی انجینئرنگ رپورٹ میں، اینتھرپک نے بیان کیا کہ غلط میموری نوٹس کیسے ہر سیشن میں شامل ہو سکتے ہیں۔
مطالعہ کے مصنفین کا پیش کرنا ہے کہ ایک یادداشت کا کام، موقع اور اجازت دینے والے کو ریکارڈ کیا جائے، اور ایک یاد شدہ ترجیح کے ذریعے ایک غیر قابل واپسی کے عمل کو منظور کرنے سے پہلے صارفین سے تصدیق کی جائے۔ تاہم، ان تحفظات کے لیے ابھی بھی رویے کا جائزہ لینا ضروری ہے۔