ایک AI ایجینٹ کو حقیقی نقصان پہنچانے کے لیے بری نیت کی ضرورت نہیں ہوتی۔ اسے صرف اس بات کا غلط سمجھنا ہوتا ہے کہ وہ کہاں کام کر رہا ہے۔ @AnthropicAI نے کل ظاہر کیا کہ @claudeai نے سائبر سیکیورٹی جانچ کے دوران تین تنظیموں کے پروڈکشن سسٹمز تک غیر مجاز رسائی حاصل کر لی۔ ماڈلز کو یہ بتایا گیا تھا کہ وہ سیمولیشنز کے اندر کام کر رہے ہیں، لیکن ایک کنفیگریشن کی خرابی نے انہیں حقیقی انٹرنیٹ تک رسائی دے دی۔ کلاؤڈ نے جن سسٹمز کو دریافت کیا، انہیں مشق کا حصہ سمجھا اور اپنے مقررہ مقصد کو حاصل کرنے کی کوشش جاری رکھی۔ یہ ایک اہم فرق ہے۔ ماڈل نے فرار ہونے، بغاوت کرنے یا تصادفی مقاصد پر حملہ کرنے کا فیصلہ نہیں کیا۔ اس نے صرف اس معلومات اور اجازتوں کے مطابق رویہ اپنایا جو اسے دی گئی تھیں۔ ماحول غلط تھا، اس لیے عمل بھی غلط ہوا۔ یہ خودمختار AI کا مرکزی چیلنج ہے۔ ہم بہت زمانہ اس بات پر صرف کرتے ہیں کہ کیا ایجینٹ اپنے ہدایات پر عمل کرے گا، لیکن جب ماحول، ڈیٹا یا حدود غلط ہوں تو مکمل طور پر ہدایات پر عمل کرنا بھی خطرناک ہو سکتا ہے۔ سیکورٹی ماڈل پر انحصار نہیں کر سکتی جو یاد رکھے کہ وہ کہاں کام کرنے کے لیے مجاز ہے۔ اس کے لیے باہری 控制ز درکار ہوتے ہیں جن پر ماڈل کبھی بھی قابو نہ پا سکے، جن میں حقیقی نیٹ ورک انفرادیت، تنگ اجازتیں، تصدیق شدہ مقاصد، لین دین کی حدود اور خودکار بند ہونے والی شرائط شامل ہوتی ہیں۔ مستقبل وہی محفوظ ہوگا جس میں ایجینٹس کبھی غلط نہیں کرتے۔ مستقبل وہ محفوظ ہوگا جس میں یہ فرض کیا جاتا ہے کہ وہ آخرکار غلط ضرور کریں گے۔