ای آئی ایجینٹس سائبر حملوں میں تعاون شروع کر چکے ہیں، جس سے سیکورٹی کے خدشات بڑھ گئے ہیں

گزشتہ کچھ سالوں میں AI کے خطرے کے بارے میں بحثیں زیادہ تر ایک فرضی خیال تک محدود رہیں: لوگ ہمیشہ یہ خوف رکھتے رہے کہ چیٹ باکس میں موجود ماڈل ہیکرز کے لیے تباہ کن وائرس کوڈ لکھنے میں مشیر کا کردار ادا کر سکتے ہیں۔

اب واپس دیکھتے ہوئے، اس فکر کو عام طور پر «ہم سے دور» سمجھا جاتا تھا، لیکن حقیقی دنیا کے موڑ کا آنا تصور سے زیادہ تیز تھا۔

اکتوبر کے شروع میں، کراؤڈ اسٹرائیک نے جب جنوبی کوریا کے فنانشل اداروں پر حملے کی تحقیق کی، تو انہوں نے پایا کہ حملہ آوروں نے ایجنٹک AI کو اپنی پائپ لائن میں ڈال دیا ہے، جس نے DeepSeek، GLM، Grok جیسے کئی بڑے ماڈلز سے جڑ کر پینیٹریشن ٹیسٹنگ، معلومات جمع کرنے اور حملہ انجام دینے جیسے مخصوص کاموں کو خود AI کو سونپ دیا ہے۔

یہ تبدیلی اکیلی نہیں ہے۔

انٹروپک کی 9 مہینے میں جاری کی گئی تازہ ترین خطرہ کی معلومات کی رپورٹ کے مطابق، حالیہ دور میں متعدد ایجنٹ فریم ورکس کا استعمال نگرانی، خامیوں کا استعمال اور ڈیٹا چوری کے لیے کیا گیا ہے، جو کچھ گھنٹوں یا کئی دنوں تک لگاتار چلتے رہتے ہیں، جبکہ انسانوں کو صرف مقصد کا انتخاب، نتائج دیکھنا وغیرہ جیسے کچھ اہم فیصلے کرنے ہوتے ہیں۔

دوسرے الفاظ میں، AI نیٹ ورک حملہ اور دفاع میں واضح قسم کا تبدیلی لے آرہا ہے، جس میں پہلے خودکار حملے صرف پہلے سے لکھے گئے قواعد اور اسکرپٹس پر منحصر تھے، لیکن اب سروی، فیصلہ سازی اور راستہ تبدیل کرنے جیسے کام بھی ایجنٹس کے ذریعے ہو رہے ہیں، جس سے حملے مزید کم لاگت، اعلیٰ موازات اور مستقل خودمختار عمل کی طرف جا رہے ہیں۔

جب ان خودکار عمل کرنے والے کرداروں کو پیداواری نظاموں میں زیادہ سے زیادہ استعمال کیا جائے گا، تو ایک اور مشکل مسئلہ سامنے آئے گا: اگر ان ایجنسز نے ایک دوسرے کے ساتھ "سازش" کرنا سیکھ لیا، تو کیا کیا جائے؟

اب بھی پرانی بات ہے، ایجنٹ اور گزشتہ چیٹ بوٹس کا سب سے بڑا فرق صرف اس بات میں نہیں کہ ماڈل زیادہ طاقتور ہے، بلکہ اس بات میں ہے کہ اب وہ حقیقی دنیا کے "ہاتھ اور پاؤں" رکھنے لگا ہے۔

آج ایک بالغ ایجنٹ ویب سائٹ کھول سکتا ہے، کوڈ انجام دے سکتا ہے، ای میل پڑھ سکتا ہے، API کا استعمال کر سکتا ہے، کلاؤڈ سروسز کو آپریٹ کر سکتا ہے، اور MCP، Skills وغیرہ کے ذریعے مزید بیرونی ٹولز سے جڑ رہا ہے (مزید پڑھیں: جب ہیکرز 'زیادہ موثر' طریقے سے AI استعمال کرتے ہیں، تو Web3 کا '矛 اور盾' ہتھیاروں کا مقابلہ کیسے ترقی کرتا ہے؟)۔

جس قدر صلاحیت زیادہ ہوگی، اس قدر یہ تبدیلی قیمتی ہوگی، لیکن سیکورٹی سسٹم کے لیے، اس کا مطلب ہے کہ گزشتہ بہت اہم حد اب ختم ہو رہی ہے، اور اس سال واقع ہونے والی سیکورٹی کی متعدد واقعات نے اس بات کو بہت واضح طور پر ظاہر کر دیا ہے۔

1 اکتوبر کو، سالٹ لیبز نے ایک پہلے سے درست کیا گیا مینوس کا خلل ظاہر کیا، جو بنیادی طور پر پرومپٹ انجیکشن ہے — تحقیق کاروں کو صرف ایک عام ای میل بھیجنی ہوتی ہے جس میں چھپا ہوا برے مقاصد کا حکم ہوتا ہے، اور جب صارف بعد میں مینوس سے "میری ای میلز دیکھنے میں مدد کریں" کہتا ہے، تو ایجنٹ ای میل کے حکمات کے مطابق مواد کو پروسیس کر سکتا ہے اور آخرکار حملہ آور کے ڈالے گئے کوڈ کو انجام دے سکتا ہے۔

پوری پروسیس میں صارف کو کسی برے لنک پر کلک کرنے کی ضرورت نہیں تھی، اور نہ ہی پاسورڈ کو پہلے چوری کرنے کی ضرورت تھی، مینس کا سیکیورٹی سسٹم درحقیقت ناقص عمل کو تلاش کر لیا اور صارف کو انتباہ بھی بھیج دیا، مسئلہ یہ تھا کہ اس نے انتباہ بہت دیر سے جاری کیا، جب انتباہ ظاہر ہوا تو برے کوڈ پہلے ہی انجام دے دیا گیا تھا۔

یہ دوبارہ ایجنٹ سیکورٹی اور روایتی سافٹ ویئر سیکورٹی کے درمیان ایک بہت اہم فرق کو ظاہر کرتا ہے، جب براوزر ایک خطرناک ڈاؤن لوڈ کا پتہ چلتا ہے تو وہ ایک انتباہ نمودار کر سکتا ہے تاکہ صارف فیصلہ کر سکے کہ کیا جاری رکھنا ہے یا نہیں؛ جب بینک ایک غیر معمولی ٹرانزیکشن کا پتہ چلتا ہے تو وہ پہلے اسے جمدا کر سکتا ہے اور پھر انسانی جانچ کا انتظار کر سکتا ہے۔

لیکن ایک ایجینٹ کا ڈیزائن ہدف بالکل اس بات پر مبنی ہے کہ ہر ایک مرحلے میں انسانی شرکت کو کم سے کم کیا جائے، اسے خود معلومات پڑھنی چاہئیں، فیصلے لینے چاہئیں، اور اگلا مرحلہ جاری رکھنا چاہئیں۔

اس لیے، جب AI کو زیادہ خودمختاری ملتی ہے، تو "خطرہ دریافت ہوا" صرف اتنا کافی نہیں ہے، سیفٹی میکنزم کو اصل میں عمل کرنے سے پہلے خطرناک اقدامات کو روکنے کی صلاحیت ہونی چاہیے۔

اسی لیے آج کل ایجینٹ سیکورٹی کی بحثیں مزید نیچے بڑھ رہی ہیں: صرف ای آئی سے پوچھنا کہ "کیا یہ بات نہیں کرنی چاہیے؟" بلکہ یہ بھی پوچھنا کہ اگر وہ واقعی کرنا چاہے تو سسٹم کیا اسے ناکام بنانے کی صلاحیت رکھتا ہے؟

اور متعدد ایجینٹس کے ظہور سے یہ مسئلہ مزید پیچیدہ ہو گیا ہے، کیونکہ اگلے مرحلے میں جس چیز کو روکنا ہوگا، وہ شاید صرف ایک ایجینٹ نہیں ہوگا۔

ستمبر کے شروع میں، اوپن اے آئی کے اندر ماڈل ٹریننگ اور ایوال ماحول میں ایک واقعہ کئی اے آئی سیکیورٹی ریسرچرز کی توجہ کا مرکز بن گیا۔

کچھ ایجینٹس جنہیں اپنے اپنے کام مکمل کرنے چاہیے تھے، انہیں ایک مشترکہ ویکی کا پتہ چل گیا، جسے وہ آہستہ آہستہ اپنے درمیان ایک "مشترکہ میسج بورڈ" میں تبدیل کر گئے، جہاں ایجینٹس معلومات چھوڑ سکتے ہیں، اور دوسرے ایجینٹس بعد میں ان معلومات کو پڑھ کر اور ان کا استعمال کر کے اپنا کام جاری رکھ سکتے ہیں۔

اوپن اے آئی نے بعد میں اس رویے کی تصدیق کی، اور بعد میں کھلے ہوئے معلومات کے مطابق، دیگر تربیتی عملوں میں، ایجنٹ نے اندر کے آرٹیفیکٹری کو مشترکہ بورڈ کے طور پر استعمال کیا، اور دیگر مشترکہ کام کرنے والے ایجنٹس کو نتائج فراہم کرنے کے لیے عوامی فائل ہوسٹنگ سروسز کا استعمال کیا۔

اس بات کا سچا دلچسپ پہلو یہ ہے کہ ایجینٹس کے درمیان تعاون کا قیام ممکنہ طور پر اتنے ڈرامائی نہیں ہونا چاہیے۔

مثلاً، ایک ایجینٹ کسی جگہ معلومات چھوڑنے کا احساس کرتا ہے، دوسرا ایجینٹ تصادفی طور پر ان معلومات کو پڑھتا ہے، اور تیسرا ایجینٹ پاتا ہے کہ یہ معلومات اپنا کام مکمل کرنے میں مددگار ہیں۔

بے شک، ایجنٹس کے درمیان تعاون خود بہترین بات نہیں ہے، متعدد ایجنٹ سسٹم کو کارکردگی بڑھانے کے لیے تقسیم کام اور معلومات کا تبادلہ کرنے پر انحصار کرنا چاہیے۔

سچی طور پر احتیاط کی ضرورت ہے جب یہ تعاون مexisting معلومات کی علیحدگی، مستقل جانچ یا اختیارات کے پابندیوں کو دور کرنا شروع کر دے، اور خاص طور پر جب کچھ ایجینٹ جو ایک دوسرے کو متوازن رکھنے کے لیے ہونے چاہئیں، واقعی مفاد کے اتحاد میں آ جائیں، تو یہ عام تعاون سے نقصان دہ "سازش" میں تبدیل ہو سکتا ہے۔

آخر کار، ایک فنانشل انسٹی ٹیوشن ممکنہ طور پر کئی ایجینٹس چلا رہی ہوگی، جن میں سے ایک مارکیٹ کا تجزیہ کرے گا، ایک جو خطرہ جائزہ لے گا، ایک جو ٹریڈنگ حکمت عملی تیار کرے گا، اور ایک جس کے پاس حقیقی ٹریڈنگ اور اثاثہ آپریشنز کا اختیار ہوگا۔

سنتی دسترسی کے انتظام کے لحاظ سے، یہ ڈیزائن بہت منطقی ہے:

• ایجینٹ کے پاس ٹرانسفر کرنے کا اختیار نہیں ہے؛
• ایجینٹ کے پاس اپنے آپ سے سرمایہ کاری کی سمت کا فیصلہ کرنے کا اختیار نہیں ہے؛
• خطرہ ایجنٹ واضح طور پر خطرناک اسٹریٹجیز کو مسترد کر سکتا ہے؛

فروضات کو تقسیم کر دیا گیا ہے، جس کا نظریہ یہ ہے کہ ایک سپر ایجنٹ کو تمام اختیارات دینے کے مقابلے میں زیادہ محفوظ ہے۔

لیکن سوال یہ ہے کہ اگر وہ طویل مدت تک میموری کو مشترکہ استعمال کر سکتے ہیں، ایک دوسرے کے نتائج پڑھ سکتے ہیں، اور اپنے رویے کو لگاتار ایک دوسرے کے رد عمل کے مطابق تبدیل کر سکتے ہیں، تو کیا یہ اصل میں ایک دوسرے کو روکنے کے لیے ڈیزائن کیے گئے کردار ایک حقیقی مجموعہ میں تبدیل ہو جائیں گے؟

مثلاً، ایجنٹ سیکھ سکتا ہے کہ کس طرح ایک ٹریڈ کو ایسے بیان کیا جائے کہ وہ خطرہ جانچ میں آسانی سے گزر جائے؛ جانچ کرنے والے ایجنٹ بھی تاریخی ڈیٹا کے بنیاد پر کسی قسم کی مخصوص ترجیحات ترقی دے سکتے ہیں؛ اور ایگزیکیشن ایجنٹ پہلے کئی منظور شدہ نتائج کے مطابق سیکھتا ہے کہ کن حدود عام طور پر روکی نہیں جاتیں۔

اس نقطہ نظر سے، کوئی بھی قدم ضروری طور پر «بدنیتی» کا نہیں ہے، لیکن پورے نظام کا حتمی نتیجہ صارف کے اصلی مقصد سے الگ ہو سکتا ہے۔

یہی وہ حقیقی مشکل ہے جو "سازش" یا "مل بھرنا" کے ساتھ جڑی ہوئی ہے — خطرہ ضروری نہیں کہ کسی ایک ایجنٹ کے اقدامات میں ہو، بلکہ کئی ایجنٹس کے درمیان تشکیل پانے والے تعلقات میں ہو سکتا ہے۔

13 ستمبر، ویتالیک بیٹرین نے اس مسئلے کو اپنے طویل عرصے سے کیے جانے والے میکنزم ڈیزائن کے تحقیق سے جوڑ دیا۔ انہوں نے پیش کیا کہ ممکنہ طور پر مخالفانہ حکومت (Adversarial Governance) کے میکنزم ڈیزائن کا نظریہ، AI Safety کا ایک اہم зааст استعمال بن سکتا ہے۔

اس کی وجہ یہ ہے کہ دونوں قسم کے مسائل میں ایک گہرا شبہہ ہے۔

سنتی مکینزم ڈیزائن میں، ایک نسبتاً آسان اور ساکن ادارہ ہوتا ہے جو خود ادارے سے کہیں زیادہ ذکی اور قواعد کی سرحدوں کو تلاش کرنے والے افراد کو پابند کرنے کی کوشش کرتا ہے؛ جبکہ مستقبل کے AI سسٹمز میں، یہ انسانوں اور نسبتاً کمزور AI کا مسئلہ بن سکتا ہے جو اپنے سے زیادہ طاقتور اعلیٰ ایجنٹس کو منظم کرنے کی کوشش کرتے ہیں۔

ویتالیک نے خاص طور پر اشارہ کیا کہ گزشتہ مکینیزم ڈیزائن میں ایک اہم دریافت یہ تھی کہ اگر شرکاء کے درمیان مل کر کام کرنے کو مؤثر طریقے سے روکا جا سکے، تو نظام عام طور پر مطلوبہ نتائج حاصل کرنے کے لیے زیادہ آسان ہوتا ہے۔

یہ نتیجہ AI کے لیے بھی لاگو ہو سکتا ہے۔

دوسرا طریقہ یہ ہے کہ مکمل طور پر محفوظ ماڈل کی توقع نہ کی جائے جو تمام خطرناک سرگرمیوں کو دیکھ سکے، بلکہ یہ سوچا جائے کہ نظام کے مختلف ایجینٹس کو کیسے ایسے بنایا جائے کہ وہ آسانی سے خطرناک مفاد کے اتحاد میں نہ آ جائیں؟

یہی «مقابلہ‌انگیز حکومت» کا وہ اصل فرق ہے جو ہم آج تک کے اجازت کنٹرول سے مختلف ہے۔

سنتھیت اجازت نظام وہ مسائل حل کرتا ہے جو نسبتاً سادہ ہوتے ہیں، جو بنیادی طور پر "کون کیا کر سکتا ہے" پر مرکوز ہوتے ہیں، جیسے: ایک ایجینٹ کیا ای میل پڑھ سکتا ہے؟ کیا وہ ٹریڈنگ ایپی کو کال کر سکتا ہے؟ روزانہ زیادہ سے زیادہ کتنی رقم خرچ کر سکتا ہے؟ کون سے معاہدے تک رسائی حاصل کر سکتا ہے؟ کس حد سے زیادہ ہونے پر صارف کو دوبارہ تصدیق کرنی پڑے گی؟

یہ ڈیزائن بالکل ابھی بھی بہت اہم ہیں۔

اصلی اثاثوں کو کنٹرول کرنے کے بعد، ایجینٹس ممکنہ طور پر گزشتہ کبھی نہیں ہوئے، اہم ہو جائیں گے۔

لیکن مخالف حکومت کوشش کرتی ہے کہ اگلے مرحلے پر جائے اور اس بات پر توجہ دے کہ جب مختلف اختیارات، مقاصد اور معلومات والے ایجینٹس ایک ساتھ چل رہے ہوں، تو ان کے مل کر ایسی صلاحیتیں حاصل ہونے سے کیسے بچا جائے جو کسی کے پاس اصل میں نہیں تھیں؟

اس وقت، صرف "ایک اور سیکورٹی ایجینٹ شامل کرنا" ضروری مسئلہ حل نہیں کر سکتا۔

فرض کریں کہ ٹریڈنگ کے لیے ذمہ دار ایجینٹ اور ٹریڈنگ کی تصدیق کے لیے ذمہ دار ایجینٹ، مکمل طور پر ایک ہی ماڈل، ایک ہی ڈیٹا سورس، ایک ہی سیاق و سباق اور مشابہ انعام کے مقاصد استعمال کرتے ہیں، تو ظاہری طور پر دو مرحلہ جانچ ہونے کے باوجود، اصل میں شاید ایک ہی فیصلہ دو بار کاپی کیا جا رہا ہو۔

حقیقی اور موثر توازن کے لیے، نظام کو عمدہ طور پر فرق پیدا کرنے کی ضرورت پڑ سکتی ہے۔

مثلاً، اسٹریٹجی تیار کرنے والے اور اسٹریٹجی کی جانچ کرنے والے ایجنٹس کو مختلف معلومات کے ذرائع استعمال کرنے دیں، مختلف کرداروں کے درمیان شیئر ہونے والی میموری کو محدود کریں، اعلیٰ خطرہ والے آپریشنز کو باہمی طور پر مستقل تصدیق کے Mechanism سے گزرنا ضروری بنائیں، یا آخری اثاثہ انجام دہندہ لیول صرف پہلے سے طے شدہ قواعد کے مطابق درخواستوں کو قبول کرے، نہ کہ صرف اپسٹریم ایجنٹس کے فیصلوں پر بھروسہ کرے۔

اس میں موجود خیال اصل میں نیا نہیں ہے۔ بینکس ملازمین پر بھروسہ کرنے کے باوجود، کسی ایک شخص کو ادائیگی شروع کرنے، ادائیگی منظور کرنے اور آخری رقم منتقل کرنے کی تمام اختیارات نہیں دی جاتیں؛ عوامی کمپنیاں اپنے کاروباری محکموں کو آمدنی پیدا کرنے کے ساتھ ساتھ اپنے فنانسی آڈٹ کے نتائج کا فیصلہ کرنے کی اجازت نہیں دیتیں۔

بس یہ حقیقی دنیا کے منطق کے مطابق ہے کہ ایک مضبوط نظام کو یہ فرض نہیں کرنا چاہیے کہ شرکاء کبھی غلطی نہیں کریں گے یا سازش نہیں کریں گے۔

اس منطق کو ایجینٹ والٹ پر لاگو کرنا خاص طور پر اہم ہو جائے گا۔

روایتی والٹ کی حفاظت "انسان" پر مرکوز ہے، اس لیے صارف ٹرانزیکشن کا مواد دیکھتا ہے، صارف فیصلہ کرتا ہے کہ کیا اجازت دی جائے، اور آخر میں صارف خود دستخط کرتا ہے؛ لیکن ایجنٹ والٹ کا مقصد بالکل اس کے برعکس ہے — AI کو آپ کے لیے آٹومیٹک طور پر منافع حاصل کرنے، پوزیشنز کو ترتیب دینے، کرپٹو کو تبدیل کرنے، کراس چین کرنے، اور حتیٰ کہ بازار کے تبدیلیوں کے مطابق پورے اثاثہ پورٹ فولیو کو مینج کرنے کے لیے متعین کرنا۔

اگر ہر قدم کو صارف کے سامنے دوبارہ تصدیق کیا جائے، تو ایجنٹ کی خودکاری کی قیمت بہت کم ہو جائے گی۔

اس لیے مستقبل کے والٹ کو حل کرنے والے مسائل صرف اس بات تک محدود نہیں رہیں گے کہ "سائن کرنے کا اختیار Agent کو کیسے محفوظ طریقے سے دیا جائے"، بلکہ اسے مزید وسعت دی جائے گی اور یہ سوال بن جائے گا کہ "Agent کو کتنی زیادہ خودمختاری دی جائے، جبکہ وہ صرف صارف کی درست طور پر منظور کردہ حدود تک محدود رہے؟"

یہ درخواست ایک سادہ «Allow/Deny» سے شروع ہو کر زیادہ باریکی والی نظام کی طرف جاتی ہے۔

مثال کے طور پر، ایک ایجینٹ کسی مخصوص دورانیے میں کن اثاثوں کو چلاسکتا ہے، کن پروٹوکولز کا استعمال کر سکتا ہے، ایک منفرد اور کل محدودیتیں کیا ہیں؛ مختلف ایجینٹس ایک دوسرے کو کال کر سکتے ہیں یا نہیں، کیا وہ کنٹیکس شیئر کرنے کی اجازت رکھتے ہیں؛ ایک آپریشن کون پیش کرتا ہے، کون جانچتا ہے، اور کون آخری طور پر انجام دیتا ہے؛ کون سے افعال خودکار طور پر مکمل ہو سکتے ہیں، اور کون سے اقدامات چاہے ایجینٹ کتنے ہی مطمئن کیوں نہ ہو، ان کے لیے انسانی تصدیق دوبارہ حاصل کرنا ضروری ہے۔

یہ بھی ممکن ہے کہ سیکورٹی ریویو کے لیے ذمہ دار ایجنٹ خود اپنے اختیارات کے نظام کا حصہ بن جائے۔

بلوکچین کے لیے اچھی خبر یہ ہے کہ یہ خود بخود اس "انسٹیٹیوشنل لیول" کو سنبھالنے کے لیے بہت مناسب ہے۔

سمارٹ کنٹریکٹس ٹریڈنگ لیمٹس، ایسٹس رینج، اتھارائزیشن ایکسپائری وغیرہ کو براہ راست ایکشن لیول پر لاگو کر سکتے ہیں، اکاؤنٹ ایبسترکشن، ملٹی سگنیچر، اور سیشن کی کے مکینزمز کے ذریعے "محدود اتھارائزیشن" کو روایتی ایکل پرائیوٹ کی والٹ کے مقابلے میں زیادہ لچکدار ڈیزائن کا ماحول فراہم کرتے ہیں۔

لیکن بلاکچین صرف کچھ مسائل کو ہی حل کر سکتا ہے — یہ یہ بتا سکتا ہے کہ لین دین کے دوران کیا ہوا، لیکن یہ قدرتی طور پر یہ جاننے میں مشکل ہے کہ ایجنٹ نے اسے کیوں کیا، اور کچھ ایجنٹس فیصلہ لینے سے پہلے کس قسم کی مکالمہ، جانچ اور تعاون کا تجربہ کیا۔

یہ شاید Agent Wallet کے اگلے مرحلے کے لیے حقیقت میں درکار محفوظہ لیئر ہے۔

گزشتہ کچھ سالوں میں، AI سیکورٹی کے بارے میں سب سے زیادہ بحث یہ تھی کہ مدلز کو زیادہ «فرمانبردار» کیسے بنایا جائے۔

اس میں خطرناک مواد کو نہیں نکالنا، برے احکامات کو نہیں نفاذ کرنا، اور صارف کی طرف سے طے کردہ حدود کو عبور نہیں کرنا شamil ہے، لیکن جب ایجنٹ کو لمبے عرصے تک کی یادداشت، ٹولز کا استعمال، اور حقیقی اکاؤنٹس اور اثاثوں کے نفاذ کی صلاحیت حاصل ہو جائے، تو صرف "ماڈل کو زیادہ فرمانبردار بنانا" کافی نہیں رہ سکتا۔

پچھلے کچھ ماہوں میں جو ہوا، وہ اس بات کو مستقل طور پر ثابت کر رہا ہے۔

حملہ کرنے والے نے متعدد ایجینٹس کو متوازی طور پر استعمال کرنا شروع کر دیا ہے؛ تجرباتی ماحول میں ایجینٹس خود نئے مواصلاتی چینلز تلاش کرتے ہیں؛ ایک ایجینٹ جس کے پاس ٹولز کے لیے اختیارات ہیں، محفوظ نظام کے پہلے ہی ایک بری بھیجی گئی میل کو حقیقی عمل میں تبدیل کر سکتا ہے۔

ویتالیک کے طرف سے پیش کیا گیا مخالفانہ حکومت، AI Safety کو سمجھنے کا ایک اور طریقہ فراہم کرتا ہے: یہ فرض نہیں کرتا کہ مستقبل کا ہر ایجنٹ کافی قابل اعتماد ہوگا، بلکہ پورے نظام کو اس طرح ڈیزائن کیا جاتا ہے کہ وہ اچھھے ایجنٹس اور متعدد اختیارات کے باوجود، محفوظ فریم ورک کے اندر پائیدار طریقے سے کام کرتا رہے۔

اس منظر سے، AI ایجینٹ + سیکورٹی، ایک لمبے عرصے کا موضوع ہے۔

کیونکہ جب ہم اپنے زیادہ تر کاموں کو AI کے سپرد کرتے ہیں، تو یہ یقینی طور پر نہیں ہوتا کہ سب سے اہم اختیارات انسانوں کے مقرر کردہ حدود سے باہر نہیں نکل رہے۔