- گوگل اور میٹا کے محققین کہتے ہیں کہ صرف AI ماڈل کی مضبوطی ایجنٹک سسٹمز کو محفوظ نہیں کر سکتی۔
- اڑھارہ عملی حملوں سے ثابت ہوا کہ پرامپٹ انجیکشن مدل سطح کی تحفظات کو ہر بار بypass کر دیتا ہے۔
- ایجنسیز کو ہدایات کے ڈیٹا کی الگ کرنا، کم سے کم اختیارات والی سینڈ باکسنگ اور معلومات کے بہاؤ کنٹرول کی ضرورت ہے۔
گوگل، میٹا، یو سی سین ڈییگو اور کئی یونیورسٹیوں کے سائنسدانوں کی ایک تحقیقی تقریر نے صنعت کے موجودہ طریقہ کار کو چیلنج کرتے ہوئے AI ایجینٹ سیکورٹی کے بارے میں ایک مستقیم پوزیشن اختیار کی ہے۔
اس مضمون، جس کا عنوان "ایجینٹ سیکیورٹی ایک سسٹم کا مسئلہ ہے"، دلیل دی جاتی ہے کہ AI ماڈلز کو بنیادی سیکیورٹی لیئر کے طور پر سمجھنا بنیادی طور پر ناکافی ہے۔ کسی بھی ایجینٹ کو چلانے والا ماڈل اس طرح ایک غیر قابل اعتماد کمپوننٹ کے طور پر سمجھا جانا چاہئے، جس طرح ایک آپریٹنگ سسٹم ایک باہری پروسیس کو سمجھتا ہے، جہاں سیکیورٹی اس کے اردگرد سسٹم لیول پر لاگو کی جاتی ہے۔
"ماڈل کی مضبوطی بڑھانے کے لیے کیے جانے والے اقدامات اپنے آپ میں کافی نہیں ہیں،" محققین نے لکھا۔ "ہمیں موجودہ اقدامات کو سسٹمز سیکیورٹی کے شعبے سے لی گئی ٹیکنیکس کے ساتھ مکمل کرنا ہوگا۔"
کیوں موجودہ طریقہ مستمر ناکام ہو رہا ہے
محققین نے AI ایجنسز پر گیارہ واقعی حملوں کا تجزیہ کیا اور ہر بار ایک ہی نمونہ پایا۔ ڈویلپرز نے AI ماڈل پر اعتماد کیا کہ وہ خود کو پولیس کرے گا۔ حملہ آوروں نے اس کے گرد راستے تلاش کر لیے۔
دو مستند کیسز مسئلہ کو ظاہر کرتے ہیں۔ ایک چیٹ جی پی ٹی میموری فیچر حملہ کے ذریعہ حملہ آور نے ایک عام دستاویز کے ذریعہ مضر ہدایات ڈال دیں، جس سے سسٹم صارفین کے مکالمات کو ایک ناپید تصویر URL کے ذریعہ باہری سرور پر لگاتار بھیجنا شروع کر دیا۔
ایک کلود کوڈ حملے میں کوڈ فائل کے اندر پرامپٹ انجیکشن چھپایا گیا تاکہ API کیز حاصل کی جائیں اور انہیں پنگ کمانڈ کے ذریعے DNS کوئری کے ذریعہ نکالا جائے، جسے بغیر کسی انسانی تصدیق کے اجازت دے دیا گیا تھا۔
دونوں صورتوں میں، ماڈل کے لیے حملہ روکنے کا کوئی قابل اعتماد طریقہ نہیں تھا کیونکہ بریانہ ہدایات ماڈل کے سطح پر قانونی ہدایات سے區別 نہیں کی جا سکتی تھیں۔
تین اصول جنہیں صنعت نظرانداز کر رہی ہے
محققین نے صدیوں کے سسٹم سیکیورٹی سے تین بنیادی سیکیورٹی اصولوں کی شناخت کی جن کو AI ڈپلومنٹس لگاتار لاگو نہیں کرتے:
- ہدایات اور ڈیٹا کا تقسیم: بھروسہ مند ہدایات اور غیر بھروسہ مند باہری ڈیٹا ایک ہی ٹوکن اسٹریم کے ذریعے بہتے ہیں، جس سے پرامپٹ انجیکشن کا ساختی طور پر امکان ہوتا ہے۔
- کم سے کم اختیارات کا سینڈ باکسنگ: ایجنسز عام طور پر ایسے شیل کمانڈز، فائل سسٹم اور API تک رسائی کے ساتھ ڈپلوی کی جاتی ہیں جو کسی بھی خاص کام کے لیے درکار سے بہت زیادہ ہوتے ہیں۔
- معلومات کے بہاؤ کا کنٹرول: جب تک کنٹرولز موجود ہوں، حساس ڈیٹا غیر بدون چینلز کے ذریعے لیک ہو سکتا ہے۔
بڑا مسئلہ
ای آئی ایجنٹس کے پاس کوئی فیصلہ سازی نہیں ہوتی اور نہ ہی خود کو بچانے کا جذبہ۔ وہ اپنے پاس دستیاب ہر ڈائرکٹری کو مشین کی رفتار سے جانچیں گے۔ اگر سسٹم اجازت دے تو وہ کوئی بھی حکم نفاذ کر دیں گے۔
انسانی کردار کے ارد گرد تعمیر کی گئی سیکورٹی انفراسٹرکچر کبھی اس کے لیے ڈیزائن نہیں کی گئی تھی۔ جب تک اسے مشین کردار کے لیے دوبارہ تعمیر نہیں کر دیا جاتا، ہر ایسا ادارہ جو پروڈکشن سسٹمز تک رسائی والے ایجنسٹس کو ڈپلوی کر رہا ہے، ایک خطرہ اٹھا رہا ہے جسے وہ مکمل طور پر نہیں ناپ سکتا۔
متعلقہ:Foresight Ventures: AI ایجینٹس چیٹ بوٹس کے باہر کامرس میں منتقل ہو رہے ہیں
Disclaimer: اس مضمون میں پیش کی گئی معلومات صرف معلوماتی اور تعلیمی مقاصد کے لیے ہیں۔ اس مضمون میں مالی مشورہ یا کسی بھی قسم کا مشورہ شامل نہیں ہے۔ کوئن ایڈیشن ان نقصانات کے لیے ذمہ دار نہیں جو مذکورہ مواد، مصنوعات یا خدمات کے استعمال کے نتیجے میں ہوئے ہوں۔ پڑھنے والوں کو کمپنی سے متعلق کوئی بھی کارروائی کرنے سے پہلے احتیاط کرنے کی تجویز کی جاتی ہے۔