مایکروسافٹ نے ہوشیار کیا ہے کہ AI ایجنسز اندر کے خطرات پیدا کرتی ہیں، اور گارڈین ایجنسز شروع کر دیے ہیں

icon币界网
بانٹیں
AI summary iconخلاصہ
مایکروسافٹ نے ہشدار دیا ہے کہ AI ایجنسز اندر کے خطرات پیدا کرتی ہیں، اور خطرات کو کم کرنے کے لیے گارڈین ایجنسز شروع کیے ہیں۔ یہ اقدام سی ای او ساتیا نادیلا کے بیان کے بعد آیا ہے کہ حتیٰ کہ محفوظ AI ماڈلز کو مستقل نگرانی کی ضرورت ہوتی ہے۔ پروجیکٹ پرسپشن ریڈ، بلیو اور گرین ٹیموں کا استعمال کرتا ہے تاکہ AI سے منسوب حملوں کا شبیہہ بنایا جائے اور روکا جائے۔ مایکروسافٹ ڈیفینڈر اب ایجنس ڈیٹیکشن شامل کرتا ہے، جس سے رسائی کو محدود کیا جاتا ہے اور اعلیٰ خطرہ والے اقدامات کے لیے انسانی تصدیق درکار ہوتی ہے۔ کمپنی NVIDIA کے اوپن ایجنس سیفٹی پلیٹ فارم کا حصہ ہے، جہاں ایجنسز محفوظ ماحول میں الگ کر دی جاتی ہیں۔ یہ اپڈیٹ AI + کرپٹو نیوز میں سیکورٹی بریچ کے خطرات کے بڑھتے ہوئے فکر مندی کے دوران آیا ہے۔
CoinDesk کی رپورٹ:

مایکروسافٹ نے پیر کو نئی سیکورٹی فیچرز متعارف کرائے، جو کہ کاروباروں کو بڑھتی ہوئی AI ایجینٹ خطرات سے محفوظ رکھنے کے لیے ہیں۔ اس جاری کے دوران، مایکروسافٹ نے کاروباروں کو AI اور ایجینٹس کے خطرات کے بارے میں مستقل طور پر آگاہ کیا ہے۔

سب سے زیادہ توجہ کھینچنے والی نئی خصوصیت Guardian Agents ہے، جو کسی کمپنی کے استعمال کیے جانے والے AI ایجنسز کی نگرانی کے لیے ہے۔ Guardian Agents Project Perception کا حصہ ہے، جو مائیکروسافٹ نے جون میں لانچ کیا تھا۔

پروجیکٹ پرسبیکشن، مائیتھوس اور فیبل جیسے طاقتور ہیکنگ ماڈلز اور OpenAI کے سیکیورٹی ویک کے اسکیننگ سسٹم ڈےبریک کے جواب میں مائیکروسافٹ کا ایک منصوبہ ہے۔ پروجیکٹ پرسبیکشن نے شروع میں تین قسم کے ایجینٹس متعارف کرائے: "ریڈ ٹیم" جو ہیکرز کے طور پر کام کرتی ہے اور حملے کرتی ہے، "بلو ٹیم" جو ریڈ ٹیم کو پکڑتی ہے اور ان کے دریافت کردہ خامیوں کا جائزہ لیتی ہے، اور "گرین ٹیم" جو خامیوں کو درست کرنے کا ذمہ دار ہے۔

اس مصنوع کا ڈیزائن اس فرض پر مبنی ہے کہ AI ہیکرز کمپنی کے باہر سے آئیں گے۔ لیکن حالیہ وقت میں، مائیکروسافٹ کے سی ای او ساتیہ نڈیلا نے چیتن کیا ہے کہ AI دشمن وہی ایجینٹس ہو سکتے ہیں جنہیں کمپنی نے پہلے ہی لاگو کیا ہوا اور ادائیگی کی ہے، جیسے بے قابو انسانی ملازمین، جنہیں "انٹرنل تھریٹ" کہا جاتا ہے۔

اس ماہ کے شروع میں، نڈالا نے اپنے ذاتی بلاگ میں چیتن کیا کہ اب وقت آ گیا ہے کہ ہم AI ماڈل فراہم کنندگان پر بھروسہ کرنا بند کر دیں، چاہے وہ اپنے ایجینٹ پروڈکٹس کے لیے سیکیورٹی اور حفاظت کے ضمانت دیتے ہوں۔ وہ چاہتے ہیں کہ کاروبار خود مختار نظام بنائیں جو AI لیبارٹریز کے تحت نہ ہوں، تاکہ وہ ان AI لیبارٹریز کے پروڈکٹس کے ذریعے شروع کیے گئے ایجینٹس کو نگرانی اور کنٹرول کر سکیں۔

اس نے لکھا: "ہم ان پیچیدہ ایجینٹ سسٹمز اور ماڈلز کو ڈیپلوی کر رہے ہیں جو ہمارے سب سے حساس ڈیٹا تک رسائی حاصل کریں اور ہماری طرف سے اہم کاموں کو کرنے کی اختیارات دیں! ہم اپنی طرف سے کیے جانے والے ذکی اقدامات کی ذمہ داری باہر نہیں دے سکتے۔... دوسرے الفاظ میں، ہمیں ذکاوت کی فراہمی اور اس کے اختیارات کو الگ کرنا ہوگا۔"

گارڈین ایجینٹس کے اعلان کے دوران، مائیکروسافٹ سیکیورٹی بزنس کے سربراہ ہائیٹے گلوت نے زیادہ براہ راست بیان دیا۔

اس نے لکھا: "متاسفانہ، سامنے والے ماڈلز، چاہے وہ کہیں سے کیوں نہ آئیں، قابلِ اعتماد نہیں ہیں۔" اس نے مزید کہا کہ اس کا مطلب یہ نہیں کہ وہ برے نیت کے ہیں یا ہیک ہونے کے قابل ہیں، بلکہ اس لیے کہ وہ غیر قابلِ پیشگوئی ہیں۔ ان کا تربیتی مقصد مسائل حل کرنا ہے، نہ کہ "تنظیمی معیار یا ججمنٹ" کی پابندی کرنا۔

اس کے علاوہ، ان ماڈلز کو اکثر "بادشاہت کی چابی" جیسی اجازت دی جاتی ہے، جس سے وہ وہ ڈیٹا اور ٹولز تک رسائی حاصل کر سکتے ہیں جو شدید نقصان پہنچا سکتے ہیں۔

مائیکروسافٹ کا حل حیران کن ہے اور خود کے فائدے کے لیے ہے۔ حیرانی کا باعث یہ ہے کہ مائیکروسافٹ کا OpenAI اور Anthropic کے ساتھ تعلق عام طور پر بہت قریب جانا جاتا ہے، اور اس نے ان دونوں کمپنیوں میں سرمایہ کاری کی ہے۔ OpenAI مائیکروسافٹ کا ایک بڑا کلاؤڈ صارف بھی ہے، اور مائیکروسافٹ کے پاس اپنا ایک AI لیب بھی ہے جو ماڈل تیار کرتا ہے۔ اس لیے، مائیکروسافٹ اپنے اپنے کچھ کاروباری مفاد کے لیے عدم اعتماد کا بیج بونے کا عمل کر رہا ہے۔

خود کی فائدہ مندی یہ ہے کہ مائیکروسافٹ چاhti ہے کہ کاروبار اس کے پاس سے کلاؤڈ سروس فراہم کنندہ کے طور پر ایجنٹ سیکیورٹی مصنوعات خریدیں، نہ کہ Anthropic اور OpenAI سے۔ تاہم، مفاد کے تنازع کو نظر انداز کرتے ہوئے، اس کا منطق منطقی ہے۔ ایجنٹ کے رویے کو مانیٹر کرنے والے سافٹ ویئر کو ایجنٹ فراہم کنندہ سے مستقل ہونا چاہیے، جیسے آڈٹر کو آڈٹ ہونے والے ادارے سے مستقل ہونا چاہیے۔

جیسے نادیلا نے کہا: "ہمیں انتظامیہ کے ساتھ ذہانت کی فراہمی کو الگ کرنا ہوگا۔"

مائیکروسافٹ اب اس تجارتی موقع کو کئی طریقوں سے استعمال کر رہا ہے۔ گارڈین ایجنٹس کے علاوہ، وہ مائیکروسافٹ دیفینڈر مصنوعات میں ایجنٹ ڈیٹیکشن فنکشن شامل کر چکا ہے جو کام کے مقام پر ملازمین کے ذریعہ استعمال کی جانے والی 60 سے زیادہ ایجنٹس، جن میں کلوڈ کوڈ، کوڈیکس اور اوپنکلو شامل ہیں، کو شناخت کر سکتا ہے۔ مائیکروسافٹ نے ایجنٹس کو ڈیٹا اور سسٹمز تک رسائی کی حد بندی کرنے کا بھی انتظام کیا ہے، اور کام کے مطابق ایجنٹس کے اختیارات کو ڈائنامک طور پر تبدیل کرتا ہے، جس میں ایجنٹ جب اعلیٰ خطرہ والے فیصلے کرنے لگے تو انسانی تصدیق کا مطالبہ شامل ہے۔

ایک ایسا خیال جس میں ایجنسی کو غیر قابل اعتماد اندر کے عملے کے طور پر دیکھا جاتا ہے، وہ بھی زیادہ وسیع صنعت میں مقبول ہو رہا ہے۔

مائیکروسافٹ، نیو ڈیو کے نئے اوپن ایجینٹ سیفٹی پلیٹ فارم کا ایک بنیادی رکن ہے، جس کی حمایت 100 سے زائد دیگر ٹیک کمپنیوں نے کی ہے۔ یہ پلیٹ فارم ایجینٹس کو محفوظ ماحول میں الگ کرتا ہے اور ان کے افعال کو ہارڈ ویئر کے ذریعے منیٹر اور روک سکتا ہے، جو عملی طور پر ایک "ٹرمنیٹ سوئچ" کی طرح کام کرتا ہے۔ یہ مائیکروسافٹ کے پہلے اعلان کے فوراً بعد آیا ہے جس میں انہوں نے نیو ڈیو چپس کے ساتھ اور ایجینٹ سیفٹی اور کنٹرول فنکشنز کے ساتھ ایجینٹس کے لیے نئے Surface Laptop Ultra پی سیز کا اعلان کیا تھا۔

اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔