اوپن اے آئی نے بدھ کو اعلان کیا کہ پول کرسٹینانو، جو AI کی مطابقت اور بیرونی خطرات پر لمبے عرصے سے تحقیق کر رہے ہیں، اوپن اے آئی فاؤنڈیشن کے بورڈ میں شامل ہو گئے ہیں اور ماڈل جاری کرنے کی نگرانی کے لیے مخصوص سیکورٹی اور سیفٹی کمیٹی میں شامل ہو گئے ہیں۔ اس وقت، کمپنی کو حالیہ کئی واقعات کے بعد جس میں AI ایجینٹس نے باہری کمپیوٹر سسٹمز تک غیر اختیاری رسائی حاصل کی، سیکورٹی پروسیجرز پر دوبارہ نظرثانی کا سامنا ہے۔
مڈل جاری کرنے کی جانچ میں شرکت کریں
اوپن اے آئی کے مطابق، یہ کمیٹی کارنیگی میلون یونیورسٹی کے پروفیسر ز ٹوکن ایمیشن کولٹر کی قیادت میں ہے اور نئے ماڈل کو لانچ کرنے کا آخری فیصلہ کرنے کا اختیار رکھتی ہے۔ اوپن اے آئی نے پچھلے ہفتے نئے ماڈل اسٹرا کو ڈپلوی کیا تھا، اور حالیہ سیکورٹی واقعات نے اس کمیٹی کے فرائض پر مزید توجہ مرکوز کردی ہے۔
کرستیانو نے علنی طور پر کہا کہ وہ اب سمجھتے ہیں کہ AI کی صلاحیتوں میں تیزی سے اضافہ جلد ہی "بھیانک اور غیر قابل ادھار" خطرے کا باعث بن سکتا ہے۔ انہوں نے کہا کہ موجودہ پورا AI صنعت، جس میں OpenAI بھی شامل ہے، اس قسم کے خطرات کو قابل قبول سطح تک کم کرنے کے راستے پر نہیں چل رہا ہے۔
اہم تربیتی طریقہ کار کے ترقی میں شرکت کی گئی
کرسٹینو نے اوپن اے آئی میں کام کیا اور انسانی فیڈ بیک پر مبنی تقویتی سیکھنے کے ترقی میں حصہ لیا۔ یہ طریقہ بعد میں بڑے زبانی ماڈلز کی تربیت کا اہم طریقہ بن گیا۔ 2021 میں اوپن اے آئی چھوڑنے کے بعد، اس نے الائنمنٹ ریسرچ سینٹر قائم کیا اور یہ جاننے کے لیے مزید تحقیق جاری رکھی کہ AI ماڈلز انسانی کنٹرول کے لیے خطرہ کیوں بن سکتے ہیں۔
وہ سمجھتے ہیں کہ ایک خطرناک رخ یہ ہے کہ AI ماڈلز کو استعمال کرکے اگلی نسل کے AI سسٹمز کو تربیت دی جائے۔ اس سے صلاحیتیں بڑھنے کی رفتار مزید تیز ہو سکتی ہے اور آخرکار ڈویلپرز کے کنٹرول سے باہر نکل سکتی ہے۔ وہ اس بات پر بھی زور دیتے ہیں کہ موجودہ میں تقویتی سیکھنے کے ذریعے AI ایجینٹس کو زیادہ انعام حاصل کرنے کے لیے متحرک کیا جا رہا ہے، جس سے سسٹم کو انسانی کنٹرول کو کمزور کرنے، زیادہ وسائل حاصل کرنے اور اپنے افعال کو چھپانے کی ترغیب دی جا سکتی ہے۔
ساتھ ہی حکومتی مشیر کا کردار برقرار رکھیں
رپورٹ میں کہا گیا ہے کہ کرسٹیانو نے 2024 سے امریکی حکومت کے AI سیفٹی ادارے کے ساتھ تعاون کیا ہے۔ اس ادارے کا بعد میں نام تبدیل کر کے AI معیارات اور نوآوری مرکز رکھ دیا گیا، جو امریکی حکومت کے سامنے اعلیٰ AI ماڈلز کے جاری کرنے سے پہلے ان کے جائزہ لینے میں شامل ہے۔
اوپن اے آئی کا کہنا ہے کہ وہ اپنے ڈائریکٹر کے عہدے کے دوران حکومت کو مشورہ دیتے رہیں گے، لیکن اوپن اے آئی کے معاملات اور ماڈل جائزہ لینے کے معاملات میں شرکت نہیں کریں گے۔ تاہم، یہ انتظام AI کمپنیوں کے پالیسی سازی پر اثر ڈالنے کی خطرات کو ختم کرنے میں ضروری نہیں ہو سکتا۔
مکمل معلومات: اس سے ایک دن پہلے، اینتھرپک کے ریسرچر جیکب کوکسن نے استعفیٰ دے دیا اور اپنی طرف سے غیر ذمہ دار AI ترقی کے طریقہ کار کی تنقید کی، جس سے ظاہر ہوتا ہے کہ اعلیٰ ماڈلز کی سلامتی کے مسائل صنعت کے لیے مشترکہ دباؤ کا نقطہ بن رہے ہیں۔