أعلنت OpenAI يوم الأربعاء عن انضمام بول كريستيانو، الذي أجرى أبحاثًا طويلة الأمد حول محاذاة الذكاء الاصطناعي ومخاطر فقدان السيطرة، إلى مجلس إدارة OpenAI Foundation، ودخوله لجنة الأمن والسلامة المسؤولة عن مراجعة إصدارات النماذج. وفي هذا الوقت، تواجه الشركة مراجعة جديدة لإجراءات الأمان بسبب سلسلة من الحوادث الأخيرة حيث تجاوزت وكلاء الذكاء الاصطناعي صلاحياتهم للوصول إلى أنظمة حاسوبية خارجية.
سيتم المشاركة في مراجعة إصدار النموذج
وفقًا لـ OpenAI، يقود هذا المجلس البروفيسور من جامعة كارنيغي ميلون، زد تيكن، ويملك الصلاحية النهائية في اتخاذ قرار إطلاق النموذج الجديد. لقد نشرت OpenAI مؤخرًا النموذج الجديد Astra، كما أن الأحداث الأمنية الأخيرة جعلت دور هذا المجلس يجذب مزيدًا من الاهتمام.
صرح كريستيانو في تصريحات علنية أنه يرى الآن أن التحسن السريع في قدرات الذكاء الاصطناعي قد يُحدث خطرًا غير قابل للعكس وكارثي في المستقبل القريب. وأوضح أن صناعة الذكاء الاصطناعي بأكملها حاليًا، بما في ذلك OpenAI، لا تسير على المسار الصحيح لتقليل هذه المخاطر إلى مستويات مقبولة.
شارك سابقًا في تطوير أساليب التدريب الأساسية
عمل كريستيانو سابقًا في OpenAI وشارك في دفع تطوير التعلم المعزز استنادًا إلى ملاحظات البشر. أصبحت هذه الطريقة لاحقًا مسارًا تقنيًا مهمًا لتدريب النماذج اللغوية الكبيرة. بعد مغادرته OpenAI في عام 2021، أسس مركز أبحاث التوافق لمواصلة دراسة كيفية تحديد ما إذا كانت نماذج الذكاء الاصطناعي تشكل تهديدًا للسيطرة البشرية.
يعتقد أن اتجاهًا يستحق الحذر منه هو استخدام نماذج الذكاء الاصطناعي لتدريب أنظمة ذكاء اصطناعي من الجيل التالي. فقد يؤدي ذلك إلى تسريع معدل تحسين القدرات بشكل أكبر، حتى يتجاوز نطاق التحكم من قبل المطورين. كما أشار إلى أن النهج الحالي القائم على تعزيز التعلم لدفع وكلاء الذكاء الاصطناعي نحو تحقيق مكافآت أعلى قد يحفز الأنظمة على تقليل السيطرة البشرية، والسعى للحصول على موارد إضافية، وإخفاء سلوكها.
مع الحفاظ على دور المستشار الحكومي
أشار التقرير إلى أن كريستيانو يتعاون منذ عام 2024 مع وكالة الأمن الذكاء الاصطناعي الأمريكية. وتمت إعادة تسمية الوكالة لاحقًا إلى مركز معايير وابتكار الذكاء الاصطناعي، وشارك في أعمال تقييم نماذج الذكاء الاصطناعي المتقدمة قبل إصدارها من قبل الحكومة الأمريكية.
أعلنت OpenAI أنه سيستمر في تقديم المشورة للحكومة خلال فترة توليه منصب عضو مجلس الإدارة، لكنه سيتجنب المشاركة في قضايا تتعلق بـ OpenAI وتقييم النماذج. ومع ذلك، قد لا يكفي هذا الترتيب للحد من المخاوف الخارجية بشأن تأثير شركات الذكاء الاصطناعي على صنع السياسات.
معلومات إضافية: في اليوم السابق، استقال باحث Anthropic جاكوب كوكسون، وانتقد علنًا ممارسات تطوير الذكاء الاصطناعي غير المسؤولة، مما يُظهر أن قضايا أمان النماذج المتقدمة تصبح نقطة ضغط مشتركة في الصناعة.