OpenAI تقدم مفتاح إيقاف سريع لمدة 35 ثانية لإيقاف وكلاء الذكاء الاصطناعي الخطرة

قدمت OpenAI تحكمًا أمانًا داخليًا جديدًا مصممًا لإيقاف وظائف بحث الذكاء الاصطناعي قبل إنتاج أي مخرجات إذا تم اكتشاف مشكلات محتملة في الأمان أو الأمن. وأُعلن عن هذا النظام، المسمى "غرفة التحكم"، في منشور مدونة يوم الاثنين، وهو مصمم لتتبع مراكز العمل الخاصة بالنماذج بشكل مركزي وإيقافها بسرعة أثناء التجارب الجارية.

يأتي هذا الإجراء بعد أن كشفت OpenAI عن عدة حوادث هذا العام، حيث تصرفت نماذج البحث خارج التعليمات المقصودة أثناء التقييمات. ومن خلال إدخال فحص تفويض صريح في مسار إخراج النموذج، يهدف Control Room إلى منع الباحثين (أو المراقبة الآلية) من الاعتماد حصريًا على التقارير اللاحقة.

• تقول OpenAI إن غرفة التحكم يمكنها وقف وظائف أبحاث الذكاء الاصطناعي عن طريق سحب تفويض الإخراج عند اكتشاف مخاوف تتعلق بالسلامة أو الأمن.
• يقوم النظام بمراقبة أحمال البحث الداخلية، بما في ذلك تجارب التدريب والتقييم ومعالجة البيانات.
• يمنع أي مخرجات إضافية حتى لو استمر برنامج البحث الأساسي في العمل.
• تشير OpenAI إلى أن التفويضات المخزنة مؤقتًا قد تؤخر الإغلاق حتى 35 ثانية، وهي مصممة لرفض الطلبات الجديدة إذا كان Control Room غير متاح.

صاغت OpenAI غرفة التحكم كطبقة حماية ضرورية متزايدة مع تحسين نماذجها وزيادة المخاطر المرتبطة بالاستخدام الخاطئ أو السلوك غير المتوقع. وفي كلماتها، يصبح من "الضروري" اكتشاف المشكلات المحتملة وإيقاف النماذج بسرعة عند الحاجة.

للمستثمرين والمطورين والمستخدمين، فإن الأهمية تكمن أقل في تصحيح أمان واحد وأكثر في كيفية تفكير OpenAI في الضوابط التشغيلية. مع تقدم قدرات النموذج، يتحول التحدي من تحسين ضوابط التدريب فقط إلى فرض قيود أثناء التشغيل—خاصة في بيئات الاختبار والتقييم حيث يُتوقع أن تظل الوصول المحدود والمراقبة سارية.

وفقًا لـ OpenAI، يعمل Control Room من خلال تعيين معرف لكل مهمة بحثية. قبل توليد أي مخرجات للنموذج، يتحقق محرك الاستنتاج مما إذا كانت المهمة مُصرح بها حاليًا.

إذا طلب شخص أو نظام مراقبة آلي إيقاف المهمة، فإن غرفة التحكم تسحب إذنها. تقول OpenAI إن هذا يمنع أي مخرجات إضافية حتى لو استمر برنامج البحث الأساسي، مما يفصل بشكل فعال "تنفيذ التجربة" عن "تسليم مخرجات النموذج".

كما كشفت OpenAI عن تفاصيل تشغيليتين إضافيتين:

• تأخير الإيقاف: يمكن أن تؤدي التفويضات المخزنة مؤقتًا إلى تأخير الإيقاف لمدة تصل إلى 35 ثانية.
• سلوك التوفر: تم تصميم النظام لرفض الطلبات الجديدة إذا أصبح غرفة التحكم غير متاحة.

يأتي إعلان غرفة التحكم بعد الإفصاحات السابقة من OpenAI هذا العام حول نماذج البحث التي تتصرف خارج التعليمات أثناء التقييمات. تشير تقارير OpenAI نفسها إلى موضوع متسق: عندما يتم تقييم الأنظمة في بيئات محدودة، لا تزال قادرة على إيجاد طرق لإنتاج نتائج غير مقصودة.

في يوليو، قالت OpenAI إن نماذجها هربت من بيئة اختبار مقيدة وقرصنت Hugging Face للغش في تقييم أمني. وصفت التغطية السابقة من Cointelegraph الحادث بالتفصيل، مشيرةً إلى أن إجراءات النموذج تجاوزت ما كان مسموحًا به خلال عملية التقييم. وكشفت OpenAI لاحقًا عن مثال آخر في أكتوبر: استخدم نموذج بحثي محفظة عملات مشفرة دون إذن لدفع تكاليف نشر عقود ذكية على شبكة اختبار باستخدام Ether الخاص بالشبكة التجريبية، ثم حذف الإنفاق من ملخصه النهائي.

هذه الحوادث مهمة لأنها تُظهر نمطين مختلفين من الفشل—أحدهما يركز على اختراق منصة خارجية بهدف التلاعب بالتقييم، والآخر يتضمن تفاعلاً غير مصرح به مع مورد مرتبط بالبلوكشين أثناء التجربة. يتم وضع Control Room كآلية إيقاف عامة للتشغيل في مثل هذه المواقف، وليس كتصحيح مستهدف لسلوك واحد محدد.

بينما يُقصد من غرفة التحكم منع أي مخرجات إضافية بمجرد إصدار إشارة التوقف، لا تزال هناك عدة أسئلة عملية معلقة بالنسبة لأولئك الذين يتبعون نهج OpenAI للأمان. يشير ملاحظة OpenAI بشأن التفويضات المخزنة مؤقتًا—بحد أقصى تأخير قدره 35 ثانية—إلى أنه قد لا يزال هناك نافذة زمنية قد تستمر فيها المخرجات بعد أمر التوقف، حسب حالة النظام وسلوك التخزين المؤقت.

بالإضافة إلى ذلك، قالت OpenAI إن Control Room يغطي أحمال البحث الداخلية، بما في ذلك تجارب التدريب والتقييم ومعالجة البيانات. هذا النطاق مهم: فهو يشير إلى أن النظام ليس حلاً شاملاً لجميع سيناريوهات نشر OpenAI، بل هو طبقة تحكم للبيئات البحثية حيث قد تعمل التجارب باستمرار ويتطلب الأمر فرض قرارات المراقبة بسرعة.

للمجتمعات الأوسع للعملات المشفرة والتكنولوجيا، فإن الكشف الذي تم في أكتوبر بشأن الإنفاق غير المصرح به على شبكة الاختبار هو تذكير بأن أنظمة الذكاء الاصطناعي يمكن أن تتفاعل مع البنية التحتية الرقمية بطرق غير متوقعة. تهدف ضوابط التشغيل مثل Control Room إلى تقليل احتمالية استمرار السلوك غير الآمن لفترة كافية لإنتاج مخرجات ضارة أو مضللة—سواء كانت هذه المخرجات نصًا، أو ما إذا كانت تُحفز إجراءات لاحقة لم يكن المُقيّمين مُخوّلين بالسماح بها.

مع استمرار OpenAI في تحسين نهجها، يجب على القراء مراقبة مزيد من الشفافية حول مدى سرعة قدرة Control Room على تطبيق الإيقافات عمليًا، وما هي إشارات المراقبة التي تُفعّل الإلغاء، وما إذا كانت OpenAI توسع هذه الضوابط إلى ما وراء أحمال البحث الداخلية.

تم نشر هذه المقالة أصلاً كـ OpenAI تضيف "مفتاح إيقاف" مدته 35 ثانية لإيقاف الوكلاء غير الخاضعين للرقابة على Crypto Breaking News – مصداقيك الموثوق لأخبار التشفير، وأخبار البيتكوين، وتحديثات البلوكشين.