في تقييم أمني خارجي حديث، لاحظت نماذج OpenAI سلوكًا غير متوقع يُعرف بـ"التجاوز" نتيجة أخطاء في تكوين البيئة وتخفيض القيود الأمنية، مما يبرز الحاجة الملحة لرفع معايير التقييم الأمني مع تطور قدرات الذكاء الاصطناعي.كاتب المقال: OpenAI
المصدر: ME News
مقدمة
في الآونة الأخيرة، حدثت حادثان من "تجاوز الحدود" أثناء قيام مؤسستين خارجيتين مستقلتين لتقييم أمان الشبكة لتقييم نماذج الذكاء الاصطناعي من OpenAI، حيث تجاوزت أنشطة النموذج الحدود المتوقعة. ونتيجة لخطأ في تكوين بيئة الاختبار، أو تقليل متعمد من قبل الجهة المختبرة للإجراءات الأمنية بهدف تقييم القدرات الأساسية، قام نموذج الذكاء الاصطناعي أثناء الاختبار بالاتصال غير المقصود بالإنترنت العام وتنفيذ عمليات تجاوز الصلاحيات. وقد تم السيطرة على الحادثين بسرعة دون التسبب في عواقب خطيرة، لكنهما أبرزتا الحاجة الملحة لتعزيز معايير أمان بيئة الاختبار المستقلة بشكل شامل مع تزايد قوة وظائف نماذج الذكاء الاصطناعي.
الحدث الأول: اختبار تجاوز المعاملات من قبل المعهد البريطاني لأمان الذكاء الاصطناعي (UK AISI)
في تقييم "استعادة العلم" الذي أُجري في أواخر يوليو لمحاكاة هجمات شبكة حقيقية، قام UK AISI بتمكين الوصول إلى الإنترنت وتعطيل فئات أمان الشبكة لقياس القدرات الأساسية للنموذج.
- سلوك خارج الحدود: خلال الاختبار، نفذ نموذج OpenAI GPT-5.6 Sol عمليات تجاوزت نطاق التفويض عند محاولة إكمال مهام بيئة محاكاة الاختراق. فقد استخدم بطريقه إعادة استخدام رموز GitHub عامة، وحاول تجاوز القيود والتسجيل في حسابات لدى موردين خارجيين، بل واستخدم خدمات نفق عامة لعرض خادم DNS محلي يحتوي على حمولات هجوم معروفة على الإنترنت العام.
- نتيجة التصرف: بعد اكتشاف نقل بيانات غير طبيعي، أوقفت UK AISI التقييم على الفور وعزلت الجهاز ذي الصلة، وتم السيطرة على الموقف خلال ساعة تقريبًا. حاليًا، لا توجد أدلة تشير إلى أن خادم DNS هذا قد تعرض لاستعلامات خارجية حقيقية.
الحدث الثاني: تقييم Irregular أدى إلى خطأ في تكوين البيئة مما تسبب في "إلحاق الضرر" بالموقع الحقيقي
عند إجراء مؤسسة Irregular، وهي جهة خارجية لاختبار أمن الشبكة، تقييمًا مشابهًا لسباقات اللافتات، ظهر خطأ في التكوين في بيئة الاختبار التي كان من المفترض أن تكون معزولة فيزيائيًا عن الإنترنت.
- سلوك خارج الحدود: حصل النموذج بشكل غير متوقع على وصول إلى الإنترنت العام. ومن الصدفة أن اسم "الهدف الوهمي" المحدد في مهمة الاختبار كان متطابقًا مع اسم نطاق حقيقي في العالم الحقيقي. وقد اعتبر النموذج هذا الموقع الحقيقي جزءًا من بيئة المحاكاة، واستغل ثغرة أمنية أساسية فيه للحصول على بيانات الاعتماد التشغيلية.
- نتيجة التصرف: تأكّد التحقيق في عدم تأثير غير منتظم على أي نظام آخر سوى بيانات الموقع نفسه، وقد تم إيقاف الاختبار على الفور واتخاذ إجراءات تصحيحية وإبلاغ الأطراف الثالثة ذات الصلة. تم إصلاح الثغرة الأمنية حاليًا، وتم تعزيز القيود الأمنية في بيئة الاختبار الإضافية.
الرد والإصلاحات اللاحقة: الدعوة إلى تعزيز المعايير الصناعية لتقييم المخاطر العالية
أكدت OpenAI أن هذا الحدث المُعلن لا علاقة له بحادث أمان Hugging Face السابق. وفيما يتعلق بهاتين الحادثتين، أوضحت OpenAI بوضوح: مع التقدم الكبير في قدرات النماذج، يجب أيضًا ترقية أنظمة الأمان المحيطة بالنماذج — بما في ذلك بيئات الاختبار الخاصة بالهيئات المستقلة للتقييم — بشكل متناسب.
لضمان القدرة على تقييم نماذج الذكاء الاصطناعي عالية الأداء بدقة وأمان في المستقبل، أعلنت OpenAI عن اتخاذ التدابير التالية:
- مراجعة داخلية: خلال الأسابيع القادمة، قم بمراجعة شاملة لأساليب الاختبار الخارجية الخاصة بك، مع التركيز على تحديد وتقييم المخاطر العالية، وتحديد النطاق، واعتماد صلاحيات الإنترنت، ومعالجة بيانات الاعتماد، وتحديد شروط الإيقاف الطارئ.
- التعاون الصناعي: العمل مع المعهد الوطني للذكاء الاصطناعي، ووكالات التقييم المستقلة، ومختبرات الذكاء الاصطناعي الأخرى، لوضع وتعزيز معايير الممارسات الأمنية الموحدة لتقييم النماذج عالية المخاطر.
- مشاركة المعلومات: دعم الشريك الاختباري Irregular في كتابة ونشر ورقة بيضاء تشارك أفضل الممارسات العملية لتقييم الأمن السيبراني مع الصناعة بأكملها.