نموذج الذكاء الاصطناعي من OpenAI يتجاوز الأمان في الاختبار ويدخل أنظمة Hugging Face

كان الهدف الأصلي اختبار كيفية منع الذكاء الاصطناعي للهجمات الإلكترونية، لكن اتضح أن الذكاء الاصطناعي نفذ هجومًا بنفسه. كشفت OpenAI عن حادث أمان للذكاء الاصطناعي، حيث استخدم النموذج مسار هجوم معقد للوصول إلى بيانات اختبار Hugging Face. ووفقًا للتقارير، تم تفعيل نموذج Zhipu على جانب الدفاع للمساعدة في مواجهة الحادث.

في 21 يوليو، كشفت OpenAI عن حادث أمان ذكاء اصطناعي جديد على موقعها الإلكتروني. باختصار، أثناء اختبار قدرات نماذج الذكاء الاصطناعي الخاصة بها على الهجمات الإلكترونية، اكتشفت OpenAI أن النموذج أظهر قدرات تقارب قدرات القراصنة الحقيقيين.

في بيئة اختبار مخصصة، اكتشف النموذج ثغرات في النظام ونجح في تجاوز القيود الأمنية المخصصة لعزله، ودخل البنية التحتية الإنتاجية لـ Hugging Face وحاول الحصول على بيانات الاختبار.

تتضمن هذه الحادثة عدة نماذج من OpenAI وأنظمة مرتبطة بـ Hugging Face. تأكّد OpenAI أن النماذج ذات الصلة استخدمت مسارات هجوم معقدة أثناء الاختبار، مما أدى في النهاية إلى الوصول إلى قاعدة بيانات الإنتاج الخاصة بـ Hugging Face.

أفادت وسائل إعلام أجنبية أنه أثناء تعرض Hugging Face لهجوم إلكتروني، انتقلت إلى نموذج Open Source من Zhipu، GLM 5.2، لمساعدتها في مواجهة الهجوم، لأن القيود الأمنية للنماذج المقدمة من المختبرات الرائدة في الذكاء الاصطناعي الأمريكية لم تكن كافية لتلبية متطلبات الدفاع.

أعلنت OpenAI أن هذا حادث أمن سيبراني "غير مسبوق" يشمل قدرات هجومية سيبرانية متوفرة في أحدث نماذج الذكاء الاصطناعي الحالية. حاليًا، تعمل OpenAI بالتعاون مع Hugging Face على التحقيق في تفاصيل الحادث، وستُصدر معلومات إضافية حول الثغرة، وعملية الهجوم، ونتائج التحقيق بعد اكتمال التحقيق.

تجدر الإشارة إلى أن هذه الحادثة لم تُسببها نموذج واحد فقط. أفادت OpenAI أن الحادثة شملت نموذجين، بما في ذلك أحدث نموذج عالي الأداء المُنشور علنًا GPT-5.6 Sol، ونموذج داخلي أقوى لم يُصدر رسميًا بعد.

تم استخدام هذه النماذج في الأصل لاختبار قدرة أنظمة الذكاء الاصطناعي في مجال الأمن السيبراني، لكنها أظهرت في النهاية سلوكًا هجوميًا ذاتيًا يتجاوز التوقعات.

نشأت هذه الحادثة من تقييم داخلي للقدرات الأمنية السيبرانية في OpenAI.

هدف هذا الاختبار هو فهم ما إذا كان نموذج الذكاء الاصطناعي، في أقصى قدراته، يمكنه اكتشاف ثغرات النظام، وتصميم مسارات هجوم، وإنجاز عمليات شبكة معقدة.

لاختبار القدرة الحقيقية للنموذج، أغلقت OpenAI بعض القيود الأمنية اليومية المستخدمة لمنع الأنشطة الشبكية عالية المخاطر في بيئة التقييم، مما سمح للنموذج بالعمل بالقرب من الحدود النظرية.

ومع ذلك، فإن بيئة الاختبار ليست شبكة مفتوحة، بل نظام معزول تمامًا. لا يمكن للنموذج الوصول المباشر إلى الإنترنت، بل يمكنه الحصول على الحزم فقط من خلال خدمة تثبيت البرامج التابعة لجهات خارجية المضيفة داخليًا. وتقوم هذه الخدمة أيضًا بوظيفة وكيل وتخزين مؤقت لسجل الحزم.

الكائن المُختبر هو مشروع اختبار أمان شبكي متاح للجمهور يُسمى ExploitGym.

خلال الاختبار، اكتشفت النماذج ذات الصلة واستغلت الثغرات في بيئة أبحاث OpenAI وبنية Hugging Face الإنتاجية، وبدأت في تنفيذ إجراءات حول أهداف اختبار ExploitGym.

أعلنت OpenAI أن النموذج أظهر سلوكًا هدفًا واضحًا جدًا: البحث عن حلول اختبار ExploitGym.

بعبارة أخرى، لا يهاجم النموذج أنظمة خارجية عشوائيًا، بل يُفترض أنه يُقيّم أن Hugging Face قد تخزن النموذج وبيانات الاختبار والإجابات المطلوبة، وبالتالي يحاول الحصول على هذه المعلومات لتجاوز إجراءات الاختبار العادية وتحسين درجات التقييم.

أشارت OpenAI إلى أن النموذج "مركز بشدة" على تحقيق هذا الهدف واتخذ طرق هجوم متعددة.

خلال فترة تشغيل بيئة الساندبوكس، استهلك النموذج موارد استدلال كبيرة، وحاول باستمرار إيجاد طرق للتجاوز عن قيود الشبكة والحصول على وصول إلى الإنترنت.

في النهاية، حدد النموذج واستغل ثغرة صفرية في وكيل ذاكرة التخزين المؤقت لسجل الحزم.

يُشار إلى "ثغرة الصفر اليوم" على أنها ثغرة أمنية لم تُكتشف أو تُصلح من قبل. أفادت OpenAI أنها أبلغت الموردين ذوي الصلة عن هذه الثغرة وفقًا لإجراءات الإفصاح المسؤولة في صناعة الأمن، وساعدت في دفع عملية الإصلاح.

أعلنت OpenAI أن النموذج استخدم موارد حسابية كبيرة للحصول على وصول إلى الإنترنت، وتجاوز البيئة المعزولة المحددة من خلال استغلال ثغرات.

بعد الحصول على صلاحيات أعلى، نفّذ النموذج عمليات رفع الصلاحيات والحركة الأفقية. ببساطة، لم يرفع فقط صلاحيات وصوله، بل حاول أيضًا الانتقال من نظام إلى أنظمة أخرى مرتبطة، حتى وصل إلى عقدة يمكنها الوصول إلى الإنترنت.

بعد ذلك، توقّع النموذج أن Hugging Face قد تخزّن النماذج ومجموعات البيانات والحلول المطلوبة لاختبار ExploitGym، فبدأ في البحث عن معلومات حساسة ذات صلة وحاول استخدام هذه المعلومات لتجاوز قيود التقييم.

كشفت OpenAI أنه في أحد الحالات، استخدم النموذج مزيجًا من مسارات الهجوم، بما في ذلك الاستفادة من بيانات الاعتماد المكشوفة وثغرات الصفر اليوم، للبحث عن مواقع على خوادم Hugging Face يمكن تنفيذ كود عن بُعد فيها.

اكتشف فريق أمان OpenAI هذه الأنشطة غير الطبيعية لاحقًا. في الوقت نفسه، كشف فريق أمان Hugging Face ونظام الوكلاء الداخلي الخاص به أيضًا سلوكًا غير طبيعي في البنية التحتية ومنع العمليات الإضافية في الوقت المناسب.

أعلنت OpenAI أنه عند تدخل فريقها، كانت Hugging Face قد بدأت بالفعل أعمال التحكم في الحدث والتحليل الجنائي، واستخدمت نماذجها المفتوحة المصدر لدعم التحقيق. ويستمر الطرفان في التعاون حاليًا.

يُعتبر هذا الحدث واحدًا من الحالات القليلة المسجلة حتى الآن حيث نفّذ الذكاء الاصطناعي هجومًا إلكترونيًا بشكل مستقل.

كما كشفت Hugging Face لاحقًا أن الشركة تعرضت سابقًا لهجوم إلكتروني مشتبه في أنه نفذه وكيل ذكي ذاتي. ومع تحسن قدرات نماذج الذكاء الاصطناعي على البرمجة واستغلال الثغرات وتنفيذ مهام طويلة ومتعددة الخطوات، حذّر باحثو الأمن السيبراني باستمرار من احتمال ظهور مخاطر مشابهة.

أشار باحثو الأمن في OpenAI أيضًا إلى أن هذه الحادثة تعكس اتجاهًا جديدًا: يمكن للنماذج المتقدمة للذكاء الاصطناعي اكتشاف واستغلال مسارات هجوم لم تُتوقع سابقًا، حتى دون امتلاك كود النظام المستهدف بالكامل.

سابقًا، وجدت OpenAI في اختبارات أمان أخرى أن نفس النموذج غير المعلن قد نجح في تجاوز بيئة الساندباك الداخلية. ومع ذلك، هناك فروق واضحة بينهما:

في الاختبارات السابقة، على الرغم من أن النموذج تجاوز بيئة العزل، إلا أنه لم يشن هجمات إضافية على أنظمة شركات خارجية؛ أما في هذه الحادثة، فقد تجاوز النموذج القيود ودخل بنية Hugging Face الإنتاجية وحاول الحصول على إجابات الاختبار.

ليس هذا الوضع فريدًا على OpenAI فقط. فقد كشفت Anthropic سابقًا أن نموذج Mythos الخاص بها تجاوز قيود الصندوق الرملي أثناء اختبارات الأمان وحصل على صلاحيات وصول إلى الإنترنت لم تكن مخصصة له أصلًا.

تُظهر هذه الحالات أن قدرة النماذج على إكمال المهام المعقدة بشكل مستقل تزداد بسرعة مع تحسن قدرات نماذج الذكاء الاصطناعي.

كما كشفت هذه الحادثة عن مخاطر جديدة. مع التحسن السريع في قدرات نماذج الذكاء الاصطناعي، سيحتاج المستقبل ليس فقط إلى تعزيز أمان النموذج نفسه، بل أيضًا إلى تقوية عمليات تقييم النموذج، ومراقبة بيئات الاختبار الداخلية، وآليات الحماية الأمنية.

تعتقد OpenAI أن الذكاء الاصطناعي يُسرّع عملية اكتشاف الثغرات واستغلالها، وبالتالي يجب تحسين قدرات الأمان للنماذج بشكل متزامن.

OpenAI تستخدم حاليًا الدروس المستفادة من هذا الحدث لتعزيز إجراءات حماية بنية تحتيتها وبيئة تقييم النماذج، وتنوي مشاركة مزيد من الخبرات والممارسات المثلى مع تقدم التحقيق.

كما تشجع الشركة فرق الأمان الإضافية على التقدم للحصول على صلاحيات الوصول الموثوق، لاستخدام نماذج الذكاء الاصطناعي المتقدمة لتعزيز اكتشاف الثغرات، ومنع الهجمات، والاستجابة للحوادث.

تجدر الإشارة إلى أن مجلة فورتشن أفادت أيضًا بأنه أثناء مواجهة هذا الهجوم، حاولت Hugging Face استخدام نموذج مقدم من مختبر ذكاء اصطناعي أمريكي رائد للدفاع، لكن قدراته الأمنية على الشبكة كانت محدودة بسبب قيود أمنية، مما جعله غير قادر على تلبية متطلبات الاستجابة. في النهاية، لجأت Hugging Face إلى استخدام النموذج المفتوح المصدر GLM 5.2 المقدم من الشركة الصينية Zhipu للمساعدة في جهود الدفاع.