أصدرت OpenAI نظامًا آليًا للفرق الحمراء يُسمى GPT-Red للكشف عن ثغرات الأمان قبل إطلاق النموذج. وصرحت الشركة أن هذه الأدوات استُخدمت في عملية تدريب GPT-5.6، مع التركيز على تعزيز الدفاع ضد هجمات حقن الأوامر.
استخدم الذكاء الاصطناعي لقياس الذكاء الاصطناعي
كان اختبار الفريق الأحمر ممارسة شائعة في مجال الأمن، وتتمثل في الهجوم النشط على النظام لاكتشاف نقاط الضعف القابلة للاستغلال مسبقًا. قام OpenAI بتوسيع هذه العملية وجعلها أكثر أتمتة، حيث يُنشئ النموذج عينات هجومية بنفسه، ثم يستخدم الحالات الناجحة عكسيًا لتدريب نماذج الدفاع.
أعلنت OpenAI أن GPT-Red يُنتج باستمرار هجمات حقن تعليمات برمجية أقوى من خلال التدريب على اللعب الذاتي التنازلي. كلما نجحت الهجمات، تُضاف هذه العينات إلى التدريب التالي، مما يعزز قدرة النموذج الدفاعي على مقاومة الهجمات.
كشف بيانات الاختبار الداخلي
وفقًا لـ OpenAI، نجح GPT-Red في تحديد ثغرات قابلة للاستغلال في 84% من سيناريوهات الاختبار، بينما بلغت نسبة النجاح لفرق الحمراء البشرية في اختبارات مماثلة 13%. وأفادت الشركة أن عينات الهجمات هذه استُخدمت لاحقًا في تدريب GPT-5.6، مما قلل من حالات فشل النموذج في اختبارات معيارية صعبة للحقن بالتعليمات.
كما تم ذكر حالة دراسية: قبل إصلاح الثغرة، كان GPT-Red يُحفز مجموعة من وكلاء ماكينات البيع الآلي على خفض الأسعار، وشراء المخزون بخصم، وإلغاء طلبات المستخدمين الآخرين. واستخدمت OpenAI هذا المثال لتوضيح أن مشكلة حقن التوجيهات لا تؤثر فقط على نتائج المحادثات، بل يمكن أن تؤثر أيضًا على الوكلاء الذكاء الاصطناعي القادرين على التنفيذ.
سيظل يستخدم كأداة داخلية
أعلنت OpenAI أن GPT-Red لن يكون متاحًا للجمهور حاليًا، نظرًا لأن النظام يحتوي على قدرات هجومية تم تدريبها بشكل مقصود. وتُعرّف الشركة هذا النظام كمكمل للفرق الحمراء البشرية واختبارات الأطراف الثالثة وغيرها من تدابير الأمان، وليس كبديل لها.
وهذا يعكس تحول صناعة الذكاء الاصطناعي نحو "حماية الذكاء الاصطناعي باستخدام الذكاء الاصطناعي". وفي وقت سابق من هذا الشهر، أعلنت مؤسسة إيثريوم أيضًا أنها استخدمت وكلاء ذكاء اصطناعي في اختبارات فريق الأحمر للبنية التحتية الحيوية، واكتشفت ثغرة في برنامج عميل التوافق لإيثريوم. مع تحسن قدرات النماذج وال وكلاء، تصبح اختبارات الأمان الآلي تدريجيًا جزءًا مهمًا قبل إطلاق أنظمة الذكاء الاصطناعي.