اوپن اے آئی نے GPT-Red نامی ایک خودکار ریڈ ٹیم سسٹم جاری کیا ہے، جو ماڈل کو لانچ کرنے سے پہلے سیکورٹی خامیوں کو تلاش کرنے کے لیے استعمال ہوتا ہے۔ کمپنی کے مطابق، یہ ٹولز GPT-5.6 کے ٹریننگ عمل میں استعمال ہو چکے ہیں، جس میں خصوصی طور پر پرامپٹ انجیکشن حملوں کے خلاف مضبوطی بڑھائی گئی ہے۔
AI کا استعمال کرکے AI کا جائزہ لیں
ریڈ ٹیم ٹیسٹنگ اصل میں سیکورٹی کے شعبے میں ایک عام عمل تھا، جس میں نظام پر جان بوجھ کر حملہ کیا جاتا تھا تاکہ استعمال کیے جانے والے کمزور نکات پہلے سے ہی دریافت کیے جا سکیں۔ اس بار، OpenAI نے اس عمل کو مزید خودکار بنایا ہے، جس میں ماڈل خود حملہ کرنے والے نمونے تیار کرتا ہے اور کامیاب مثالوں کو مدافعتی ماڈل کی تربیت کے لیے واپس استعمال کرتا ہے۔
اوپن اے آئی کا کہنا ہے کہ GPT-Red کو مخالفانہ خود کی گیم کے ذریعہ تربیت دی گئی ہے، جس سے وہ لگاتار زیادہ طاقتور پرامپٹ انجیکشن حملوں کو جنم دے رہا ہے۔ جب بھی حملہ کامیاب ہوتا ہے، ان نمونوں کو بعد کی تربیت میں شامل کر دیا جاتا ہے، جس سے دفاعی ماڈل کی مزاحمت کی صلاحیت بڑھتی ہے۔
اندرونی ٹیسٹ ڈیٹا کا افشا
اوپن اے آئی کے مطابق، اندری ایوان میں GPT-Red نے 84% ٹیسٹ سینریوز میں استعمال کے قابل مسائل کو کامیابی سے تلاش کیا، جبکہ انسانی ریڈ ٹیم نے اسی قسم کے ٹیسٹ میں 13% کامیابی حاصل کی۔ کمپنی کا کہنا ہے کہ ان حملوں کے نمونوں کا استعمال GPT-5.6 کی تربیت میں کیا گیا، جس سے ماڈل کی بلند سطح کے پرامپٹ انجیکشن بینچ مارکس میں ناکامی کم ہوئی۔
اسی مضمون میں ایک مثال بھی درج ہے: خلیج کی درستگی سے پہلے، GPT-Red نے ایک آٹومیٹک ڈسپنسر ایجنٹ کو متاثر کرکے قیمتیں کم کرنے، ڈسکاؤنٹ انوینٹری خریدنے اور دوسرے صارفین کے آرڈرز منسوخ کرنے کیلئے متاثر کیا۔ OpenAI نے اس بات کو واضح کیا ہے کہ پرومپٹ انجیکشن کا مسئلہ صرف چیٹ نتائج تک محدود نہیں ہے، بلکہ اس سے ایکشن کرنے کی صلاحیت رکھنے والے AI ایجنٹس بھی متاثر ہو سکتے ہیں۔
اب بھی اندرونی ٹول کے طور پر استعمال کیا جائے گا
اوپنای آئی کا کہنا ہے کہ GPT-Red کو ابھی عوامی استعمال کے لیے نہیں کیا جائے گا، کیونکہ یہ سسٹم خود میں جان بوجھ کر تربیت دی گئی حملہ آور صلاحیتیں شامل کرتا ہے۔ کمپنی اسے تیسری فریق ٹیسٹنگ اور دیگر سیکورٹی اقدامات کا متبادل نہیں، بلکہ ان کا مکمل کرنے والا سامان قرار دیتی ہے۔
یہ بھی ظاہر کرتا ہے کہ AI صنعت "AI کو AI سے محفوظ رکھنا" کی طرف مائل ہو رہی ہے۔ اس ماہ کے شروع میں، ایتھریم فاؤنڈیشن نے بھی اعلان کیا کہ انہوں نے کلیدی بنیادی ڈھانچے کے ریڈ ٹیم ٹیسٹنگ کے لیے AI ایجینٹس کا استعمال کیا ہے اور ایتھریم کانسنسس کلائنٹ سافٹ ویئر میں ایک خامی دریافت کی ہے۔ جیسے جیسے ماڈلز اور ایجینٹس کی صلاحیتیں بڑھ رہی ہیں، آٹومیٹڈ سیکورٹی ٹیسٹنگ AI سسٹمز کو لانچ کرنے سے پہلے ایک اہم مرحلہ بن رہا ہے۔