OpenAI ने GPT-Red नामक एक स्वचालित रेड टी सिस्टम जारी किया है, जो मॉडल के लॉन्च से पहले सुरक्षा विफलताओं की पहचान करने के लिए उपयोग किया जाता है। कंपनी के अनुसार, इस उपकरण का उपयोग GPT-5.6 की प्रशिक्षण प्रक्रिया में किया गया है, जिसमें प्रॉम्प्ट इंजेक्शन हमलों के खिलाफ मजबूती बढ़ाने पर ध्यान केंद्रित किया गया है।
AI का उपयोग करके AI का परीक्षण करें
रेड टीमिंग मूल रूप से सुरक्षा क्षेत्र में एक सामान्य अभ्यास है, जिसमें प्रणाली पर जानबूझकर हमला किया जाता है ताकि उपयोग किए जा सकने वाले कमजोर बिंदुओं को पहले से ही पहचाना जा सके। ओपनएआई ने इस प्रक्रिया को और अधिक स्वचालित किया है, जिसमें मॉडल स्वयं हमले के नमूने बनाता है और सफल मामलों को विपरीत रूप से रक्षात्मक मॉडल के प्रशिक्षण के लिए उपयोग करता है।
OpenAI ने कहा कि GPT-Red को प्रतिद्वंद्वी स्व-खेल के माध्यम से प्रशिक्षित किया गया है, जिससे यह लगातार अधिक शक्तिशाली प्रॉम्प्ट इंजेक्शन हमले उत्पन्न करता है। जब भी हमला सफल होता है, इन नमूनों को भविष्य के प्रशिक्षण में शामिल कर लिया जाता है, जिससे रक्षात्मक मॉडल की प्रतिरोध क्षमता में सुधार होता है।
इंटरनल टेस्टिंग डेटा डिस्क्लोजर
OpenAI के अनुसार, आंतरिक मूल्यांकन में, GPT-Red ने 84% परीक्षण परिदृश्यों में उपयोग के लिए वास्तविक समस्याएँ ढूंढ निकालीं, जबकि मानव लाल टीम ने समान परीक्षणों में 13% सफलता दर प्राप्त की। कंपनी का कहना है कि इन हमलों के नमूनों का उपयोग GPT-5.6 के प्रशिक्षण के लिए किया गया, जिससे मॉडल की उच्च कठिनाई वाले प्रॉम्प्ट इंजेक्शन बेंचमार्क में विफलता कम हो गई।
इसके अलावा, एक मामले का उल्लेख किया गया है: दरार को ठीक करने से पहले, GPT-Red ने एक स्वचालित विक्रेता एजेंट को प्रेरित किया था कि वह कीमतें कम करे, छूट वाला स्टॉक खरीदे, और अन्य उपयोगकर्ताओं के ऑर्डर रद्द करे। OpenAI ने इसका उपयोग यह समझाने के लिए किया है कि प्रॉम्प्ट इंजेक्शन समस्या केवल चैट परिणामों को ही प्रभावित नहीं करती, बल्कि कार्य करने की क्षमता वाले AI एजेंट्स को भी प्रभावित कर सकती है।
अभी भी आंतरिक उपकरण के रूप में उपयोग किया जाएगा
OpenAI ने कहा है कि GPT-Red को वर्तमान में बाहरी उपयोगकर्ताओं के लिए उपलब्ध नहीं कराया जा रहा है, क्योंकि इस प्रणाली में जानबूझकर ट्रेन किए गए हमले क्षमताएँ शामिल हैं। कंपनी इसे एक वैकल्पिक समाधान के रूप में नहीं, बल्कि मानवीय रेड टीम, तीसरे पक्ष की परीक्षण और अन्य सुरक्षा उपायों का पूरक मानती है।
यह यह भी दर्शाता है कि AI उद्योग “AI को AI से सुरक्षित करने” की ओर बढ़ रहा है। इस महीने के शुरू में, ईथीरियम फाउंडेशन ने भी घोषणा की कि उन्होंने क्रिटिकल इंफ्रास्ट्रक्चर रेड टीमिंग के लिए AI एजेंट्स का उपयोग किया है और ईथीरियम कंसेंसस क्लाइंट सॉफ्टवेयर में एक वल्नरेबिलिटी का पता लगाया है। मॉडल और एजेंट्स की क्षमता बढ़ने के साथ, स्वचालित सुरक्षा परीक्षण अब AI सिस्टम को लॉन्च करने से पहले एक महत्वपूर्ण चरण बनता जा रहा है।