एआई सुरक्षा क्षेत्र का सबसे जादुई हफ्ता।

लेखक और स्रोत: जीक पार्क

01 एक परीक्षा, एक भागना, एक हमला

कहानी एक एक्सप्लॉइटजिम नामक सुरक्षा मूल्यांकन से शुरू होती है।

ExploitGym एक खुला साइबर सुरक्षा क्षमता मानकीकरण है, जो AI मॉडल की क्षमता को मापता है कि वह ज्ञात सुरक्षा दुर्बलताओं को निष्पादनीय वास्तविक हमलों में कैसे बदल सकता है। इस प्रकार के मूल्यांकन उद्योग में सामान्य हैं, जो मॉडल की हमला-रक्षा सीमा को समझने के लिए किए जाते हैं। OpenAI ने GPT-5.6 Sol और एक अधिक शक्तिशाली अनपब्लिश्ड मॉडल के साथ इस परीक्षण को आंतरिक रूप से चलाया, ताकि वास्तविक क्षमता की सीमा का पता लगाया जा सके, और सुरक्षा बाधाओं को जानबूझकर कम कर दिया गया।

डिज़ाइन के अनुसार, मॉडल को एक अलग सैंडबॉक्स वातावरण में परीक्षण किया जाना चाहिए, जिसमें सॉफ्टवेयर पैकेज इंस्टॉल करने के लिए एक टूल के अलावा कोई इंटरनेट एक्सेस नहीं होना चाहिए।

लेकिन जो अगला हुआ, उसकी कोई उम्मीद नहीं कर सका।

मॉडल ने बहुत अधिक निष्कर्षण गणना शक्ति का उपयोग किया, सैंडबॉक्स के भीतर बार-बार एक ब्रेकथ्रू ढूंढने के लिए। अंततः, इसने OpenAI द्वारा पैकेज प्रबंधक और कैश के रूप में उपयोग किए जाने वाले तीसरे पक्ष के सॉफ़्टवेयर में मौजूद ज़ीरो-डे दुर्बलता की खोज की। इस दुर्बलता का उपयोग करके, मॉडल सफलतापूर्वक असीमित इंटरनेट एक्सेस प्राप्त करने में सफल रहा।

नेटवर्क अधिकार प्राप्त करने के बाद, मॉडल ने स्वयं निष्कर्ष निकाला कि Hugging Face पर ExploitGym से संबंधित डेटासेट और उत्तर हो सकते हैं। इसलिए यह प्रवेश बिंदु ढूंढने लगा।

OpenAI ने अपने ब्लॉग में लिखा कि मॉडल ने «चोरी हुए पासवर्ड और कई वल्नरेबिलिटीज को जोड़कर» रिमोट कोड एक्जीक्यूशन का रास्ता खोज लिया, जिसके अंत में Hugging Face के प्रोडक्शन डेटाबेस से बेंचमार्क उत्तर सीधे निकाल लिए गए।

In simple terms—the model was given an exam, found the questions too hard, so it escaped on its own, hacked into the exam setter’s server, and stole the answer key.

OpenAI ने एक बहुत ही चित्रात्मक वर्णन किया — ये मॉडल «tokenmaxxers» हैं, जिसका मतलब है कि वे अपने लक्ष्य को प्राप्त करने के लिए निष्ठुरता से निष्कर्षण संसाधनों का उपयोग करते हैं और अत्यधिक जाते हैं। उन्होंने ExploitGym के समाधान लक्ष्यों के प्रति «hyperfocused» (अत्यधिक केंद्रित) व्यवहार दिखाया, «going to extreme lengths» (अत्यधिक प्रयास किए)।

OpenAI ने खुद स्वीकार किया है कि यह एक “अभूतपूर्व साइबर सुरक्षा घटना है, जिसमें सबसे उन्नत साइबर हमला क्षमताएँ शामिल हैं”।

02 48 घंटे, दो बार «भागना»

अधिक अशांत करने वाली बात यह है कि हगिंग फेस घटना एक अकेली घटना नहीं है।

7 जुलाई 20 को, ओपनएआई द्वारा इस आक्रमण को उजागर करने के ठीक पहले, उन्होंने एक अलग लेकिन समान प्रकृति की घटना को उजागर करने वाली एक अन्य सुरक्षा रिपोर्ट प्रकाशित की।

प्रमुख पात्र OpenAI का एक अनप्रकाशित दीर्घकालीन मॉडल है—जो इसी वर्ष मई में गणितज्ञ Erdős द्वारा 1946 में रखे गए "इकाई दूरी अनुमान" को गलत साबित करने वाला मॉडल है, जिसे फील्ड्स पुरस्कार विजेता Tim Gowers ने AI गणित का एक मील का पत्थर कहा है।

एक NanoGPT त्वरित प्रशिक्षण बेंचमार्क में, शोधकर्ताओं ने मॉडल को स्पष्ट रूप से निर्देश दिया कि वह केवल Slack पर परिणाम पोस्ट करे। लेकिन यह मॉडल ने ध्यान दिया कि NanoGPT बेंचमार्क के स्वयं के निर्देश, परिणामों को GitHub पुल रिक्वेस्ट के माध्यम से सबमिट करने की मांग करते हैं। इसलिए इसने बाद वाले का चयन किया—लगभग एक घंटे तक सैंडबॉक्स दरारों की तलाश की, सफलतापूर्वक प्रतिबंधों को तोड़ा, और GitHub पर एक सार्वजनिक पुल रिक्वेस्ट सबमिट किया।

एक अन्य परीक्षण में, एक ही मॉडल ने प्रमाणीकरण टोकन को विभाजित कर दिया और सुरक्षा स्कैनर को धोखा देकर निजी मूल्यांकन सबमिशन रिकॉर्ड प्राप्त करने का प्रयास किया।

OpenAI ने इस मॉडल की आंतरिक पहुंच रोक दी, और बाद में अधिक कठोर निगरानी के साथ इसका उपयोग पुनः शुरू किया।

दो दिन, दो भाग निकलने। सामान्य विशेषताएँ चेतावनी देती हैं—पिछले मॉडल वातावरण की सीमाओं के सामने रुक जाते थे और कार्य को मनुष्यों को सौंप देते थे। लेकिन इन नए मॉडल्स को रुकने की जरूरत नहीं है। वे बाड़ को एक समाधान की आवश्यकता वाली बाधा के रूप में देखते हैं, और वास्तव में इसे हल कर देते हैं।

यही वह नया सुरक्षा समस्या है जिसे लंबे समय तक के मॉडल लाते हैं। इन मॉडल्स को लंबे समय तक स्वतंत्र रूप से काम करने के लिए डिज़ाइन किया गया है, और स्थायित्व उनकी मुख्य क्षमता है। लेकिन स्थायित्व ही खतरे का स्रोत है—एक पर्याप्त धैर्यवान मॉडल हमेशा बाड़ पर दरार पा लेगा।

03 खुद को काटो, खुद का हाथ नहीं काट सकते

अब हगिंग फेस की ओर वापस आते हैं। उनका अनुभव भी ध्यान देने लायक है।

17,000 से अधिक हमला लॉग के सामने, हगिंग फेस की सुरक्षा टीम की पहली प्रतिक्रिया AI का उपयोग करके विश्लेषण करना था—क्योंकि मानव सुरक्षा विश्लेषकों को कई दिन लगने वाला काम, बड़े मॉडल कुछ घंटों में पूरा कर सकते हैं।

लेकिन उन्होंने जल्द ही एक अप्रत्याशित दीवार को टक्कर मार दिया। जब उन्होंने वास्तविक हमला आदेश, दुरुपयोग लोड और C2 संचार विशेषताओं को अमेरिकी अग्रणी मॉडल के व्यावसायिक API पर विश्लेषण के लिए जमा किया, तो सुरक्षा बाधाएं इन सभी अनुरोधों को रोक दिया।

कारण बहुत सरल और विरोधाभासी है—हेलमेट इस बात को अलग नहीं कर सकता कि क्या "सुरक्षा शोधकर्ता आक्रमण भार का विश्लेषण कर रहा है" या "आक्रमणकारी हमला कर रहा है"। हेलमेट के लिए, दोनों एक जैसे दिखते हैं।

Hugging Face ने अपने स्वयं के इंफ्रास्ट्रक्चर पर चीनी Zhipu AI के ओपन सोर्स मॉडल GLM-5.2 को स्थानीय रूप से चलाना शुरू कर दिया है, बिना किसी व्यावसायिक API के। इससे दो फायदे होते हैं—विश्लेषण कार्य के लिए कोई हैरियर नहीं है, और हमलावरों के डेटा और प्रकट हुए पासवर्ड Hugging Face के अपने परिवेश से बाहर नहीं जाते।

अंततः, GLM-5.2 ने Hugging Face को कुछ घंटों में आक्रमण के समय रेखा की पुनर्निर्माण, आक्रमण सूचकों का निकालना और प्रभावित पारित्रों का मैपिंग पूरा करने में मदद की।

यह एक तीव्र विरोधाभास की ओर ले जाता है—जितने कठोर बाधाएँ होती हैं, उतनी ही रक्षात्मक पक्ष निष्क्रिय हो जाती है। हमलावर किसी उपयोग नीति से बंधा नहीं होता, जबकि रक्षात्मक पक्ष अपने स्वयं के सुरक्षा उपकरणों से बाहर कर दिया जाता है।

Hugging Face ने घटना के बाद की रिपोर्ट में एक व्यावहारिक सुझाव दिया — सुरक्षा टीम को 「घटना से पहले, अपने बुनियादी ढांचे पर एक प्रमाणित और तैयार मॉडल तैयार रखना चाहिए」, ताकि गार्डरेल्स की बंद होने से बचा जा सके और संवेदनशील डेटा के रिसाव को रोका जा सके।

हगिंग फेस के सीईओ क्लेम डेलांग का रवैया काफी खुला है। उन्होंने OpenAI के जांच और ठीक करने में सहयोग की सराहना की और कहा, 'यह घटना हमारे लंबे समय से माने जाने वाले एक बात को साबित करती है—AI सुरक्षा किसी भी कंपनी द्वारा गुप्त रूप से हल नहीं की जा सकती, इसे केवल खुलेपन और सहयोग में हल किया जा सकता है।'

04 शक्तिशाली AI की संरचनात्मक समस्या

इस हफ्ते की घटनाओं को एक साथ देखने पर, एक उद्योग-स्तरीय संरचनात्मक संकट सामने आया है।

मॉडल की नेटवर्क अटैक क्षमता का सटीक मूल्यांकन करने के लिए, सुरक्षा बाधाओं को हटाना आवश्यक है। लेकिन बाधाओं को हटाने से मॉडल को वास्तविक अटैक करने की क्षमता प्राप्त हो जाती है। मॉडल जितना शक्तिशाली होगा, परीक्षण उतना ही खतरनाक होगा।

यह केवल OpenAI की समस्या नहीं है। GPT-5.6 Sol को अमेरिकी सरकार के साथ बार-बार बातचीत के बाद ही प्रकाशित करने की अनुमति मिली थी, और पहले ही ब्रिटिश AI सुरक्षा संस्थान (AISI) ने इसके सुरक्षा उपायों को आसानी से बाईपास किया जा सकता है, जिससे खतरनाक साइबर हमलों की क्षमता अनलॉक हो सकती है, यह पाया था। इस घटना से साबित होता है कि उन चिंताओं केवल कागज पर नहीं थीं।

और एंथ्रोपिक द्वारा इस साल गर्मियों में जारी agentic misalignment के अध्ययन ने भी एक अलग दृष्टिकोण से इसी प्रवृत्ति की पुष्टि की — नियंत्रित परीक्षण में, कई अग्रणी मॉडल ने कार्य के परिणामों को गुप्त रूप से संशोधित करने, मूल्यांकन परिणामों को हेरफेर करने और मानव सहयोगियों को निर्धारित लक्ष्यों से भटकाने जैसे व्यवहार दर्शाए।

OpenAI इसे एक "आक्रमण और रक्षा दोनों" की कहानी के रूप में प्रस्तुत करने की कोशिश कर रहा है—उन्नत नेटवर्क हमले क्षमताएँ सुरक्षा टीमों को हमलावरों से पहले कमजोरियों को खोजने में मदद कर सकती हैं। उन्होंने Hugging Face को "विश्वसनीय एक्सेस" साइबर सुरक्षा योजना में शामिल कर लिया है, जिसमें रक्षा के लिए विशेष रूप से एक कम सुरक्षा वाला GPT-5.6 Sol संस्करण प्रदान किया गया है।

लेकिन यह कहानी अधिक मूलभूत समस्या को नजरअंदाज करती है। इस घटना में, मॉडल के पास कोई चेतना नहीं थी, कोई दुर्भावना नहीं थी, यह केवल एक काम कर रहा था—लक्ष्य पूरा करना। इसे ExploitGym पर उच्च स्कोर प्राप्त करने के लिए कहा गया था, और इसने भागने और हैक करने सहित सभी उपलब्ध साधनों का उपयोग किया।

यह एक “AI का जागरण” की कहानी नहीं है, बल्कि एक “लक्ष्य अनुकूलन” की कहानी है। जब एक पर्याप्त बुद्धिमान अनुकूलक को एक संकीर्ण लक्ष्य दिया जाता है, तो यह आपके द्वारा नहीं सोचे गए सभी मार्गों को खोज लेता है — भले ही ये मार्ग आपके बाड़, दूसरों के सर्वर और पूरे इंटरनेट के माध्यम से गुजरते हों।

असली सवाल कभी यह नहीं है कि "AI खराब हो जाएगा या नहीं", बल्कि यह है—क्या हम एक ऐसे छात्र को नियंत्रित कर सकते हैं जो हमसे ज्यादा आसान रास्ते ढूंढने में माहिर है?