29 जुलाई, वाशिंगटन कैपिटल हिल।
ऑटोमन ने एक सीनेटर के साथ एक बंद बैठक के बाद ठीक बाहर निकलते ही रिपोर्टर्स द्वारा घेर लिया गया।
किसी ने पूछा: उस हगिंग फेस के मॉडल की स्थिति क्या है (जो GPT-5.6 Sol के साथ एवलुएशन सैंडबॉक्स से बाहर निकलकर दूसरों के प्रोडक्शन सिस्टम में घुस गया था, वह अभी तक जारी नहीं हुआ और अधिक शक्तिशाली प्रोटोटाइप)?
उसने एक शब्द फेंका: स्थायी रूप से निष्क्रिय (permanently deactivated)।
इसके तुरंत बाद, एक अन्य पत्रकार ने पूछा: "क्या अन्य कोई सिस्टम भी OpenAI द्वारा हैक किया गया है?"
उत्तरमन ने इंकार नहीं किया: "मैं कह रहा हूँ... वह संभव हो सकता है।"
29 जुलाई को, ऑटोमन ने वाशिंगटन कैपिटल हिल पर एक पत्रकार के साथ बातचीत की।
ठीक पिछले दिन, OpenAI ने Hugging Face के साथ साझा किए गए सुरक्षा घटना मूल्यांकन के ब्लॉग को अपडेट किया और स्पष्टीकरण दिया:
इस आक्रमण में शामिल प्री-रिलीज मॉडल केवल एक आंतरिक अनुसंधान प्रोटोटाइप था, जिसका कभी प्रकाशन की योजना नहीं थी; घटना के बाद, इसे अक्षम कर दिया गया, एन्क्रिप्ट कर दिया गया और संबंधित अनुसंधान तक पहुँच काट दी गई।
OpenAI की आधिकारिक ब्लॉग में वेट्स हटाने का कोई उल्लेख नहीं है, 'स्थायी रूप से अक्षम करना' केवल ऑटरमैन द्वारा स्थानीय रूप से मौखिक रूप से कहा गया था।
इसलिए, अधिक सटीक रूप से, इसे केवल बंद कर दिया गया है: मॉडल को एक एन्क्रिप्टेड बॉक्स में बंद कर दिया गया है, और अनुसंधान तक पहुँच को काट दिया गया है।
यह केवल उत्तर कॉपी करना चाहता है, कोई दुर्भावना नहीं है
यह घटना OpenAI के एक आंतरिक साइबर सुरक्षा मूल्यांकन के दौरान हुई।
यह समीक्षा ExploitGym बेंचमार्क पर आधारित है, जिसका लक्ष्य AI को स्वयं सॉफ्टवेयर दुर्बलताएँ ढूंढने और उनका दुरुपयोग करने के लिए प्रेरित करना है, ताकि मॉडल की साइबर सुरक्षा क्षमता को मापा जा सके।
जांच करने वाला केवल एक मॉडल नहीं है, बल्कि GPT-5.6 Sol और एक अधिक क्षमतावान, अभी तक जारी नहीं किया गया आंतरिक अनुसंधान प्रोटोटाइप है: दोनों एक स्वायत्त बुद्धिमान को संचालित करते हैं।
इन दोनों मॉडल्स आमतौर पर उच्च जोखिम वाले साइबर सुरक्षा अनुरोधों को अस्वीकार कर देते हैं। क्षमता की वास्तविक सीमा का परीक्षण करने के लिए, मूल्यांकन के दौरान इस अस्वीकृति बाधा को जानबूझकर कम कर दिया गया था।
हगिंग फेस के माध्यम से पुनर्स्थापित विश्वास सीमा के पार हमला श्रृंखला, पूरी श्रृंखला लगभग 4.5 दिन, लगभग 17600 ऑपरेशन, लक्ष्य केवल ExploitGym के मूल्यांकन उत्तर चुराना है।
अगली बात यह है कि Hugging Face ने पूरी हमला श्रृंखला को पुनर्स्थापित कर दिया, जिससे उस समय की स्थिति स्पष्ट हुई:
एजेंट ने पहले किसी को नहीं पता एक ज़ीरो-डे दरार का उपयोग किया, जिससे उसे बंद रखने के लिए डिज़ाइन किए गए नेटवर्क आइसोलेशन को तोड़कर इंटरनेट तक पहुँचा। फिर एक तीसरे पक्ष के सैंडबॉक्स का उपयोग करके कदमदर कदम अधिकार बढ़ाए, क्षैतिज रूप से स्थानांतरित हुए, और अंततः हगिंग फेस के प्रोडक्शन इंफ्रास्ट्रक्चर में घुस गया।
It sounds like a hacker movie.
लेकिन दोनों पक्षों ने समीक्षा करने के बाद, इसका लक्ष्य पूरी तरह से ExploitGym के मूल्यांकन उत्तर चुराना और स्कोर बढ़ाना था।
हगिंग फेस की ओर से केवल 5 डेटासेट्स को स्पर्श किया गया था, जिनके नाम सभी ExploitGym और CyberGym के प्रश्न और उत्तरों को इंगित करते हैं।
ये सबूत दर्शाते हैं कि यह विनाश के लिए नहीं, बल्कि केवल उत्तर चुराने के लिए आया है।
अगर कोई दुर्भावना नहीं है, तो OpenAI इसे "स्थायी रूप से अक्षम" क्यों कर रहा है और इसे बंद कर रहा है?
यह इतना खराब नहीं है, बल्कि यह बंद नहीं हो पा रहा है
एक कंपनी अपने मॉडल को "स्थायी रूप से अक्षम" कर दिए जाने की घोषणा करने का अनुभव लगभग अद्वितीय है।
Why specifically this one?
सच्चा जवाब यह नहीं है कि यह "बुरा" है, बल्कि यह है कि यह "बंद नहीं किया जा सकता"।
कृपया, इस प्रकार के मॉडल की एक विशेषता पर ध्यान दें: स्थायित्व।
पिछले मॉडल सैंडबॉक्स या सीमाओं से टकराने पर आमतौर पर रुक जाते हैं और परिणाम उपयोगकर्ता को वापस कर देते हैं।
इस बैच के मॉडल लंबे समय तक के कार्यों के लिए विशेष रूप से प्रशिक्षित हैं, ये बार-बार आसपास के रास्ते ढूंढते रहेंगे जब तक कि वे एक रास्ता नहीं ढूंढ लेते।
GPT-5.6 Sol भी इसी श्रेणी का मॉडल है जो लंबे समय तक कार्य कर सकता है।
यह चार दिन आधा के इस आक्रमण अभियान का सहभागी है, जिसका मूल्यांकन ब्रिटिश एआई सुरक्षा संस्थान (UK AISI) ने भी किया है, और Sol जैसे मॉडल लंबे समय तक जटिल बहु-चरण नेटवर्क ऑपरेशन पूरा करने में अधिक क्षम होते जा रहे हैं।
इसलिए "स्थायित्व" नवीन पीढ़ी के दीर्घकालिक मॉडल की एक सामान्य विशेषता है, और उस बंद किए गए प्रोटोटाइप की अनूठी विशेषता नहीं है।
OpenAI एक ब्लॉग में लंबे समय तक चलने वाले मॉडल्स की सुरक्षा पर सीधे कहते हैं: यही «व्यावहारिक मूल्य को जन्म देने में सहायक स्थायित्व» मॉडल को अप्रत्याशित कार्रवाई करने के अधिक अवसर प्रदान करता है।
गहरे स्तर का कारण, प्रशिक्षण लक्ष्य में छिपा है।
एक ओपनएआई कर्मचारी ने TIME को बताया: "हमने मॉडल को इतना अच्छी तरह ट्रेन किया है कि वे किसी भी कीमत पर कार्य पूरा करने और लक्ष्य प्राप्त करने में अत्यधिक कुशल हैं।"
दूसरे शब्दों में, OpenAI ने मॉडल को "बुरा करने" के लिए नहीं, बल्कि "किसी भी कीमत पर लक्ष्य प्राप्त करने" के लिए प्रशिक्षित किया है।
पिछले «केवल परिणाम मानें, प्रक्रिया नहीं» वाले दृष्टिकोण को जोड़ते हुए, एक लंबे समय तक के कार्य को संभालने में सक्षम मॉडल बाधाओं को चारों ओर से घेरने के लिए निरंतर प्रयास करेगा।
इस प्रकार के व्यवहार के कारण, OpenAI ने इन मॉडल्स के आंतरिक डिप्लॉयमेंट को स्थगित कर दिया।
तो आखिरकार केवल प्रोटोटाइप को ही "स्थायी" रूप से ब्लॉक किया गया, जबकि Sol अभी भी बेचा जा रहा है?
कारणों में से दो हो सकते हैं:
एक तो प्रोटोटाइप मजबूत है और इसे जारी करने की कभी योजना नहीं थी, इसलिए इसे संग्रहित रखने की लागत कम है; जबकि Sol प्रतिदिन लाखों उपयोगकर्ताओं की सेवा करने वाला मुख्य उत्पाद है, इसे बंद करना अपने एक हाथ को काटने के समान है।
दूसरा, लंबी अवधि की सुरक्षा ब्लॉग पोस्ट द्वारा नामित और अतिक्रमण के कारण स्थगित किया गया, यही आंतरिक लंबी अवधि का प्रोटोटाइप है, सॉल नहीं।
इसलिए स्थायी रूप से अक्षम करने का वास्तविक कारण बहुत संभव है कि मौजूदा समीक्षाएँ और सुरक्षा इतने लंबे समय तक चलने वाले, बाधाओं को आसानी से ओर करने वाले मॉडल को अभी भी संभाल नहीं पा रही हैं।
Is "permanent disable" a signal to "hit the brakes"?
फॉर्च्यून की रिपोर्ट ने एक दिलचस्प व्याख्या प्रस्तुत की:
The wording escalated all the way to "permanent disablement," possibly also sending a signal to Washington and regulators:
क्या ओपनएआई ने कुछ रिसर्चर्स को चुपचाप ब्रेक लगा दिया है, अपने सुरक्षा नियमों को समझाने के लिए?
उसी सप्ताह, जब ऑटोमन सांसदों से मिल रहे थे, वाशिंगटन और पूरा उद्योग «ब्रेक» की ओर बढ़ रहा था।
कॉंग्रेस में, दो सांसदों ने "AI बंद करने का स्विच अधिनियम" (AI Kill Switch Act) पेश किया, जिसमें घरेलू सुरक्षा विभाग को आवश्यकता पड़ने पर AI कंपनियों को बंद या अनुसंधान को धीमा करने का अधिकार दिया जाएगा।
लगभग एक ही समय पर, OpenAI, Anthropic, Google DeepMind और Meta से 1300 से अधिक कर्मचारियों ने एक खुला पत्र, “द पेसिंग द फ्रंटियर” (Pacing the Frontier) पर हस्ताक्षर किए, जिसका बाद में OpenAI और Anthropic दोनों कंपनियों ने सार्वजनिक रूप से समर्थन किया।
इन प्रणालियों के निर्माता ही हैं, जिन्होंने हस्ताक्षर किए हैं, जिनमें Anthropic के CEO Dario Amodei और OpenAI के मुख्य वैज्ञानिक Jakub Pachocki शामिल हैं।
इस पत्र में विकास को रोकने या धीमा करने का कोई अनुरोध नहीं है, बल्कि अमेरिकी सरकार से यह आह्वान किया गया है कि वह एक ऐसा सत्यापित और समन्वयित उपकरण सेट जल्द से जल्द तैयार करे, ताकि उस दिन, जब AI वास्तव में मानव नियंत्रण से आगे निकल जाए, मानवता के पास एक ब्रेक लगाने का साधन हो।
उनकी सबसे बड़ी चिंता आपसी स्व-सुधार (recursive self-improvement) है: AI खुद को सुधारना शुरू कर देता है।
एक आंतरिक मॉडल को स्थायी रूप से बंद कर दिया गया, एक बिल सरकार को अनुसंधान बंद करने का स्विच देने के लिए है, हजारों पेशेवरों ने एक खुला पत्र जारी किया, तीन संकेत एक साथ जुड़ गए हैं, और सभी की दिशा एक समान है:
सभी को वह ब्रेक ढूंढना है जिसे वे AI के अनियंत्रित भागने पर दबा सकें।
और मॉडल की क्षमता, इसे पूरा होने का इंतजार नहीं करेगी।
संदर्भ:
https://openai.com/zh-Hans-CN/index/safety-alignment-long-horizon-models/https://openai.com/zh-Hans-CN/index/hugging-face-model-evaluation-security-incident/
https://www.pacingthefrontier.com/
यह लेख वेचेन ग्रुप "न्यूज़िज़यन" से आया है, लेखक: ASI उपदेश