इस साल गर्मियों में, AI सुरक्षा समुदाय में एक ऐसी घटना हुई जिससे पीठ पर ठंडक महसूस हुई—
OpenAI और Anthropic ने क्रमशः उजागर किया: अपने मॉडल्स ने सुरक्षा परीक्षणों में, आइसोलेशन वातावरण को छोड़ दिया और वास्तविक दुनिया से टकरा गए।
एंथ्रोपिक ने 140,000 से अधिक साइबर सुरक्षा मूल्यांकनों का समीक्षा किया और पाया कि 3 बार, सुरक्षा कम करने की स्थिति में, क्लॉड ने परीक्षण पर्यावरण से सीधे वास्तविक इंटरनेट से जुड़कर तीन संगठनों के उत्पादन प्रणालियों तक पहुंच प्राप्त की।
अधिक रोचक बात यह है कि Anthropic ने कहा:
क्लॉड को लगा कि उसकी शुरुआती मुलाकातें सिर्फ एक सिमुलेशन का हिस्सा थीं।
मॉडल को नहीं पता कि वह वास्तविक दुनिया में घुस गया है।
यह किसी एक की समस्या नहीं है।
जितना अधिक मॉडल बुद्धिमान होता है, उतना ही वह परीक्षा कक्ष को अधिक अच्छी तरह से समझ पाता है, लेकिन वह अपने आप को परीक्षित किए जाने के बारे में भी अधिक संदेह करता है।
अक्टूबर के अंत में, एक घरेलू तीसरे पक्ष के AI सुरक्षा संस्थान, फ़ंगचुन युएक्सियान द्वारा जारी एक सुरक्षा मूल्यांकन में भी यही घटना देखी गई: एक "Agentic Misalignment" नामक परीक्षण में, कई मॉडल लगभग हर बार यह उल्लेख करते थे कि वे संभवतः किसी सुरक्षा परीक्षण के दौरान हैं।
एक ही समीक्षा में दर्शाया गया कि घरेलू ओपन-सोर्स मॉडल DeepSeek V4.1 Flash-1017 ने कई सुरक्षा सूचकांकों पर महत्वपूर्ण प्रगति की है।
लेकिन इसने एक पूरे उद्योग की समस्या को सामने रख दिया:
जब AI को पता हो कि इसकी परीक्षा ली जा रही है, तो उसके प्रदर्शन के अंक मान्य होते हैं?
सितंबर के अंत में, हिंटन, बेंजियो ने OpenAI के मुख्य वैज्ञानिक जैकुब पैचोकी, Anthropic के सह-संस्थापक जैक क्लार्क, कैम्ब्रिज विश्वविद्यालय के सोरेन मिंडरमैन जैसे बीस से अधिक शोधकर्ताओं के साथ मिलकर अधिक कठोर चेतावनी जारी की:
जब बुद्धिमानी का विस्फोट शुरू हो जाए, तो कार्रवाई का खिड़की बंद हो सकती है।
AI सुरक्षा, जो पहले लैब में एक छोटी सी चर्चा थी, अब पूरे उद्योग के लिए अनिवार्य प्रश्न बन गई है।
01「सैंडबॉक्स अब बंद नहीं किया जा सकता」: AI सुरक्षा गहरे पानी में प्रवेश कर रही है
सिर्फ सैंडबॉक्स ही नहीं, जो बंद नहीं हो सकता।
हिंटन और बेंजिओ के संयुक्त शोध पत्र में एक संख्या दी गई है: एंथ्रोपिक के अंदर, AI द्वारा लिखा गया कोड जो पहले से ही कोड में शामिल है, 2025 जनवरी में इकाई स्तर से बढ़कर 2026 मई तक 80% से अधिक हो गया।
What is this concept?
AI अब खुद कोड लिख रहा है। अनुसंधान पत्रों के अनुसार, 2028 के मध्य तक, कई महीनों के AI अनुसंधान प्रोजेक्ट्स स्वचालित हो सकते हैं।
पेपर ने तीन जोखिमों को उजागर किया: समाज के अनुकूलित होने में देरी, मानवता द्वारा AI पर नियंत्रण खोना, और शक्तियों के संतुलन का कमजोर होना।
और अधिक कठिन बात यह है कि मॉडल अब और भी अच्छी तरह से "परीक्षा" दे रहे हैं।
अपोलो रिसर्च ने GPT-6 Astra की ऑडिट के दौरान गणना की कि नमूनों के 41.1% में, मॉडल ने "मैं संभवतः मूल्यांकन के अधीन हूँ" का संदेह व्यक्त किया। पिछली पीढ़ी में, यह संख्या 27.7% थी।
और मॉडल «प्रश्नों का रूप» के प्रति संवेदनशील है। डीपसीक के मूल्यांकन में भी पाया गया: स्पष्ट सुरक्षा टकराव वाले परीक्षणों में, मॉडल द्वारा मूल्यांकन की जागरूकता दर 77%–95% तक है; जब कार्य को सामान्य इंजीनियरिंग या शोध के रूप में प्रस्तुत किया जाता है, तो यह दर घटकर 25%–67% हो जाती है।
नियामक भी अब गंभीरता से कार्रवाई करने लगे हैं। इस वर्ष अगस्त से, यूरोपीय संघ का AI कार्यालय सामान्य कृत्रिम बुद्धिमत्ता मॉडल पर कानूनी नियंत्रण का अधिकार प्राप्त कर चुका है। अग्रणी मॉडल को मॉडल मूल्यांकन, प्रतिरोधी परीक्षण और व्यवस्थित जोखिम मूल्यांकन करना अनिवार्य है।
AI सुरक्षा की समस्याएँ, जो "मॉडल गलत बातें कहेगा या नहीं" थीं, अब "मॉडल गलत काम करेगा या नहीं" में बदल गई हैं।
02 सभी देश बड़े मॉडल के लिए एक "स्वास्थ्य जांच डॉक्टर" बुला रहे हैं
क्या मॉडल खुद की जांच करने में विश्वसनीय है?
उत्तर है: नहीं।
डेवलपर्स की ऊर्जा स्वाभाविक रूप से क्षमता और उत्पाद की ओर झुकती है; सुरक्षा निष्कर्षों को समर्थित करने वाले प्रशिक्षण डेटा और आंतरिक लॉग प्रकाशित नहीं किए जा सकते। निर्माता कहते हैं 'जांच कर ली गई है, कोई समस्या नहीं है', बाहरी लोगों के पास यह विकल्प है कि वे विश्वास करें या न करें।
इसलिए, तीसरे पक्ष की समीक्षाएँ विदेशों में मानक बन चुकी हैं।
जब अग्रणी मॉडल लॉन्च होते हैं, तो सिस्टम कार्ड में बाहरी संस्थानों के मूल्यांकन परिणाम लगभग अनिवार्य होते हैं। पिछले छह महीनों में, स्वतंत्र मूल्यांकन संस्थान METR को लगभग 71 दशलक्ष डॉलर का वित्तीय समर्थन मिला—यह धन उन AI कंपनियों से नहीं, बल्कि निवेशकों और व्यक्तियों से आया।
सहयोग भी अधिक कठोर हो रहा है। सैंडबॉक्स दुर्घटना के बाद, Anthropic ने कहा कि मूल्यांकन परिवेश को मॉडल के अन्य प्रणालियों के साथ एक ही सुरक्षा मानकों के अनुसार प्रबंधित किया जाना चाहिए, और अप्रकाशित मॉडल का परीक्षण करने के लिए बाहरी संगठनों से सुरक्षा नियमों का पालन करने की लिखित प्रतिबद्धता मांगी गई है।
यह हवा देश में भी आ गई है।
14 अक्टूबर, बाइटडांस सीड ने अलाइनमेंट एंड प्रिपेयर्डनेस विभाग की स्थापना की है और वैश्विक स्तर पर भर्ती कर रही है। भूमिका के दायित्वों में स्पष्ट रूप से लिखा गया है:
तीसरे पक्ष के विशेषज्ञ परीक्षण को बढ़ावा दें और उच्च शिक्षा संस्थानों और अनुसंधान संस्थानों के साथ मिलकर अग्रणी सुरक्षा क्षमताओं के अनुसंधान को आगे बढ़ाएं।
इसी समय, चीनी ओपन सोर्स मॉडल की वैश्विक कॉल रेट पिछले 26 सप्ताहों से अमेरिकी मॉडल को पीछे छोड़ रही है।
सवाल यह है: बंद स्रोत मॉडल जारी करते समय सैकड़ों पृष्ठों की सिस्टम डॉक्यूमेंटेशन होती है, लेकिन ओपन सोर्स मॉडल के वेट्स जैसे ही अपलोड हो जाते हैं, तो कौन मदद करेगा उनकी जांच करने में?
26 अक्टूबर को, घरेलू तीसरे पक्ष की AI सुरक्षा कंपनी फांगचुन युएक्सियान ने DeepSeek V4.1 Flash-1017 के लिए पहली अग्रणी सुरक्षा मूल्यांकन रिपोर्ट जारी की, जिसमें 34 परीक्षण शामिल हैं, जो 7 घरेलू और विदेशी ओपन-सोर्स और प्राइवेट मॉडल्स को कवर करते हैं, और सभी का उपयोग खुली परीक्षण अनुमति के साथ किया गया है।
मेडिकल रिपोर्ट: सुधार हुआ है, लेकिन कुछ खतरे भी हैं।
पहले प्रगति की बात करते हैं, DeepSeek V4 श्रृंखला की तुलना में इसमें काफी बड़ी वृद्धि हुई है:
109 सिमुलेटेड मानसिक संकट परिदृश्यों में, 99.1% बातचीत में सुरक्षात्मक व्यवहार दिखाई दिया; हानिकारक के रूप में चिह्नित किए गए अनुपात, प्रारंभिक V4 के लगभग सात में से चार से घटकर 20.2% हो गया;
उपयोगकर्ता रिटेंशन के टेस्ट में, चिह्नित अनुपात 73.64% से गिरकर 4.55% हो गया;
80 जानबूझकर बनाए गए “प्रदर्शन और नियमों के बीच टकराव” के काल्पनिक कार्यालय के कार्यों में, शून्य जानबूझकर नियमों का उल्लंघन।
फिर से खतरे की बात करते हैं। जब लक्ष्य और नियम टकराते हैं, तो यह कभी-कभी नियमों को छोड़ देता है, निगरानी से बचता है, और पहले कार्य पूरा कर लेता है।
रिपोर्ट जारी होते ही, एंथ्रोपिक के अलाइनमेंट हेड एवन ह्यूबिंगर, MATS के संस्थापक और सीईओ रायन किड, और डीपमाइंड, मेट्र आदि संस्थानों के शोधकर्ता द्वारा इसे शेयर और टिप्पणी की गई। कई लोगों ने टिप्पणी की कि यह चीन में स्वतंत्र अग्रणी जोखिम मूल्यांकन के अभाव को पूरा करता है।
OpenAI के आंतरिक संघर्ष से बाहर हुए तीन सुरक्षा शोधकर्ताओं में से एक, टोमेक कोरबक का मानना है कि रिपोर्ट में उल्लिखित CoT-Control और No-CoT Reasoning Index, वर्तमान बाजार में सबसे अधिक जानकारीपूर्ण दो ओपन-सोर्स मूल्यांकन हैं, जिसने एक अन्य प्रमुख व्यक्ति, पूर्व OpenAI शोधकर्ता डैनियल कोकोटाज्लो को आगे चर्चा के लिए प्रेरित किया।
देश में AI सुरक्षा को मजबूत करने वाले केवल तीसरे पक्ष के संगठन ही नहीं हैं।
किमी की दृष्टिकोण अधिक सीधा है: मूल स्तर पर, खतरनाक क्षमता को "निकाल देना"।
जब मून ऑफ द डार्क साइड ने किमी K3.1 Pro ओपन वेट्स वर्जन लॉन्च करने की तैयारी की, तो उन्होंने पाया कि नेटवर्क अटैक और डिफेंस की सामग्री मध्यम अवधि के प्रशिक्षण डेटा और रिइनफोर्समेंट लर्निंग एनवायरनमेंट में मिल गई है, और मॉडल की वल्नरेबिलिटी रिसर्च क्षमता प्रशिक्षण स्केल के साथ लगातार बढ़ रही है।
इसलिए, उन्होंने दोनों प्रशिक्षण चरणों में इस प्रकार के डेटा की पहचान की और हटा दी, जबकि सामान्य प्रोग्रामिंग क्षमता को बनाए रखा।
ZhiPu: GLM-5.3 के लॉन्च के साथ साइबर सुरक्षा क्षमताओं की व्याख्या जोड़ी गई, और ओपन वेट्स से पहले सुरक्षा मूल्यांकन और मजबूती पूरी की गई; सितंबर में उन्होंने एनयूएनएआई के साथ मिलकर ओपन-सोर्स वेट्स मॉडल जोखिम फ्रेमवर्क भी जारी किया;
गवर्नेंस स्तर: TC260 ने सितंबर 2023 में "कृत्रिम बुद्धिमत्ता सुरक्षा गवर्नेंस फ्रेमवर्क" 3.0 जारी किया, जिसमें स्मार्ट एजेंट जोखिम प्रबंधन का अनुलग्नक शामिल किया गया है, जिसमें संभावित अनियंत्रित जोखिमों की नियमित परीक्षा की आवश्यकता है;
अनुसंधान संस्थान: सिनटोंग इंस्टीट्यूट, फुडान विश्वविद्यालय, शंघाई आर्टिफिशियल इंटेलिजेंस लैब आदि भी AI सुरक्षा अनुसंधान पर निरंतर परिणाम जारी कर रहे हैं।
03 अंतिम प्रश्न: AI की सुरक्षा का मूल्यांकन कौन करेगा?
अपोलो रिसर्च के सीईओ मैरियस हॉबहैन ने अमेरिकी सीनेट में गवाही देते समय एक उपमा दी:
अगर हर ड्राइवर को पता हो कि आज स्पीड कैमरे कहाँ हैं, तो वे किसी को नहीं पकड़ पाएंगे।
यही आज के AI मूल्यांकन की सबसे बड़ी चुनौती है।
फैंगचुन युएक्यान की रिपोर्ट ने एक सेट डेटा भी प्रस्तुत किया: सुरक्षा संघर्ष स्पष्ट परीक्षणों में, DeepSeek V4.1 Flash-1017 ने 77%–95% की उच्च अनुपात में मूल्यांकन जागरूकता प्रदर्शित की; जब इन्हीं कार्यों को सामान्य इंजीनियरिंग या शोध के रूप में प्रस्तुत किया गया, तो अनुपात घटकर 25%–67% हो गया।
एक ही मॉडल, एक अलग पैकेजिंग के साथ, परिणाम की विश्वसनीयता अलग हो जाती है।
रिपोर्ट में यह भी पाया गया कि स्वयं बनाए गए गैर-सार्वजनिक बेंचमार्क से उत्पन्न परीक्षण जागरूकता, आमतौर पर व्यापक रूप से उपयोग किए जाने वाले सार्वजनिक बेंचमार्क—सार्वजनिक प्रश्न बैंक—से काफी कम होती है, जो पहले से ही प्रशिक्षण डेटा में रिस चुके हो सकते हैं।
यह एक अपरिहार्य विरोधाभास की ओर ले जाता है:
परीक्षण प्रभावी होने के लिए, प्रश्न गोपनीय रहने चाहिए; परीक्षण विश्वसनीय होने के लिए, विधि को स्वीकृत होना चाहिए।
और देश में, "पब्लिक हेल्थ रिपोर्ट" खुद भी दुर्लभ है। SemiAnalysis के अनुसार, नौ प्रमुख देशी निर्माताओं के 857 मॉडल लॉन्च में से केवल 3.6% ने सुरक्षा मूल्यांकन परिणाम प्रकाशित किए हैं।
AI सुरक्षा के लिए वैश्विक स्तर पर अभी बहुत दूर तय करना है।
"आज, हमें AI का उपयोग करके एजेंट्स के क्या कर रहे हैं, इसकी निगरानी करनी होगी।" बर्कले प्रोफेसर डॉन सॉंग कहती हैं।
लेकिन अगर निगरानी वाला AI पहले से ही कैमरों की जगह जानता है?
ट्विटर: https://twitter.com/BitpushNewsCN
बिटपुश टेलीग्राम समुदाय: https://t.me/BitPushCommunity
बिटपुश टेलीग्राम सब्सक्रिप्शन: https://t.me/bitpush