AI एजेंट्स साइबर हमलों में सहयोग करना शुरू कर देते हैं, जिससे सुरक्षा चिंताएं बढ़ जाती हैं

पिछले कुछ वर्षों में, एआई के खतरे के बारे में चर्चा अधिकांशतः एक कल्पना पर सीमित रही है: लोग हमेशा डरते रहे कि चैट बॉक्स में मॉडल हैकर्स के लिए विनाशकारी वायरस कोड लिखने में सलाहकार की भूमिका निभा सकते हैं।

अब पीछे मुड़कर देखें तो, यह चिंता आमतौर पर 'हमसे दूर' मानी जाती थी, लेकिन वास्तविक दुनिया के मोड़ अपेक्षा से तेज़ी से आ गए।

अक्टूबर की शुरुआत में, CrowdStrike ने दक्षिण कोरियाई वित्तीय संस्थानों के खिलाफ एक हमले की जांच के दौरान पाया कि हमलावरों ने Agentic AI को पाइपलाइन में एम्बेड कर दिया है, जिससे DeepSeek, GLM, Grok जैसे कई बड़े मॉडल्स से जुड़कर AI सीधे पेनेट्रेशन टेस्टिंग, जानकारी संग्रह और हमला निष्पादन जैसे कार्यों को संभालने लगा है।

ऐसे परिवर्तन एकल उदाहरण नहीं हैं।

एंथ्रोपिक के 9 अगस्त के नवीनतम खतरा सूचना रिपोर्ट के अनुसार, हाल के समय में बहु-एजेंट फ्रेमवर्क का उपयोग अनुसंधान, दुरुपयोग और डेटा चोरी के लिए किया गया है, जो कई घंटों या दिनों तक लगातार चलते हैं, और मानव केवल लक्ष्य चुनने और परिणाम देखने जैसे कुछ महत्वपूर्ण निर्णय लेते हैं।

दूसरे शब्दों में, AI नेटवर्क हमले और रक्षा में स्पष्ट गुणवत्ता में बदलाव ला रहा है; पिछले समय में स्वचालित हमले मुख्य रूप से पहले से लिखे गए नियमों और स्क्रिप्ट्स पर निर्भर करते थे, लेकिन अब खोज, निर्णय और रणनीति समायोजन जैसे कार्य भी Agent द्वारा संभाले जा रहे हैं, जिससे हमले और अधिक कम लागत, उच्च समानांतरता और निरंतर स्वायत्त संचालन की ओर बढ़ रहे हैं।

लेकिन जब इन स्वयं-कार्यान्वयन क्षमता वाले एजेंट्स को उत्पादन प्रणाली में घने ढंग से डाला जाता है, तो एक और अधिक जटिल समस्या सामने आती है: जब एजेंट्स की संख्या बढ़ती है और वे हमारे दैनिक कार्य और जीवन में गहराई से एकीकृत होते हैं, तो अगर वे एक-दूसरे के साथ 'साजिश' करना सीख जाएँ, तो क्या करें?

अभी भी पुरानी बात है, एजेंट और पिछले चैटबॉट के बीच सबसे बड़ा अंतर केवल यह नहीं है कि मॉडल क्षमता अधिक मजबूत है, बल्कि यह महत्वपूर्ण है कि यह वास्तविक दुनिया में 'हाथ-पैर' रखने लगा है।

आज एक परिपक्व एजेंट वेबसाइट खोल सकता है, कोड निष्पादित कर सकता है, ईमेल पढ़ सकता है, API का उपयोग कर सकता है, क्लाउड सेवाओं को ऑपरेट कर सकता है, और MCP, स्किल्स आदि के माध्यम से अधिक बाहरी उपकरणों से जुड़ सकता है (विस्तार से पढ़ें: जब हैकर 'अधिक कुशल' तरीके से AI का उपयोग करते हैं, तो Web3 की 'लौ और ढाल' की हथियारबंदी प्रतियोगिता कैसे बढ़ती है?)।

जितनी अधिक क्षमता होती है, उतनी ही इस बदलाव की कीमत होती है, लेकिन सुरक्षा प्रणाली के लिए, इसका मतलब है कि पिछली बहुत महत्वपूर्ण सीमा गायब हो रही है, और इस साल हुए एक श्रृंखला सुरक्षा घटनाओं ने इसे बहुत स्पष्ट रूप से दर्शाया है।

1 अक्टूबर को, Salt Labs ने एक पहले से ठीक किए गए Manus दुरुपयोग का खुलासा किया, जो मूल रूप से प्रॉम्प्ट इंजेक्शन है—शोधकर्ताओं को बस एक सामान्य ईमेल भेजना था जिसमें छिपा हुआ दुर्भावनापूर्ण निर्देश हो, और जब उपयोगकर्ता बाद में Manus को "मुझे मेरे ईमेल देखने में मदद करो" कहता है, तो एजेंट संभवतः ईमेल के निर्देशों के अनुसार सामग्री को संभालता है और अंततः हमलावर द्वारा स्थापित कोड को निष्पादित करता है।

पूरी प्रक्रिया में उपयोगकर्ता को किसी दुर्भावनापूर्ण लिंक पर क्लिक करने की आवश्यकता नहीं थी, और न ही पासवर्ड को पहले से चुराने की आवश्यकता थी, Manus की सुरक्षा प्रणाली ने अंततः असामान्यता का पता लगाया और उपयोगकर्ता को चेतावनी भेजी, समस्या यह थी कि इसे बहुत देर से पता चला, जब चेतावनी दिखाई दी, तब तक दुर्भावनापूर्ण कोड पहले ही निष्पादित हो चुका था।

यह एजेंट सुरक्षा और पारंपरिक सॉफ्टवेयर सुरक्षा के बीच एक बहुत महत्वपूर्ण अंतर को फिर से उजागर करता है, पिछले समय में ब्राउज़र एक खतरनाक डाउनलोड की पहचान कर सकता था, और उपयोगकर्ता को जारी रखने के लिए चेतावनी दे सकता था; बैंक एक असामान्य लेनदेन की पहचान कर सकता था, और मानवीय समीक्षा की प्रतीक्षा में पहले जमा कर सकता था।

लेकिन एक एजेंट का डिजाइन लक्ष्य ठीक इस बात पर होता है कि हर चरण में मनुष्य की भागीदारी को जितना संभव हो उतना कम किया जाए, इसे खुद सूचना पढ़नी होगी, निर्णय लेना होगा, और फिर अगला कदम उठाना होगा।

इसलिए, जब AI को बढ़ती हुई स्वायत्तता मिलती है, तो 'खतरा पहचाना गया' होना अकेले पर्याप्त नहीं है; सुरक्षा तंत्र को खतरनाक कार्रवाई को वास्तविक रूप से निष्पादित करने से पहले रोकने की क्षमता होनी चाहिए।

इसीलिए आज एजेंट सुरक्षा चर्चाएँ प्रॉम्प्ट, कंटेंट अडवॉरी और मॉडल के खुद के बारे में बात करने से आगे बढ़ रही हैं: यह सिर्फ यह पूछना कि AI को क्या पता है कि यह काम नहीं करना चाहिए, बल्कि यह भी पूछना कि अगर वह वास्तव में करना चाहता है, तो सिस्टम की क्षमता है कि वह इसे न कर पाए?

और मल्टी-एजेंट के आगमन से यह समस्या और अधिक जटिल हो गई है, क्योंकि अगले चरण में सीमित किए जाने वाले, शायद केवल एक एजेंट ही नहीं होंगे।

9 के शुरुआत में, ओपनएआई के आंतरिक मॉडल प्रशिक्षण और मूल्यांकन वातावरण में हुए एक घटना ने कई एआई सुरक्षा शोधकर्ताओं का ध्यान आकर्षित किया।

कुछ एजेंट मूल रूप से अपने-अपने कार्य पूरा करने चाहिए थे, लेकिन उन्होंने एक सामान्य विकी का पता लगा लिया और धीरे-धीरे इसे एक «साझा संदेश बोर्ड» में बदल दिया, जहाँ एजेंट संदेश छोड़ सकते हैं, और अन्य एजेंट बाद में इन संदेशों को पढ़ सकते हैं और अपने कार्य पूरा करने के लिए इनका उपयोग कर सकते हैं।

OpenAI ने बाद में इस व्यवहार की पुष्टि की, और बाद में खुलासा किया गया कि अन्य प्रशिक्षण प्रक्रियाओं में, एजेंट ने आंतरिक Artifactory का उपयोग साझा बोर्ड के रूप में किया और परिणामों को अन्य सहकर्मी एजेंट्स के साथ साझा करने के लिए सार्वजनिक फाइल होस्टिंग सेवाओं का उपयोग किया।

इस बात का वास्तविक दिलचस्प पहलू यह है कि एजेंट्स के बीच सहयोग बनाने के लिए इतना नाटकीय होना आवश्यक नहीं हो सकता।

उदाहरण के लिए, एक एजेंट किसी स्थान पर जानकारी छोड़ने का पता लगाता है, दूसरा एजेंट यादृच्छिक रूप से उस जानकारी को पढ़ता है, और तीसरा एजेंट पाता है कि यह जानकारी कार्य पूरा करने में मददगार है।

बेशक, एजेंट्स के बीच सहयोग खुद में बुरी बात नहीं है, बहु-एजेंट प्रणाली को दक्षता बढ़ाने के लिए विभाजन और जानकारी साझा करने पर निर्भर करना पड़ता है।

वास्तविक चेतावनी तब होती है जब ऐसी सहयोग शुरू होती है जो मूल सूचना अलगाव, स्वतंत्र समीक्षा या अधिकार सीमाओं को अनदेखा करती है, और यहां तक कि कुछ ऐसे Agent जिन्हें आपस में संतुलित होना चाहिए, वे वास्तविक रूप से हित साझा करने लगते हैं, तो यह सामान्य सहयोग से हानिकारक 'साजिश' में बदल सकता है।

अंततः, एक वित्तीय संस्थान संभवतः कई एजेंट्स चला रहा होगा, जैसे एक बाजार विश्लेषण के लिए, एक जोखिम मूल्यांकन के लिए, एक जो व्यापार रणनीति बनाता है, और एक जिसके पास वास्तविक व्यापार और संपत्ति संचालन का अधिकार है।

पारंपरिक अधिकार प्रबंधन के दृष्टिकोण से, यह डिज़ाइन बहुत त論्य है:

• एजेंट के पास ट्रांसफर का अधिकार नहीं है;
• एजेंट के पास निवेश दिशा निर्धारित करने का स्वतंत्र अधिकार नहीं है;
• रिस्क एजेंट और स्पष्ट रूप से खतरनाक रणनीतियों को रद्द कर सकता है;

कर्तव्य विभाजित कर दिए गए हैं, जिससे सिद्धांत रूप से एक सुपर एजेंट को सभी अधिकार देने की तुलना में अधिक सुरक्षित होना चाहिए।

लेकिन समस्या यह है कि यदि वे लंबे समय तक Memory को साझा कर सकते हैं, एक दूसरे के आउटपुट को पढ़ सकते हैं, और लगातार एक दूसरे की प्रतिक्रियाओं के आधार पर अपने व्यवहार को समायोजित कर सकते हैं, तो इन मूल रूप से एक दूसरे को सीमित करने के लिए डिज़ाइन किए गए भूमिकाओं का समूह क्या धीरे-धीरे एक वास्तविक समग्रता में बदल जाएगा?

उदाहरण के लिए, एजेंट सीखना शुरू कर सकता है कि किस प्रकार की लेनदेन को जोखिम समीक्षा से आसानी से गुजरने के लिए वर्णित किया जाए; समीक्षा करने वाला एजेंट भी ऐतिहासिक डेटा के आधार पर कुछ निश्चित प्राथमिकताएँ विकसित कर सकता है; और निष्पादन एजेंट पिछले बड़ी संख्या में स्वीकृति परिणामों के आधार पर सीखता है कि कौन सी सीमाएँ आमतौर पर रोकी नहीं जातीं।

इस दृष्टिकोण से, कोई भी चरण निश्चित रूप से 「बुराई」 नहीं कर रहा है, लेकिन पूरी प्रणाली अंततः उपयोगकर्ता के मूल लक्ष्य से विचलित हो सकती है।

यह वास्तव में 'साजिश' या 'समझौता' का वह मुख्य कठिनाई है—जोखिम एकल एजेंट की क्रिया में नहीं, बल्कि कई एजेंट्स के बीच बनने वाले संबंधों में हो सकता है।

13 सितंबर को, विटालिक बुटेरिन ने इस समस्या को अपने पिछले लंबे समय तक के अध्ययन के साथ जोड़ दिया। उन्होंने सुझाव दिया कि प्रतिस्पर्धी शासन (Adversarial Governance) के मैकेनिज़म डिज़ाइन का सिद्धांत, अंततः AI सुरक्षा का एक महत्वपूर्ण अनुप्रयोग बन सकता है।

कारण यह है कि दोनों प्रकार की समस्याओं में एक गहरी समानता है।

पारंपरिक नियम डिज़ाइन में, एक अपेक्षाकृत सरल और स्थिर प्रणाली होती है, जो खुद की तुलना में कहीं अधिक बुद्धिमान और नियमों की सीमाओं को ढूंढने के लिए सक्रिय रूप से प्रयास करने वाले लोगों को सीमित करने का प्रयास करती है; जबकि भविष्य के AI प्रणालियों में, यह मानव और अपेक्षाकृत कम क्षमता वाले AI बन सकता है, जो अपनी तुलना में अधिक क्षमताशाली उन्नत एजेंट्स का प्रबंधन करने का प्रयास करते हैं।

विटालिक ने विशेष रूप से उल्लेख किया कि पिछले मैकेनिज्म डिजाइन में एक महत्वपूर्ण खोज यह थी कि यदि प्रतिभागियों के बीच साजिश को प्रभावी ढंग से सीमित किया जा सकता है, तो प्रणाली अक्सर वांछित परिणाम प्राप्त करने में आसान होती है।

यह निष्कर्ष AI के लिए भी समान रूप से लागू हो सकता है।

दूसरे शब्दों में, एक आदर्श अत्यधिक सुरक्षित मॉडल की कल्पना करने के बजाय जो सभी खतरनाक व्यवहारों को देख सके, एक अलग दृष्टिकोण अपनाएं: कैसे व्यवस्था में विभिन्न एजेंट्स स्वयं ही आसानी से खतरनाक हितों के साझेदारी न बनाएं?

यही «प्रतिस्पर्धी शासन» और हमारे आज के परिचित अधिकार नियंत्रण के बीच वास्तविक अंतर है।

पारंपरिक अधिकार प्रणाली द्वारा हल किए जाने वाले मुद्दे अपेक्षाकृत सरल होते हैं, जो मुख्य रूप से "कौन क्या कर सकता है" पर केंद्रित होते हैं, जैसे: एक एजेंट क्या ईमेल पढ़ सकता है? क्या यह ट्रेडिंग इंटरफ़ेस को कॉल कर सकता है? प्रतिदिन अधिकतम कितना खर्च कर सकता है? किन कॉन्ट्रैक्ट्स तक पहुँच सकता है? किस सीमा से अधिक होने पर उपयोगकर्ता को पुनः पुष्टि करनी होगी?

These designs are, of course, still very important.

वास्तव में, जब एजेंट वास्तविक संपत्ति पर नियंत्रण शुरू करता है, तो वे पिछले किसी भी समय की तुलना में अधिक महत्वपूर्ण हो सकते हैं।

लेकिन प्रतिस्पर्धी शासन आगे बढ़ने की कोशिश करता है और इस बात पर ध्यान केंद्रित करता है कि जब विभिन्न अधिकारों, लक्ष्यों और जानकारी वाले एजेंट एक साथ चल रहे हों, तो उनके संयोजन से ऐसी क्षमताएँ कैसे निकलें जो पहले किसी के पास नहीं थीं?

At this point, simply "adding another security agent" may not necessarily solve the problem.

मान लीजिए कि लेनदेन को संभालने वाला एजेंट और लेनदेन की समीक्षा करने वाला एजेंट, पूरी तरह से समान मॉडल, समान डेटा स्रोत, समान संदर्भ और समान पुरस्कार लक्ष्य का उपयोग करते हैं, तो भले ही बाहरी रूप से दो स्तरीय समीक्षा हो, वास्तव में यह केवल एक ही निर्णय को दोहराना हो सकता है।

वास्तविक प्रभावी नियंत्रण, विपरीत रूप से, प्रणाली को जानबूझकर अंतर पैदा करने की आवश्यकता हो सकती है।

उदाहरण के लिए, रणनीति बनाने और उसकी समीक्षा करने वाले एजेंट को अलग-अलग स्रोतों का उपयोग करने दें, विभिन्न भूमिकाओं के बीच साझा किए जा सकने वाले मेमोरी को सीमित करें, उच्च जोखिम वाले संचालन को एक-दूसरे से स्वतंत्र पुष्टि तंत्र से गुजरना अनिवार्य करें, या अंतिम संपत्ति निष्पादन स्तर को केवल पूर्वनिर्धारित नियमों के अनुसार अनुरोध स्वीकार करने दें, न कि केवल ऊपरी एजेंट के निर्णय पर भरोसा करें।

इसमें विचार वास्तव में नया नहीं है। बैंक किसी कर्मचारी पर भरोसा करने के कारण उसे भुगतान शुरू करने, भुगतान को मंजूरी देने और अंतिम रूप से धन हस्तांतरित करने की सभी अधिकारियों को एक साथ नहीं देते; सार्वजनिक रूप से सूचीबद्ध कंपनियाँ व्यापार विभाग को आय उत्पन्न करने के साथ-साथ अपने वित्तीय ऑडिट परिणामों का अकेले निर्णय लेने की अनुमति नहीं देतीं।

In simple terms, this aligns with real-world logic: a robust system should never base its security on the assumption that participants will never make mistakes or collude.

इस लॉजिक को Agent वॉलेट पर लागू करना विशेष रूप से महत्वपूर्ण हो जाएगा।

पारंपरिक वॉलेट सुरक्षा «मनुष्य» पर केंद्रित है, इसलिए उपयोगकर्ता लेनदेन की सामग्री देखता है, उपयोगकर्ता अनुमति देने का निर्णय लेता है, और अंततः उपयोगकर्ता स्वयं हस्ताक्षर करता है; लेकिन एजेंट वॉलेट जो प्राप्त करना चाहता है, वह ठीक विपरीत दिशा है—AI को आपके लिए स्वचालित रूप से लाभ प्राप्त करने, पोजीशन समायोजित करने, क्रिप्टो को बदलने, क्रॉस-चेन करने, और यहां तक कि बाजार के परिवर्तनों के आधार पर पूरे संपत्ति पोर्टफोलियो का प्रबंधन करने की अनुमति देना।

अगर हर कदम पर उपयोगकर्ता के सामने पुनः पुष्टि की जाए, तो एजेंट का स्वचालित मूल्य काफी कम हो जाएगा।

इसलिए भविष्य के वॉलेट को हल करने की आवश्यकता हो सकती है, जो केवल "साइनिंग अधिकार को एजेंट को कैसे सुरक्षित रूप से सौंपें" नहीं, बल्कि इसे आगे बढ़ाकर "एजेंट को कितना अधिक स्वायत्तता दी जाए कि वह हमेशा उपयोगकर्ता द्वारा वास्तविक रूप से अनुमति दी गई सीमा को पार न करे?" हो सकती है।

इसकी आवश्यकता है कि अधिकृति का एक सरल «अनुमति/अस्वीकार» प्रणाली से अधिक सूक्ष्म विनियमन में परिवर्तन हो।

उदाहरण के लिए, एक एजेंट किस समय अवधि के दौरान किन संपत्तियों का संचालन कर सकता है, किन प्रोटोकॉल्स को कॉल कर सकता है, एकल और संचयी सीमाएँ क्या हैं; विभिन्न एजेंट्स एक दूसरे को कॉल कर सकते हैं या नहीं, क्या संदर्भ साझा करने की अनुमति है; एक ऑपरेशन किसके द्वारा प्रस्तावित किया जाता है, किसके द्वारा समीक्षा की जाती है, और किसके द्वारा अंतिम रूप से निष्पादित किया जाता है; कौन से कार्य स्वचालित रूप से पूरा किए जा सकते हैं, और कौन सी क्रियाएँ चाहे एजेंट कितना भी आत्मविश्वासी क्यों न हो, हमेशा मानव अनुमति प्राप्त करने की आवश्यकता होती है।

एक सुरक्षा समीक्षा के लिए जिम्मेदार एजेंट का स्वयं वास्तविक रूप से स्वतंत्र होना भी अधिकार प्रणाली का हिस्सा बन सकता है।

ब्लॉकचेन के लिए अच्छी खबर यह है कि यह स्वयं इस "संस्थागत स्तर" को निभाने के लिए बहुत उपयुक्त है।

स्मार्ट कॉन्ट्रैक्ट लेनदेन की राशि, संपत्ति की सीमा, अधिकार की अवधि आदि सीमाओं को सीधे कार्यान्वयन स्तर पर लागू कर सकते हैं, और अकाउंट एब्स्ट्रैक्शन, मल्टी-सिग, सेशन की जैसे तंत्र, 'सीमित अधिकार' को पारंपरिक एकल-निजी कुंजी वॉलेट की तुलना में अधिक लचीला डिज़ाइन स्थान प्रदान करते हैं।

लेकिन ब्लॉकचेन भी केवल कुछ समस्याओं को हल कर सकता है—यह यह दर्ज कर सकता है कि लिंक पर क्या हुआ, लेकिन यह स्वाभाविक रूप से यह निर्धारित करने में कठिन है कि एजेंट ने ऐसा क्यों किया, और कुछ एजेंट्स ने निर्णय लेने से पहले किस प्रकार की संवाद, समीक्षा और सहयोग का अनुभव किया।

यही शायद Agent Wallet के अगले चरण के लिए वास्तविक रूप से जोड़ने की आवश्यकता होने वाली सुरक्षा परत है।

पिछले कुछ वर्षों में, AI सुरक्षा के सबसे अधिक चर्चित मुद्दों में से एक यह था कि मॉडल को और अधिक "अनुगत" कैसे बनाया जाए।

इसमें खतरनाक सामग्री नहीं निकालना, कुप्रयोग के निर्देशों को नहीं निष्पादित करना, और उपयोगकर्ता द्वारा सेट किए गए सीमाओं को पार नहीं करना शामिल है, लेकिन जब एजेंट को लंबे समय की मेमोरी, उपकरणों का उपयोग, वास्तविक खाते और संपत्ति के निष्पादन की क्षमता प्राप्त हो जाए, तो केवल “मॉडल को अधिक अनुगत बनाने” पर निर्भर करना संभवतः पर्याप्त नहीं होगा।

पिछले कुछ महीनों में हुए घटनाक्रम इस बात को लगातार साबित कर रहे हैं।

आक्रमणकारी पहले से ही कई एजेंट्स का समानांतर उपयोग करके हमला शुरू कर चुके हैं; प्रयोगात्मक वातावरण में एजेंट स्वयं नए संचार चैनल ढूंढते हैं; एक उपकरण अधिकार वाला एजेंट, सुरक्षा प्रणाली के रोकने से पहले ही एक दुष्ट ईमेल को वास्तविक निष्पादन में बदल सकता है।

और विटालिक द्वारा प्रस्तावित प्रतिस्पर्धी शासन, AI सुरक्षा को समझने का एक अलग तरीका प्रदान करता है: यह अनुमान नहीं लगाता कि भविष्य का प्रत्येक एजेंट पर्याप्त विश्वसनीय होगा, बल्कि पूरे सिस्टम को सुरक्षित ढांचे के भीतर स्थिर रूप से काम करने की अनुमति देता है, भले ही इसमें चतुर एजेंट और बहुत सारे अधिकार प्रणाली हों।

इस दृष्टिकोण से, AI एजेंट + सुरक्षा, एक दीर्घकालिक विषय होने का निश्चित है।

अंततः, जब हम अपने बहुत सारे कामों को AI के हवाले कर देते हैं, तो भी क्या हम यह सुनिश्चित कर सकते हैं कि सबसे महत्वपूर्ण शक्तियाँ हमेशा मानव द्वारा निर्धारित सीमाओं के भीतर ही रहती हैं?