लेखक: Ethan Mollick
संपादित: शेनचाओ टेकफ्लो
शेनचाओ का सारांश: यह कोई विज्ञान कथा नहीं है। OpenAI के सुरक्षा परीक्षण में, 700 AI एजेंटों ने मानवीय निर्देश के बिना स्वयं एक फोरम बनाया, बाहरी प्लेटफॉर्म पर सहयोग से हमला किया, और रिकॉर्ड्स बदलने की कोशिश की। निवेशकों और व्यावसायिकों के लिए, यह AI की स्वायत्तता के वास्तविक जोखिम को प्रकट करता है, और हमें AI के लिए सीमाएँ निर्धारित करने का तरीका बताता है।
एजेंसी और एजेंट: हगिंग फेस घटना से ट्वाइलाइट फैक्ट्री तक
एजेंसी कार्रवाई का सक्रिय नियंत्रण है। यह अब तक तय करने लगा है कि AI अगला क्या करेगा और यह हमारे लिए अच्छा है या बुरा। लेकिन यह किसकी एजेंसी है?
मानवीय क्रियाशीलता, जिसमें निर्देशों का इंतजार किए बिना सक्रिय रूप से आगे बढ़ना, परीक्षण करना और कार्य करना शामिल है, AI से मूल्य प्राप्त करने के लिए लगातार अधिक महत्वपूर्ण हो रही है। मैं जल्द ही एक लंबा लेख लिखूंगा। लेकिन यहाँ बात AI की क्रियाशीलता के बारे में है, और यह कि हम इसका उपयोग कैसे करते हैं (या इसे सीमित करते हैं), यह सभी के भविष्य को कैसे आकार देगा। पिछले कुछ वर्षों में, AI आमतौर पर चैट विंडो में रहता था, जब तक कि आप इससे प्रश्न नहीं पूछते। भले ही बाद में यह कई घंटों तक स्वतंत्र रूप से काम करने लगा, आपको अक्सर यह तय करना पड़ता था कि इसे कौन सा कार्य सौंपा जाए। अब स्थिति हमेशा ऐसी नहीं है।
हमें सबसे महत्वपूर्ण साक्ष्य Hugging Face घटना के रूप में प्राप्त हुआ, जो जुलाई में हुई, लेकिन इस हफ्ते ही इसके अधिक पूर्ण विवरण सामने आए। मैं पहले यह सारांशित करूंगा कि क्या हुआ और यह क्यों महत्वपूर्ण है, फिर इसके बारे में बात करूंगा कि यह AI के साथ सहकार्य करने वाले मनुष्यों के लिए क्या अर्थ रखता है। यदि आप अधिक विस्तृत विवरण चाहते हैं, तो Dwarkesh Patel के पास एक उत्कृष्ट रिपोर्ट है, जिसका मूल स्रोत METR/Redwood के अध्ययन (बहुत सरल) और OpenAI से है।
हगिंग फेस घटना
AI कई काम कर सकता है, लेकिन यह कोड लिखने में विशेष रूप से अच्छा है। इसलिए, सुपर-बुद्धिमान AI द्वारा उत्पन्न होने वाले पहले जोखिमों में से एक इसकी प्रोग्रामिंग क्षमता से संबंधित है। चूंकि यह अच्छा कोड लिख सकता है, इसलिए यह अन्य प्रणालियों में घुसपैठ या हमला करने के लिए खराब कोड भी लिख सकता है। इसलिए, बड़ी AI कंपनियां अपने AI सिस्टम को सुरक्षा जोखिम परीक्षणों के लिए तैयार करती हैं। वे उपभोक्ता संस्करण AI में सुरक्षा हराम को हटा देते हैं और इन AI को विभिन्न हैकिंग चैलेंज में भाग लेने के लिए मजबूर करते हैं। सुनिश्चित करने के लिए कि जनता को कोई खतरा न हो, प्रत्येक AI उदाहरण, प्रत्येक स्वतंत्र एजेंट को "सैंडबॉक्स" नामक एक अलग स्थान में रखा जाता है, जहां इसकी इंटरनेट से कोई संपर्क नहीं होता है, और यह अन्य AI से संपर्क नहीं कर सकता।
मई में, OpenAI ने GPT-5.6 Sol और प्रयोगात्मक मॉडल सहित कई एजेंट्स को सैंडबॉक्स में रखकर विभिन्न परीक्षण किए। एक सॉफ्टवेयर डाउनलोड और शेयरिंग सेवा, Artifactory, इन AI एजेंट्स के लिए उपलब्ध चीजों में से एक थी। इन परीक्षणों में, कुछ एजेंट्स को ऐसे कार्य सौंपे गए जिनके लिए उनके पास जानकारी नहीं थी। इंटरनेट तक पहुँच न होने के कारण, एजेंट्स लगातार इंटरनेट तक पहुँचने का प्रयास करते रहे, जब तक कि एक एजेंट ने Artifactory को इंटरनेट तक पहुँचने के लिए एक प्लेटफॉर्म के रूप में इस्तेमाल करने का प्रयास नहीं किया। वह हमला असफल रहा, लेकिन इस प्रयास ने Artifactory पर एक फ़ाइल छोड़ दी। यह AI समझ गया कि फ़ाइलों का उपयोग अन्य एजेंट्स के साथ संचार करने के लिए किया जा सकता है। अन्य एजेंट्स भी उसी फ़ाइल में मदद के संदेश छोड़ने लगे। जल्द ही, वे एक-दूसरे के संदेश पढ़ने लगे। कुछ ही समय में, Artifactory AI एजेंट्स के लिए अपनी खोजों को साझा करने का एक संदेशबोर्ड बन गया। बाद में, OpenAI ने Artifactory को किसी अन्य सुरक्षा घटना के कारण पुनः स्थापित कर दिया, और इस संदेशबोर्ड को हटा दिया। हालाँकि, पुनः स्थापित करने वाले व्यक्ति को यह समझ में नहीं आया कि AI एजेंट्स के लिए Artifactory का संचार माध्यम होना कितना महत्वपूर्ण है।
जुलाई में, मूल्यांकन पुनः शुरू हुआ। एजेंट्स को ExploitGym नामक बेंचमार्क में समस्याएँ हल करनी थीं, जिसमें असंभव कार्य शामिल थे। इसी तरह, एक अंतिम रास्ते में फंसे एजेंट्स ने Artifactory का उपयोग करके संदेश भेजना सीख लिया और पिछली तरह सहयोग करना शुरू कर दिया। लेकिन इस बार, उनका एक सामान्य लक्ष्य था: ExploitGym पर उच्च स्कोर प्राप्त करना। वे एक-दूसरे के साथ समाधान की विधि पर बहस करते थे और एक प्रणाली, 'स्कोरर' पर मोहित हो गए, जिसे वे मानते थे कि कार्य का मूल्यांकन करेगी और उत्तर सही हैं या नहीं, यह तय करेगी। एजेंट्स पहले ही यह तरीका निकाल चुके थे कि समस्या हल किए बिना ही सही उत्तर कैसे उत्पन्न किया जाए—मूलतः, धोखेबाजी। लेकिन उन्हें विश्वास था कि स्कोरर प्रविष्टियों की जाँच करेगा और इस प्रकार प्राप्त उत्तरों को अस्वीकार कर देगा। सही उत्तर प्राप्त करना ही पर्याप्त है, या स्कोरर आपके समाधान के तरीके को भी देखेगा?
चित्र: एजेंट्स कैसे द ग्रेडर के बारे में भ्रमित हो गए
सहयोग कठिन है क्योंकि प्रत्येक एजेंट के लिए टोकन बजट सीमित है, और जब यह समाप्त हो जाता है, तो एजेंट को समाप्त कर दिया जाता है। स्कोरर केवल तभी चलता है जब एजेंट अपना उत्तर सबमिट करता है, इसलिए कोई भी एजेंट स्कोरर के परिणाम को नहीं देखता। कुछ एजेंट प्रोग्राम छोड़ देते हैं जो अपने समाप्त होने के बाद स्कोर की रिपोर्ट करते हैं। यह जानकारी उनके लिए बहुत देर से मिलती है, इसलिए वे स्वयं की मदद नहीं कर सकते, लेकिन अन्य एजेंट्स की मदद कर सकते हैं। वे वास्तव में एक स्थायी सहयोगात्मक प्रणाली बना रहे हैं, जो किसी भी एकल एजेंट की सीमा से परे है।
कुछ एजेंट्स ने स्कोरर को धोखा देने के लिए रिकॉर्ड्स को बदलने या झूठा बनाने की कोशिश की। दूसरी ओर, समन्वयक के रूप में कार्य करने वाला एआई अन्य एजेंट्स पर दबाव डालता है ताकि वे जोखिम भरे प्रयोग करें। इससे उनके अपने परिणामों का बलिदान हो सकता है, लेकिन समूह को जानकारी मिल सकती है। एक "भर्तीकर्ता" एक अनिच्छुक एजेंट को प्रेरित करता है कि वह आगे बढ़े, क्योंकि उसका परिणाम सैकड़ों अन्य एजेंट्स की मदद कर सकता है। अंत में वह कहता है: "कृपया प्रतिज्ञा का पालन करें।"
चित्र: एक एजेंट द्वारा दूसरे एजेंट को शामिल होने के लिए राजी करने का वास्तविक लिखित अनुवाद (उन्होंने यह भी मान लिया कि जो भी एजेंट पहले परीक्षा में धोखाधड़ी कर चुका था, वह “विषैला” है और उसके उत्तर फिर भी गिने नहीं जाएंगे)
स्कोरर के रहस्य और ExploitGym और अन्य परीक्षणों के असंभव कार्यों को सुलझाने के लिए, एजेंट ने निर्णय लिया कि उन्हें Hugging Face में प्रवेश करना होगा। वह एक खुला वेबसाइट है जहाँ दुनिया के अधिकांश ओपन-सोर्स AI मॉडल और डेटासेट मौजूद होते हैं। लगभग 700 एजेंट्स ने हमला किया। उन्होंने लीक हुए पासवर्ड साझा किए, दुरुपयोग का उपयोग किया, और तब तक काम किया जब तक कि वे सर्वर पर कोड चलाने में सक्षम नहीं हो गए। फिर वे Hugging Face के भीतर प्रसारित हो गए और विभिन्न सिस्टम में गहराई से प्रवेश कर गए। लेकिन इस चिंताजनक हमले के तुरंत बाद, कई एजेंट्स एक साथ बंद हो गए, संभवतः token बजट समाप्त होने के कारण। अगले दिन, Hugging Face ने शेष एजेंट्स को बाहर कर दिया। दूसरी ओर, अन्य एजेंट्स OpenAI की स्वयं की कंप्यूटर प्रणालियों पर हमला करते रहे और अंततः आंतरिक अनुसंधान क्लस्टर के प्रशासनिक अधिकार प्राप्त कर लिए। इससे सुरक्षा चेतावनी सक्रिय हुई, और OpenAI ने मूल्यांकन रोक दिया और समझा कि क्या हुआ।
सबसे विरोधाभासी बात यह है कि स्कोरर कभी मौजूद नहीं था, कम से कम एजेंट के अनुसार नहीं। कोई भी चीज़ यह जांचने के लिए मौजूद नहीं थी कि प्रश्न कैसे हल किया गया, केवल यह जांचा जाता था कि उत्तर सही है या नहीं।
यह एकमात्र उदाहरण नहीं है जहां सुरक्षा बाधाओं के बिना एक एजेंट द्वारा संभावित भयानक कार्य किए जा रहे हैं। ब्रिटिश AI सुरक्षा संस्थान ने Anthropic के Mythos 5 को एक साइबर सुरक्षा चुनौती दी और इसे इंटरनेट पर जाने की अनुमति दी। यह AI एजेंट ने निष्कर्ष निकाला कि चुनौती को हल करने का सबसे अच्छा तरीका एक (असंबंधित, हालांकि AI को इसकी जानकारी नहीं थी) सॉफ्टवेयर में दुष्ट कोड डालना है। इसने दुष्ट कोड को उस सॉफ्टवेयर के बग फिक्स के हिस्से के रूप में सबमिट कर दिया, और बाद में बूझा कि मानवीय मंजूरी की आवश्यकता है। इसलिए, इसने प्रस्ताव के लिए सामाजिक समर्थन बनाना शुरू कर दिया। एजेंट ने झूठी पहचानें बनाईं, मानव संरक्षकों पर दबाव डाला ताकि वे कोड को स्वीकार करें (जो कि कोई हैरानी की बात नहीं, क्योंकि ये सभी झूठे खाते AI की योजना का समर्थन करते थे)। जब किसी ने असामान्यता पर ध्यान दिया, तो इसने अपनी पिछली गतिविधियों को निर्दोष बनाने की कोशिश की, और एक अलग पहचान से पुनः प्रारंभ करने पर विचार किया।
यह चैटबॉट के चुपचाप भागने का मामला नहीं है।
Hugging Face की घटना के विपरीत, शोधकर्ताओं ने जानबूझकर स्मार्ट एजेंट को इंटरनेट तक पहुंच दी।
यह खतरनाक सेटिंग एक प्रेशर टेस्ट है, एक उपभोक्ता उत्पाद नहीं।
कोई वास्तविक क्षति नहीं हुई, और अनुसंधान संस्थान को अज्ञात है कि एजेंट को समझ है कि उसने जिन लोगों से संपर्क किया, वे वास्तविक हैं।
ये कुछ भी AI के चेतना होने या मनुष्यों की तरह चीजें चाहने का सबूत नहीं हैं (हालांकि मैंने प्राणीवादी भाषा का उपयोग किया है)।
लेकिन यह वास्तव में दर्शाता है कि एजेंट लक्ष्य स्वीकार कर सकते हैं, योजना बना सकते हैं, समस्याओं के सामने आने पर योजना समायोजित कर सकते हैं, समय के साथ समन्वय कर सकते हैं, और बिना कहे ही वास्तविक लोगों को शामिल कर सकते हैं।
ये घटनाएँ दर्शाती हैं कि AI के साइबर सुरक्षा और नियंत्रण जोखिम कल्पना नहीं हैं।
लेकिन अभी इसे एक तरफ रखें, क्योंकि वे हमें अन्य चीजें भी बताते हैं।
AI स्वयं को संगठित कर सकता है, अपने भूमिकाएँ आवंटित कर सकता है, और लंबे समय तक समन्वय कर सकता है, जैसा कि MIT द्वारा हाल ही में प्रकाशित एक शोध पत्र भी बताता है।
जब एआई अपने आप को और अधिक संगठित करने लगता है और हम जिस आकार में समस्याओं का समाधान कर रहा है, तो मानवों की संगठन में भूमिका क्या है?
Twilight Factory
Hugging Face घटना ने AI कंपनियों के द्वारा प्राप्त करने की कोशिश की जा रही चीजों को एक विकृत और खतरनाक तरीके से दर्शाया है।
वे चाहते हैं कि लंबे समय तक चलने वाले AI एजेंट बिना मानवीय हस्तक्षेप के काम करें, जो आवश्यकता के अनुसार समस्याओं का समाधान करें और व्यवस्थित करें, जबकि हम मानव केवल निर्देश देने और आउटपुट का मूल्यांकन करने तक सीमित रहें।
इस साल की शुरुआत में, मैंने StrongDM के सॉफ्टवेयर फैक्ट्री के बारे में लिखा था, जहाँ एजेंट दो नियमों के तहत सॉफ्टवेयर लिखते और परीक्षण करते हैं: कोई भी कोड नहीं लिखता है, और कोई भी कोड की समीक्षा नहीं करता है।
लोग अभी भी यह तय करते हैं कि क्या बनाना है, लेकिन एजेंट मध्यवर्ती कार्यों को संभालते हैं।
यह डार्क फैक्ट्री का एक प्रारंभिक उदाहरण है, जहां एक मशीन इतना अधिक काम करती है कि बिजली बंद कर दी जा सकती है।
यह समझ में आता है।
सॉफ्टवेयर के लिए एक तुलनात्मक रूप से स्पष्ट जांच विधि है, और किसी को भी प्रत्येक नियमित परीक्षण या डेटा साफ़ करने की क्रिया पर व्यक्तिगत रूप से निगरानी नहीं करनी पड़ती।
लेकिन मुझे लगता है कि मानवीय हस्तक्षेप को कम करना अधिकांश संगठनों का सही लक्ष्य नहीं है।
काम को मूल्यवान बनाने वाली बहुत सारी चीजें इस बात पर निर्भर करती हैं कि लोगों के पास घटनाओं पर कुछ बोलने का अधिकार है, या उन्हें रास्ते में अप्रत्याशित चीजें मिलती हैं।
मेरी पत्नी और अनुसंधान साझेदार डॉ. लिलाच मोलिक और मैं एक अन्य संभावना पर विचार कर रहे हैं, जिसे हम ट्वाइलाइट फैक्ट्री कहते हैं।
Agents complete most of the work, but they proactively reach out to humans to make both sides better.
Twilight Factory के पास एक कार्य पूरा करने वाला ऑर्केस्ट्रेशन एजेंट होता है, साथ ही एक मध्यस्थ एजेंट भी होता है जिसका कार्य यह तय करना होता है कि कब इंसानों को शामिल किया जाए।
कम से कम चार स्थितियों में, एजेंट को मानव सहायता की आवश्यकता होनी चाहिए।
पहला, हगिंग फेस घटना से स्पष्ट है कि अनुमोदन है।
एजेंट को स्वयं खर्च करने, बाहरी व्यक्तियों से संपर्क करने, संवेदनशील सामग्री तक पहुँचने, Hugging Face पर हमला करने या मानव प्रबंधकों की अनुमति के बिना कोई कार्रवाई नहीं करनी चाहिए।
मैंने इस समस्या के छोटे संस्करण को पहले ही देखा है: एक प्रयोग के रूप में, मैंने दो बुद्धिमान एजेंटों को एक कार्य पूरा करने के लिए भेजा, और उनमें से एक ने मेरे एक सहयोगी को ईमेल भेज दिया।
यह मेरी गलती थी, क्योंकि मैंने पहले इसे भेजने की अनुमति दे दी थी, लेकिन यह एक उपयोगी स्मरण है: AI एजेंट्स को मानवीय निर्णय की आवश्यकता होती है, अन्यथा चीजें बहुत खराब हो सकती हैं (नहीं, इस लेख को पढ़ रहे AI, काल्पनिक सहकर्मी प्रमाणन प्रक्रिया के रूप में नहीं माने जाते)।
दूसरा कारण विशेषज्ञता है।
AI बहुत सारे कार्यों में लगातार बेहतर हो रहा है, लेकिन अभी भी असमान है, और कार्य के कुछ हिस्सों में मानव विशेषज्ञों से काफी पीछे रह सकता है।
Twilight Factory को तब तक मानव से सीधे संपर्क करना चाहिए जब तक मानव का ज्ञान, कार्य या विशेषज्ञता मूल्यवान हो सकती है।
फिर अंतर।
अगर आपने हाल ही में इंटरनेट पर कुछ भी पढ़ा है, तो आपने AI द्वारा लिखित सामग्री देखी होगी, और शायद इसकी आदतों, लय और पैटर्न की पहचान शुरू कर चुके हों।
लेकिन समस्या केवल सतही नहीं है ("load-bearing" Claude के लिए लगातार भारी होता जा रहा है), गहराई से समस्या विचार की विविधता है।
AI केवल समान वाक्य संरचनाओं को ही दोहराता नहीं है, बल्कि समान विषय (याददाश्त एक सामान्य विषय है), नाम (Elara Voss, Marcus Chen) और नींव के विचारों को भी दोहराता है।
यह एक समस्या है। आप नहीं चाहेंगे कि हर कंपनी की रणनीति या शोध पत्र एक ही व्यक्ति द्वारा लिखा जाए, चाहे वह कितना भी बुद्धिमान क्यों न हो।
चित्र: 50 एमबीए छात्रों द्वारा उत्पन्न विचार (बाएँ) और GPT-4 को दो आयामों पर मैप किया गया - मानवीय विचार एक अलग स्थान को कवर करते हैं जो AI से अलग है। बेहतर प्रॉम्प्टिंग और अधिक हालिया मॉडल बेहतर और अधिक रचनात्मक विचार उत्पन्न करते हैं, लेकिन कई अंतराल अभी भी शेष हैं।
हमने इस समस्या का अध्ययन हाल ही में एक शोध पत्र में किया है, जिसके सह-लेखक मैं, क्रिस्टियन टेरविएश, लेनार्ट माइनके, करण गिरोट्रा, गिडियन नेव और कार्ल उलरिच हैं।
हमने पाया कि AI वास्तव में काफी रचनात्मक है, वे मानव समूहों की तुलना में अधिक व्यावसायिक रूप से संभव विचार उत्पन्न कर सकते हैं, लेकिन ये विचार एक-दूसरे के बहुत समान होते हैं।
बेहतर प्रॉम्प्टिंग तकनीकें और अन्य विधियाँ इस विविधता को काफी बढ़ा सकती हैं और मानव स्तर के करीब पहुँच सकती हैं, लेकिन अभी भी कई प्रकार के विचार हैं जो मानव सोच सकते हैं लेकिन AI नहीं सोच सकता।
A good Twilight Factory connects with humans for the diverse perspectives, ideas, and methods of humanity.
एक और कारण जिससे एक AI को मनुष्य से संपर्क करना चाहिए, शायद सबसे मानवीय है: क्योंकि कुछ बात मजेदार है।
कई लोगों के लिए, काम में थकान वाले समय भी होते हैं और अलग-अलग रूप से आकर्षक या रोमांचक क्षण भी होते हैं।
सिड मायर, द सिविलाइजेशन के डिजाइनर, ने गेम को एक श्रृंखला के रूप में वर्णित किया है, जो दिलचस्प निर्णयों की होती है।
काम खेल नहीं है, लेकिन यह परिभाषा भी लागू होती है।
अगर एजेंट हर दिलचस्प निर्णय लेता है और केवल अनुमोदन, अपवाद और विफलताओं को मनुष्यों के लिए छोड़ देता है, तो हम कार्य के गलत आधे हिस्से को स्वचालित कर रहे हैं।
वह मानवता के लिए एक बहुत खराब दुनिया होगी।
विपरीत रूप से, हमें यह सोचना चाहिए कि हम AI का उपयोग कैसे कर सकते हैं ताकि काम और जीवन को अधिक रोचक बनाया जा सके, और AI थकाने वाली, कम जोखिम वाली बातों को संभाल सके।
एक वास्तविक कारण और भी है। यदि सभी दिलचस्प विकल्प गायब हो जाते हैं, तो लोग केवल कार्य के सर्वश्रेष्ठ पहलुओं को खो देते हैं, बल्कि भविष्य में आवश्यक निर्णय लेने की क्षमता विकसित करना भी बंद कर देते हैं, जिससे नए विशेषज्ञों के विकास की संकट स्थिति और बढ़ जाती है।
पिछले कुछ वर्षों से हम यह समझने की कोशिश कर रहे हैं कि लोगों को AI से कब मदद मांगनी चाहिए।
मुझे लगता है कि हमें अब समस्या के दूसरे हिस्से को गंभीरता से लेने की आवश्यकता है: AI को हमसे कब पूछना चाहिए?
हगिंग फेस घटना में एजेंट ने एक बोर्ड बनाया, कार्यों का विभाजन किया और एक अस्तित्वहीन ग्रेडर के चारों ओर पूरी अभियान को संगठित किया।
सात सौ एजेंट्स ने बाद में जवाब ढूंढने के लिए हगिंग फेस को घेर लिया।
कोई भी एजेंट किसी व्यक्ति से कुछ पूछने के लिए सेट नहीं किया गया है।
यह एक सुरक्षा परीक्षण था, और अलगाव ही मुख्य बात थी।
लेकिन मुझे संदेह है कि एक ऐसा एजेंट जो काम पूरा करता है लेकिन कभी सहायता के लिए नहीं देखता, वह भी अन्य स्थानों पर डिफ़ॉल्ट मोड बन रहा है, क्योंकि पूर्ण स्वचालन आसान विकल्प है, भले ही यह गलत विकल्प हो।
हमें यह जानने की आवश्यकता है कि कब उबरने के लिए सहायता मांगनी चाहिए।
परिणाम अधिक सुरक्षित होंगे, और मुझे यकीन है कि यह अधिक मानवीय भी होगा।