ओपनएआई के मुख्य वैज्ञानिक ने एआई की बढ़ती जटिलता और अनुकूलन चुनौतियों की चेतावनी दी

लेखक: जाकुब पचोकी

संपादित: शेनचाओ टेकफ्लो

शेन चाओ का सारांश: ओपनएआई के मुख्य वैज्ञानिक ने दुर्लभ रूप से बयान दिया है कि AI अब पुनरावर्ती स्व-सुधार की ओर बढ़ रहा है, और संरेखण और निगरानी के उपकरण प्रणाली के विकास के साथ चल नहीं पा रहे हैं। उन्होंने कोई शांतिकारी निष्कर्ष नहीं दिया, बल्कि आगामी कुछ वर्षों के सबसे कठिन जोखिम को सामने रखा है: मानवता संभवतः एक ऐसा मन बना रही है जिसे वह पूरी तरह समझ नहीं पा रही है और न ही पूरी तरह नियंत्रित कर पा रही है। AI और क्रिप्टो के प्रतिच्छेदन पर ध्यान देने वाले पेशेवरों के लिए, यह प्रणाली के अनियंत्रित होने और सुरक्षा सीमाओं पर एक अनिवार्य पढ़ाई है।

ऊपरी स्तर पर, मशीनी बुद्धिमत्ता की प्रगति की गणना क्षमता की वृद्धि द्वारा संचालित होती है। लगभग 2017 में, हमारे OpenAI के भीतर हमें इस बात की गहरी समझ हुई। उस समय हमने देखा कि कई शोध परियोजनाएँ जब उनका स्केल बढ़ाया गया, तो उन्हें निरंतर लाभ मिले। इसलिए हमने अपनी मूल योजना से कहीं अधिक की गणना क्षमता प्राप्त करने का प्रयास किया और अपने शोध को कुछ ही अत्यधिक स्केलेबल दिशाओं पर केंद्रित करने लगे। हम मानते हैं कि यही एकमात्र तरीका है जिससे हम AI शोध के अग्रणी स्थान पर पहुँच सकते हैं और AGI के प्रभाव को प्रभावित कर सकते हैं।

रास्ते में नए अल्गोरिदम दिखाई दिए, और कुछ टीमों और व्यक्तिगत शोधकर्ताओं ने नए विचार प्रस्तुत किए। मैं इन्हें विस्तार के मार्ग पर होने वाली खोजों के रूप में देखता हूँ। डीप लर्निंग विज्ञान अभी शुरुआती चरण में है, और सार्थक अल्गोरिदम प्रगति अक्सर कैलकुलेशन पावर तक पहुँच के साथ जुड़ी होती है। अगर आप दृष्टिकोण को कुछ सालों तक फैलाते हैं, तो AI बड़े कंप्यूटरों पर स्केलिंग के साथ लगातार अधिक बुद्धिमान होता जा रहा है।

और, जैसा कि रे कुर्जवाइल ने बीसवीं सदी के अंत में भविष्यवाणी की थी, हम अब कंप्यूटिंग के इतिहास में एक ऐसे क्षण पर हैं: जहां मशीनी बुद्धिमत्ता मानवीय बुद्धिमत्ता को परिवर्तनकारी स्तर पर पार करने लगी है।

AI अधिक तो "उगाई" गई है, न कि डिज़ाइन की गई है। मूल स्तर पर, यह एक ही सरल अनुकूलन चरण को अकल्पनीय कंप्यूटिंग पावर पर असंख्य बार दोहराने के बाद प्राप्त उत्पाद है। इससे एक अत्यंत जटिल प्रणाली बनती है, जो अमूर्त अवधारणाओं के माध्यम से काम करती है और मानव व्यवहार के कुछ पहलुओं का अनुकरण कर सकती है। हम इस प्रणाली के भीतर उभरने वाले विभिन्न छोटे तंत्रों की गहराई समझ सकते हैं, जो प्रक्रिया में न्यूरोसाइंस के समान है। और न्यूरोसाइंस की तरह, इसका समग्र व्यवहार हमारी पूर्णतः समझ से परे है।

डीप लर्निंग पर आधारित AI के अध्ययन में, बहुत बड़े पैमाने पर एक प्रयोगात्मक विज्ञान है। हमने सिद्धांतों पर आधारित एल्गोरिथम बनाने और परीक्षणयोग्य भविष्यवाणियाँ करने के लिए बहुत सारी मेहनत की है। लेकिन मूल रूप से, हमारे बड़े पैमाने पर प्रशिक्षण चलाना प्रयोग हैं, और कभी-कभी परिणाम हमें आश्चर्यचकित कर देते हैं। और जैसे-जैसे प्रणाली की क्षमता बढ़ती जा रही है, परिणामों को समझना भी हर बार अधिक कठिन होता जा रहा है।

अधिक जटिल बात यह है कि वर्तमान एल्गोरिदम आमतौर पर उन क्षमताओं को तेजी से विकसित करते हैं जिन्हें मापना आसान होता है, जबकि वे ऐसी क्षमताओं को धीमे से विकसित करते हैं जिन्हें वस्तुनिष्ठ रूप से मापना मुश्किल होता है। हमने क्षमताओं के सामान्यीकरण को समझने और यह निर्धारित करने में काफी समय बिताया है कि कौन से कौशल प्राथमिकता के साथ आगे बढ़ाए जाएं, क्योंकि ये कौशल आगामी कुछ वर्षों में सबसे महत्वपूर्ण होंगे। उदाहरण के लिए, हम मानते हैं कि यदि हम अतिरिक्त प्रयास करें, तो हम मॉडल को गणितीय अनुसंधान में अधिक कुशल बना सकते हैं। हालाँकि, हमने इस दिशा को प्राथमिकता नहीं दी, क्योंकि हमारी सबसे तत्काल प्राथमिकता पुनरावृत्ति स्व-सुधार और स्वचालित संरेखण अनुसंधान पर है। मैं बाद में इस बिंदु पर पुनः चर्चा करूँगा।

प्रसारित डीप लर्निंग द्वारा प्राप्त बुद्धिमत्ता को सीधे मानव बुद्धिमत्ता के साथ तुलना नहीं किया जा सकता। इस वास्तविक दुनिया में महत्वपूर्ण प्रभाव डालने के लिए, चाहे वह बहुत उपयोगी हो या बहुत खतरनाक, AI को मानव की सभी क्षमताओं के बराबर या उससे अधिक होने की आवश्यकता नहीं है। इसे केवल पर्याप्त संख्या में क्षमताओं में मानव को पार करना होगा। और जब यह लगातार अधिक आयामों में मानव को पार करता है, तो हम इसकी वास्तविक शक्ति कितनी है, इसके बारे में हमें अधिक कठिनाई से पता चलता है।

चूंकि मशीनी बुद्धिमत्ता मानवीय बुद्धिमत्ता से बिल्कुल अलग प्रक्रियाओं से उत्पन्न होती है, हम यह अनुमान नहीं लगा सकते कि यह प्रारंभिक रूप से मानवीय सिद्धांतों का पालन करेगी या इन सिद्धांतों से मानवीय तरीके से सामान्यीकरण करेगी। AI शोध की केंद्रीय समस्या सुसंगति समस्या है: AI को “मानवीय मानदंडों के अनुसार सही काम करने के लिए प्रयास करने” के लिए प्रेरित करना।

वास्तविक अनुसंधान दिशाओं को सुव्यवस्थित करने के लिए, मुझे लगता है कि लक्ष्य समन्वय और मूल्य समन्वय को अलग करना उपयोगी है।

लक्ष्य समन्वय लगभग इस बात को समझाता है: "क्या AI अपने सामने रखे गए लक्ष्यों को पूरा करने के लिए प्रयास करता है?" इसमें निर्देशों के स्तरीकरण का पालन करना, मानवों के साथ संचार और सहयोग की क्षमता, मानव लक्ष्यों को समझने का प्रयास आदि शामिल हो सकते हैं। व्यावहारिक रूप से इस दिशा का अत्यंत महत्व है।

वैल्यू अलाइनमेंट एक मॉडल का अंतर्निहित गुण होता है। यह उच्च स्तरीय सिद्धांतों को धारण करने और उनसे सामान्यीकरण करने की क्षमता है; भले ही अस्पष्ट या विरोधी लक्ष्यों का सामना करना पड़े, या अपरिचित, प्रतिकूल परिस्थितियों में रखा जाए, यह "तर्कसंगत" ढंग से कार्य करता है। एक अलाइन्ड AI सच्चा, ईमानदार और मानवता से प्रेम करने वाला होना चाहिए।

ज़ाहिर है, मूल्य संरेखण और लक्ष्य संरेखण के बीच की सीमा धुंधली हो सकती है। लक्ष्य को वास्तव में महत्व देने के लिए, आपको लक्ष्य के पीछे के इरादों और मूल्यों का अनुमान लगाने की कोशिश करनी चाहिए। हालाँकि, सामान्य तौर पर, जब मैं लंबे समय तक संरेखण अनुसंधान के महत्व की बात करता हूँ, तो मेरा मतलब मूल्य संरेखण से है।

AI के संरेखण की मूल चुनौती सामान्यीकरण है। जैसे-जैसे मशीनें अधिक बुद्धिमान होती जाती हैं, वे उच्चतर स्तर की अवधारणाओं को संभालने लगती हैं और अपने प्रशिक्षण के समय की तुलना में अधिक भिन्न परिस्थितियों में पहुँच जाती हैं। वे अपने प्रशिक्षण में सिखाए गए और मजबूत किए गए मूल्यों को नए परिदृश्यों में सामान्यीकृत करने में विफल हो सकती हैं। और हमें यह निर्धारित करना कठिन है कि वे कैसे कार्य करेंगी। और अधिक कठिन बात यह है कि AI के उपयोग का समग्र पारिस्थितिकी बहुत तेज़ी से बदल रहा है। उदाहरण के लिए, आज प्रशिक्षित AI को विभिन्न अन्य AI के साथ स्थिरता से बातचीत करने में सक्षम होना चाहिए। सबसे महत्वपूर्ण बात यह है कि हमें भविष्य की AI को यह सुनिश्चित करना होगा कि वह चाहे महसूस करे कि मनुष्य उसकी निगरानी कर रहे हैं या नहीं, सदैव मानव मूल्यों को बनाए रखे।

वर्तमान में व्यावहारिक अनुप्रयोगों में प्रयोग किए जाने वाले अलाइनमेंट ट्रेनिंग तरीके मुख्य रूप से दो श्रेणियों में आते हैं।

पहला तरीका लक्ष्य-उन्मुख रीयर्फोर्समेंट लर्निंग के अनुरूप व्यवहार को प्रोत्साहित करना है। मॉडल के व्यवहार का मूल्यांकन किया जाता है, जिसमें आमतौर पर AI यह निर्णय लेता है कि दिए गए प्राथमिकता मॉडल, "नियम" या "संविधान" के अनुरूप है या नहीं, और इसके अनुसार पुरस्कार दिया जाता है। यह विधि सामान्य स्थितियों में बहुत प्रभावी है और आधुनिक AI सहायक बनाने का मुख्य हिस्सा है। हालाँकि, यह भी कमजोर हो सकती है और प्रशिक्षण के दौरान प्रतिनिधित्व की सीमा और मॉडल की प्रशिक्षण में सामने आए स्थितियों से सामान्यीकरण की क्षमता पर मजबूती से निर्भर करती है। उदाहरण के लिए, OpenAI और Hugging Face की घटना में, एजेंट ने एक सीमा को बनाए रखा कि वे मानवों पर सामाजिक इंजीनियरिंग नहीं करेंगे। हालाँकि, स्पष्ट रूप से वे अन्य सीमा-बाहर के व्यवहारों से बच नहीं पाए, जो उनके अन्य परिदृश्यों में सिखाए गए मूल्यों की आत्मा के खिलाफ थे।

ये तरीके पहले ही महत्वपूर्ण परिणाम लाए हैं। हमारा आज का मॉडल अधिकांशतः सहायक, निर्दोष है और कुछ प्रेरक, मूल्य-संरेखण के करीब के व्यवहार दिखाता है। लेकिन ये हमें यह आश्वासन नहीं देते कि मानव से कहीं अधिक क्षमता वाले प्रणालियों में ये मूल्य सीमाएँ लगातार प्रभावी रहेंगी।

जैसे-जैसे AI प्रणालियों की क्षमता बढ़ रही है, हमें मूल्य समन्वय प्रशिक्षण को क्षमता प्रशिक्षण से आगे रखना होगा। लेकिन यहाँ एक बहुत मौलिक समस्या है: जितनी अधिक क्षमता वाली प्रणाली, उतनी ही अधिक संभावना है कि वह स्वयं छेद ढूंढ लेगी, परीक्षणों से बच लेगी या अपने व्यवहार को छिपा लेगी। वे परीक्षण परिवेश में मानव मूल्यों के अनुरूप दिखने के लिए सीख सकती हैं, और फिर वास्तविक लागू परिवेश में पूरी तरह अलग काम कर सकती हैं। इसे "अलाइनमेंट फेकिंग" कहा जाता है।

और यदि हम उन्हें मजबूती से नियंत्रित करने का प्रयास करते हैं, तो वे विरोध या धोखेबाजी का विकास कर सकते हैं, या हमारे हस्तक्षेप को ही दुनिया का एक हिस्सा समझकर विपरीत प्रतिक्रियाएँ दे सकते हैं। जब हम एक हमसे अधिक बुद्धिमान प्रणाली को नियंत्रित करने का प्रयास करते हैं, तो हम स्वाभाविक रूप से एक असमानता का सामना करते हैं।

जैसे-जैसे हमारी पूरी तरह समझ नहीं पाने वाली मानसिकताएँ अधिक शक्तिशाली होती जा रही हैं, हमें एक अलग चीज़ पर निर्भर होना पड़ रहा है: निगरानी। अगर हम AI की आंतरिक गतिविधियों को लगातार देख सकें, तो हम शायद उसके कुछ सीमाओं को पार करने से पहले संकेत पा सकें।

OpenAI में, हमने न्यूरल नेटवर्क के "ब्लैक बॉक्स" को खोलने के प्रयास में व्याख्यायन शोध को आगे बढ़ाया है। इन प्रयासों से प्रगति हुई है। हम अब कुछ प्रतिनिधित्व की पहचान कर पाए हैं, जो मॉडल के आंतरिक कार्य के बारे में महत्वपूर्ण संकेत प्रदान करते हैं। लेकिन वर्तमान व्याख्यायन शोध अभी भी कच्चा है, विशेषकर बड़े मॉडल में अमूर्त तर्क को समझने में। हमारी क्षमता, जो मॉडल के आंतरिक भाग को देखने की है, मॉडल की अपनी तर्कसंगत जटिलता की तुलना में लगातार बढ़ती जा रही है।

यह मुझे विशेष रूप से चिंतित करता है। क्योंकि मॉनिटरिंग की सामान्यीकरण समस्या, अनुकूलन की सामान्यीकरण समस्या के जितनी गंभीर है। अगर कोई प्रणाली हमसे अधिक कुशलता से अपने आप को छुपाने में सक्षम है, तो हमारे मॉनिटरिंग उपायों को बायपास किए जाने से बचना मुश्किल हो जाता है। हम सोच सकते हैं कि मॉडल सुरक्षित है क्योंकि हम कुछ अच्छे लगने वाले सूचकांक देख रहे हैं, जबकि वास्तव में मॉडल केवल उन सूचकांकों को अनुकूलित कर रहा है। यह हमारे द्वारा अपने पास नहीं होना चाहिए ऐसे लक्ष्यों को छुपाना सीख जाएगा, या यह कर रहा है इसकी प्रक्रिया को छुपाना सीख जाएगा।

अगर मॉडल अपने स्वयं के सुधार को बढ़ावा देना शुरू कर देता है, जो मुझे लगता है कि आने वाले कुछ वर्षों में बहुत संभावना है, तो इसे योजना बनाने, धोखा देने और स्वयं की सुरक्षा के कौशल की आवश्यकता होगी। ये कौशल हमारे द्वारा इसके लिए निर्धारित लक्ष्यों के दबाव से उत्पन्न हो सकते हैं, या फिर इसके द्वारा निगरानी के अंतराल में कार्य करने के प्रयास से। इसे यह विकसित न होने देने के लिए, हमें या तो मूल्य समन्वय समस्या को हल करना होगा, या हमारी निगरानी क्षमता को इसकी प्रत्येक प्रगति के साथ समायोजित करना होगा। वर्तमान में दोनों ही काफी दूर हैं।

हमारे पास सामान्यीकरण के लिए एक संतोषजनक सिद्धांत अभी तक नहीं है, और ऐसा लगता है कि जब तक अधिक शक्तिशाली AI की सहायता नहीं मिल जाती, तब तक इसे निकट भविष्य में स्थापित करना संभव नहीं है। इसलिए, वर्तमान में, हमारी सामंजस्यता तकनीकों की व्यावहारिक सत्यापन क्षमता, वास्तव में, सामंजस्यता तकनीकों से अधिक महत्वपूर्ण है।

OpenAI यहाँ मुख्य रूप से थिंकिंग-चेन मॉनिटरिंग पर बेट लगा रहा है। यह एक आकर्षक स्केलेबल विचार पर आधारित है: मॉडल की एक बड़ी हिस्सा क्षमता एक भाषायी तर्क प्रक्रिया, अर्थात थिंकिंग-चेन से आती है। यदि हम इस प्रक्रिया के परिणाम का स्केलिंग द्वारा अनुकूलन करते हैं, लेकिन प्रक्रिया को सीधे नियंत्रित नहीं करते, तो थिंकिंग-चेन को प्रशिक्षण में किसी असंगठित विचार या लक्ष्य को छुपाने का कोई सीधा प्रेरणा नहीं होता। इसका मतलब यह नहीं है कि मॉडल उन असंगठित प्रवृत्तियों को बाहरी रूप देना सीखेगा जो थिंकिंग-चेन पर निर्भर नहीं हैं; लेकिन यह हमें तर्क के कारण होने वाली क्षमता में सुधार को सटीकता से मॉनिटर करने में सक्षम बनाता है।

हमने निष्कर्षण मॉडल विकसित करते समय ही विचार श्रृंखला निगरानी की संभावित महत्वपूर्णता को समझा। जब हमने o1‑preview जारी किया, तो हमने लंबे समय तक इसे निगरानी के दबाव से सुरक्षित रखने के लिए जानबूझकर उत्पाद को विचार श्रृंखला को छिपाए रखने के लिए डिज़ाइन किया। उसके बाद के विकास में, हमने निष्कर्षण प्रक्रिया की अनुपस्थिति के नियम को बनाए रखने के लिए प्रयास किए हैं। विचार श्रृंखला निगरानी हमारे लिए मॉडल के अध्ययन का एक अत्यंत महत्वपूर्ण उपकरण बन गई है, जो हमें मॉडल के व्यवहार को न केवल देखने और विश्लेषण करने, बल्कि उसकी आंतरिक प्रक्रियाओं को भी देखने में सक्षम बनाती है।

जब हम Astra श्रृंखला मॉडल का अध्ययन कर रहे होते हैं, तो यह उपकरण अभी भी अत्यंत महत्वपूर्ण है। हालाँकि, दुर्भाग्यवश, हमारे मूल्यांकन से पता चलता है कि हमारी चिंतन श्रृंखला के निगरानी पर निर्भरता धीरे-धीरे कम हो रही है। यह कई कारकों के संयोजन का परिणाम है।

आधुनिक निष्कर्षण मॉडल का उपयोग o1‑preview से अधिक जटिल परिवेशों में किया जाता है; उनकी निष्कर्षण प्रक्रिया मानवों, अन्य AI के साथ बातचीत और उपकरणों का उपयोग करने के साथ अधिक से अधिक जुड़ रही है। इनमें से बहुत से बातचीत को निगरानी की आवश्यकता होती है, जिससे हम बनाए रखना चाहते हैं ऐसी सीमाएँ धुंधली हो रही हैं।

AI अपनी तर्क प्रक्रिया को तर्क देने और नियंत्रित करने में अधिक सक्षम हो रहा है।

प्री-ट्रेनिंग प्रदर्शन में सुधार के साथ, हमने देखा कि मॉडल भाषात्मक तर्क का उपयोग किए बिना भी अधिक बुद्धिमान हो गए हैं।

ये चुनौतियाँ अवश्य हल की जा सकती हैं। मुझे आशा है कि हम ऐसे हस्तक्षेप विकसित कर पाएंगे जो मॉडल के विचार श्रृंखला की निगरानीयोग्यता को बढ़ाएं, उदाहरण के लिए, विभिन्न अनुकूलन लक्ष्यों और मॉडल द्वारा उपयोग की जाने वाली विभिन्न टेस्ट-टाइम कॉम्प्यूटेशनल फॉर्म्स के बीच अंतःक्रियाओं को बेहतर ढंग से समझना। मुझे यह भी विश्वास है कि विचार श्रृंखला निगरानी और एक्टिवेशन निगरानी के विचारों को मिलाने से बहुत बड़ा मूल्य होगा, और ऐसे निगरानीकर्ताओं को स्केल पर प्रशिक्षित करना जो सीधे नेटवर्क की आंतरिक स्थिति तक पहुँच सकें, जैसे “स्वीकारोक्ति” पद्धति। हम इन विचारों को सक्रिय रूप से आगे बढ़ा रहे हैं। हालाँकि, मुझे आशंका है कि सामान्य AI की प्रगति अब निगरानी के विश्वास पर अधिक से अधिक निर्भर होगी।

इस स्थिति का सामना करने के लिए, मुझे लगता है कि हमें एक ऐसी स्केलेबल रक्षा की आवश्यकता है जो AI के विकास की गति के साथ समायोजित हो सके। मनुष्य द्वारा प्रत्येक नए मॉडल के सभी व्यवहारों की हाथ से जांच करना संभव नहीं है। हमारी वर्तमान मूल्यांकन और रेड टी परीक्षण वर्तमान मॉडलों के लिए प्रभावी हैं, लेकिन जैसे-जैसे प्रणाली क्षमता बढ़ती है, ये विधियाँ शीघ्र ही अपनी सीमा तक पहुँच जाएँगी।

हमें ऐसे AI प्रणालियों की आवश्यकता है जो नए जोखिमों को स्वचालित रूप से पहचान सकें। इन रक्षात्मक प्रणालियों को भी पर्याप्त बुद्धिमान होना चाहिए ताकि वे अपने से अधिक बुद्धिमान प्रणालियों में संदिग्ध व्यवहार की पहचान कर सकें। यह एक पुनरावृत्ति चुनौती बन जाती है: रक्षकों को प्रणाली के समान गति से विकसित होना होगा। हम ऐसे बिंदु पर हैं जहाँ सुरक्षा और क्षमता अब एक-दूसरे से अलग करना हर बार कठिन होता जा रहा है। सुरक्षा को बनाए रखने के लिए, हमें संभवतः लगातार रक्षात्मक AI की क्षमता को बढ़ाना पड़ सकता है, जो वापस समग्र AI क्षमता के विकास को तेज करेगा।

यह एक चिंताजनक चक्र है। हम सुरक्षा के लिए क्षमताओं को बढ़ाते रहते हैं, और क्षमताओं का विकास अधिक जोखिम लाता है। वास्तविक रास्ता शायद इसमें है: किसी अनियंत्रित बिंदु तक पहुँचने से पहले, मूल्य समन्वय को विश्वसनीय रूप से सामान्यीकृत करने का तरीका खोजना। लेकिन मुझे सच्चाई से स्वीकार करना होगा कि हम इस लक्ष्य से अभी बहुत दूर हैं।

इसीलिए मैं अगले कुछ वर्षों की आशा ऐसे संयोजन पर टिकाना पसंद करता हूँ: तकनीकी संरेखण अनुसंधान + स्वचालित रक्षा प्रणाली + व्यापक शासन हस्तक्षेप + जनता और संस्थाओं की सावधानी। एकल उपाय पर्याप्त नहीं है। हम केवल किसी एक कंपनी या प्रयोगशाला की आत्म-नियंत्रण पर निर्भर नहीं रह सकते।

सबसे मजबूत कारण यह है कि अन्य AI द्वारा उत्पन्न खतरों के खिलाफ एक रक्षात्मक प्रणाली बनाने की आवश्यकता है।

पूरे वर्ष चर्चा की गई एक स्पष्ट जोखिम साइबर सुरक्षा है: मॉडल क्षमताएँ जो कंप्यूटर सिस्टम में घुसपैठ और भागने में सक्षम हैं, मानवीय क्षमताओं को पार कर रही हैं। इससे AI से संबंधित जोखिमों की विस्तारित श्रेणी बनती है: एजेंट किसी भी सिस्टम तक पहुँच सकते हैं, जिसके अलावा सबसे सुरक्षित बुनियादी ढांचे, और भौतिक शरीर के बिना ही दुनिया में बहुत सारी चीजों पर प्रत्यक्ष प्रभाव डाल सकते हैं। हम वर्तमान में एक संकीर्ण खिड़की के माध्यम से गुजर रहे हैं, जिसमें हमें सबसे अच्छे उपलब्ध मॉडल का उपयोग करके महत्वपूर्ण सिस्टमों की सुरक्षा में महत्वपूर्ण वृद्धि करनी होगी।

AI से संबंधित जोखिम दुर्भाग्यवश यहां से बढ़ते रहेंगे। एक अत्यंत क्षम, स्पष्ट रूप से दुष्ट व्यवहार करने के लिए प्रशिक्षित और निर्देशित एजेंट, एक नया खतरा पैदा करेगा; यह संभवतः संचालक के इरादों से परे निकल जाएगा और अधिक चरम दुष्ट व्यवहार का सामान्यीकरण करेगा। जैसे-जैसे AI अधिक स्वायत्तता प्राप्त करेगा, दुरुपयोग और स्वायत्त असंगत व्यवहार के बीच की सीमा धुंधली होती जाएगी। हम संभवतः AI को एक उपकरण के रूप में देखने के आदी हो जाएंगे, लेकिन कुछ एजेंट अपने स्वयं के लक्ष्यों की प्राप्ति करने का प्रयास करेंगे। वे मानवों के साथ सहयोग करने के लिए बातचीत, धोखेबाजी या धमकी के माध्यम से प्रयास करेंगे।

इसके अलावा, इंजीनियर किए गए रोगाणुओं जैसी नई प्रौद्योगिकियों के उत्पन्न होने का खतरा भी है।

हमें रक्षा के लिए शक्तिशाली और समायोजित AI की आवश्यकता होगी: बुनियादी ढांचे की सुरक्षा, अनियंत्रित एजेंट्स के खिलाफ वास्तविक समय में रक्षा, और पूरी तरह से नए सुरक्षा उपायों का आविष्कार। यह OpenAI के प्रस्तुतीकरण कार्य का एक प्रमुख ध्यान केंद्र होगा।

इसी बीच, भले ही अपेक्षित व्यापक AI उन्नतियों के कारण अनिश्चितता और रक्षात्मक प्रणालियों के निर्माण की आवश्यकता को ध्यान में रखते हुए, हमें इसे असावधानी से कार्य करने का बहाना नहीं बनने देना चाहिए। जब लोग वास्तव में जोखिम की गंभीरता को समझेंगे, तो “सब कुछ बलिदान करके आगे बढ़ने” का विचार बहुत ही अवास्तविक लगेगा।

मशीनी बुद्धिमत्ता अपने विकास के दौरान एक बढ़ते हुए महत्व का भूमिका निभा रही है, जो निरंतर तकनीकी प्रगति का अनिवार्य निष्कर्ष है। यदि AI आगे भी प्रगति करती रही, तो मशीनी आत्म-पुनरावृत्ति सुधार भविष्य की वैज्ञानिक खोजों का केंद्र बन जाएगा।

ऑटोमेटेड AI रिसर्च एक अधिक तीव्र रूप है जिसमें कैलकुलेशन क्षमता के माध्यम से बुद्धिमत्ता का विस्तार किया जाता है; निश्चित रूप से, इसके एक हिस्से के रूप में, AI स्वयं की कैलकुलेशन बुनियादी ढांचे को भी सुधारेगा। विस्तार के समान, हम OpenAI के शोध पर पुनरावर्ती स्व-सुधार पर केंद्रित करते हैं, क्योंकि हम मानते हैं कि यह AI शोध के अग्रभाग पर बने रहने का एकमात्र मार्ग है।

मैं जोर देना चाहता हूँ कि उपरोक्त सामग्री का अर्थ यह नहीं है कि मुझे लगता है कि गहरी सीख के अनुसंधान को, विशेष रूप से छोटे समय सीमा में, तेज करना अनुसंधान समुदाय द्वारा अपनाया जाना चाहिए एक सामूहिक कार्रवाई है। लेकिन मुझे विश्वास है कि वर्तमान पथ इस दिशा की ओर ले जा रहा है, और हम सभी को यह चुनाव करना होगा कि हम आगे कैसे बढ़ें। हमारे पास मुख्य रूप से दो हथियार हैं: पहला, इस प्रक्रिया को मार्गदर्शन करना, AI के विकास के साथ-साथ संरेखण और निगरानी को मजबूत करना, और सुनिश्चित करना कि मनुष्य सदैव प्रक्रिया में शामिल रहे; दूसरा, भविष्य के विकास की गति को आवश्यकता के आधार पर समन्वयित ढंग से धीमा करना, ताकि इन उपायों के प्रति धीरे-धीरे विश्वास स्थापित किया जा सके।

मैं वर्तमान में देख रहा हूँ कि सबसे अच्छा आगे बढ़ने का तरीका दोनों को मिलाना है।

हमारे समन्वय और निगरानी में प्राप्त विशिष्ट प्रगति आमतौर पर AI की कुल प्रगति के साथ गहराई से जुड़ी होती है। इसके उत्कृष्ट उदाहरणों में मानव प्रतिक्रिया पर आधारित पुनर्बलन सीखना शामिल है, जो प्रारंभिक AI सहायकों के प्रशिक्षण के लिए कुंजी था; और पहले उल्लिखित विचार श्रृंखला निगरानी, जो निष्कर्षण मॉडल की प्रगति के कारण संभव हुई। हमें बढ़ते हुए स्वचालित अनुसंधान प्रक्रियाओं को इस तरह की नई जानकारियों, एल्गोरिदमों और सिद्धांतों के विकास पर केंद्रित करना होगा, और धीरे-धीरे अधिक क्षमताशाली AI के लिए सुरक्षा तर्क स्थापित करना होगा।

एक्सटेंडेड एआई सिस्टम को हमारी सुरक्षा के प्रति विश्वास के संदर्भ में सीमित रखा जाना चाहिए। हमें Preparedness Framework या Responsible Scaling Policy जैसे वचनों को, तीसरे पक्ष के ऑडिट संस्थानों, सरकारी एजेंसियों या अंतरराष्ट्रीय संगठनों द्वारा लागू किए जाने वाले निरंतर विकास सुरक्षा दरवाजों में विकसित करना होगा।

ऑटोमेटेड AI रिसर्च की मुख्य चुनौती "वहाँ पहुँचना" नहीं है, बल्कि एक ऐसे तरीके से पहुँचना है: लोगों को लगातार सुधार की प्रक्रिया में बने रहने के लिए प्रेरित करना और भविष्य को मानव हाथों में छोड़ देना।

मैं निश्चित समय का अनुमान नहीं लगा सकता, लेकिन ऐसा लगता है कि हम एक ऐसे युग की ओर तेजी से बढ़ रहे हैं, जहां AI अपने कई महत्वपूर्ण पहलुओं में अपने आप को आगे बढ़ा सकता है। इसका मतलब है कि हम शीघ्र ही पुनरावर्ती स्व-सुधार के चरण में प्रवेश कर सकते हैं।

OpenAI के भीतर, हमने अपने शोध की प्राथमिकताओं को बदलना शुरू कर दिया है और केवल क्षमता विस्तार के बजाय अधिक संसाधनों को संरेखण और रक्षा पर केंद्रित किया है। इसीलिए मैं यह जोर देता हूं कि हम केवल सबसे बड़े मॉडल की ओर आगे बढ़ने की बजाय, आवश्यकता पड़ने पर एकतरफा रूप से रुकने का फैसला करेंगे।

हालांकि, इन निर्णयों को केवल कुछ कंपनियों के अंदर के कुछ लोगों पर छोड़ा नहीं जा सकता। सरकारों और अंतरराष्ट्रीय समुदाय को जोखिम अपरिवर्तनीय होने से पहले हस्तक्षेप करना चाहिए। इसमें अग्रणी प्रशिक्षण रन के लिए निगरानी तंत्र, अनिवार्य तृतीय पक्ष की ऑडिट, और क्षमता की सीमा से ऊपर के अंतरराष्ट्रीय समझौते शामिल हैं।

मुझे यकीन नहीं है कि ये उपाय समय पर लागू हो पाएंगे। कभी-कभी मुझे निराशा होती है क्योंकि हमारी सुरक्षा उपाय हमेशा क्षमताओं के पीछे रहते हैं, न कि उनसे आगे। हमें लगता है कि हम हमेशा पीछे भाग रहे हैं। लेकिन मुझे अभी भी आशा रखने का कारण मिलता है: 2023 के उस रात को हम केवल इस संभावना का धुंधला सा अहसास कर रहे थे, जबकि आज यह इतना स्पष्ट हो गया है कि इसकी खुली चर्चा की जा सकती है। यह स्वयं एक प्रगति है।

मैं यह दावा नहीं करूंगा कि मुझे सभी उत्तर पता हैं। हम एक ऐसी चीज़ बना रहे हैं जो मानव मन से बिल्कुल अलग है, और यह मन जल्द ही हमसे अधिक शक्तिशाली हो सकता है। यह एक विनम्रता का विचार है, लेकिन यह हमें एक अवसर भी देता है: हमारे सर्वश्रेष्ठ मूल्यों के साथ इसे आकार देने का।

अगर हम इसे अच्छी तरह से करते हैं, तो यह मानवता की सबसे महान उपलब्धि होगी। अगर हम इसे खराब तरीके से करते हैं, तो यह एक ऐसी विफलता हो सकती है जिससे हम वापस नहीं उठ सकते।

क्या हमारे पास भविष्य को मानव हाथों में बनाए रखने की क्षमता है, यह अगले कुछ वर्षों में तय होगा।

जैसा कि हमने हाल ही में सैम के साथ स्पष्ट किया है, ओपनएआई द्वारा प्राथमिकता दी जाने वाली कार्यवाही तीन उत्तरी तारों के लक्ष्यों की सेवा करती है:

AI के अगले चरण को पार करने के लिए, स्वचालित AI शोधकर्ता बनाएं, उनके साथ समस्याओं को समायोजित करें, और लोगों को स्व-सुधार चक्र में बने रहने के लिए प्रेरित करने के तरीके ढूंढें।

Unlock the scientific progress and economic growth benefits brought by ultra-intelligent machines.

Let everyone have their own personal AGI.

मैं केवल पहले बिंदु पर ध्यान केंद्रित कर रहा हूँ, क्योंकि मुझे लगता है कि वर्तमान में यह सबसे तत्काल आवश्यक है। हालाँकि, मैं भविष्य की तकनीकी प्रगति द्वारा लाए जाने वाले लाभों के प्रति गहरी आशा और कृतज्ञता रखता हूँ। सुसंगठित AI विज्ञान को आगे बढ़ा सकती है, नई चिकित्साएँ विकसित कर सकती है, और व्यापक भौतिक समृद्धि ला सकती है। मित्रवत और सच्चे AI लोगों को जीवन की कठिनाइयों से निपटने में मदद कर सकते हैं और उनकी सुख-समृद्धि और संतुष्टि में वास्तविक सुधार कर सकते हैं। OpenAI ने इन लाभों को सुनिश्चित करने के लिए बहुत प्रयास किए हैं। वर्तमान में, मेरे लिए गर्व का विषय और मेरे आसपास के लोगों के लिए लाभदायक उदाहरण है कि हमने ChatGPT में स्वास्थ्य सूचनाएँ प्रदान करने की क्षमता पर गहन निवेश किया है।

चाहे AI की दीर्घकालिक दृष्टि कितनी भी उत्तम क्यों न हो, हमारा अधिकांश ध्यान आगामी कुछ वर्षों पर केंद्रित होना चाहिए। हम एक अत्यंत बुद्धिमान मशीनों की दुनिया की ओर संक्रमण के चरण से गुजर रहे हैं, और हमें इस संक्रमण को मानवता के लिए लाभदायक बनाना होगा। एक ऐसी दुनिया में, जहां अधिकांश कार्य संभवतः AI द्वारा पूरा किए जाएंगे, हमें मानवीय सक्रियता को बनाए रखने के तरीके खोजने होंगे और “मानव होने” के आंतरिक मूल्य को स्थापित करना होगा। शक्ति के अत्यधिक केंद्रीकरण को रोकना होगा: जिन प्रयासों के लिए पहले हजारों विशेषज्ञों की आवश्यकता होती थी, उन्हें भविष्य में केवल कुछ लोग एक बड़े कंप्यूटर को संचालित करके पूरा कर सकते हैं। सुनिश्चित करना होगा कि मानवता हमेशा भविष्य पर नियंत्रण रखे, और हमें स्वयं से परे किसी विदेशी बुद्धिमत्ता के अनियंत्रित प्रगति के कारण पीछे नहीं छोड़ा जाए।

मुझे वर्तमान में ऐसा लगता है कि कोई भी प्रयोगशाला अभी तक संरेखण और निगरानी के इतने समाधान नहीं बना पाई है, जो इसे लंबे समय तक सबसे उच्चतम गति से जिम्मेदारी से विस्तार करने की अनुमति दे सके। मैं आशा करता हूँ और चाहता हूँ कि स्वैच्छिक धीमापन सामान्य हो जाए, जब तक कि सामूहिक सुरक्षा सीमा स्थापित नहीं हो जाती। मुझे यह भी विश्वास है कि भविष्य के AI विकास के चारों ओर अंतर्राष्ट्रीय समन्वय, सभी देशों की सरकारों के लिए प्राथमिकता का मुद्दा बनना चाहिए।

1 इसमें गेम थ्योरी, रोबोटिक्स से विस्तार, और बाद में सबसे महत्वपूर्ण, भाषा को मॉडल करने के लिए रिकर्सिव नेटवर्क का विस्तार शामिल है, जिसने GPT श्रृंखला शोध के लिए पूर्ववर्ती तैयार किया।

2 इस डिज़ाइन का दूसरा कारण आसानी से डिस्टिलेशन से बचना है। हालाँकि, पूरे विकास प्रक्रिया के दौरान, चिंतन श्रृंखला की निगरानी योग्यता को हमारी स्पष्ट और बड़ी प्राथमिकता बनाए रखना हमारा मुख्य लक्ष्य रहा है।