एआई का स्वयं के द्वारा विकास का अनियंत्रित जोखिम और मानव-मशीन सहअस्तित्व।

लेखक, स्रोत: जिंक इंडस्ट्री

एआई का स्वयं के द्वारा विकास का अनियंत्रित जोखिम और मानव-मशीन सहअस्तित्व।

लगभग एक हफ्ते पहले, एंथ्रोपिक, जो लिस्टिंग की तैयारी में था, ने अपने आधिकारिक ब्लॉग पर एक लेख अपडेट किया, जिसका शीर्षक था:《When AI build itself》।

इस लेख के प्रकाशन के दिन, AI सुरक्षा समस्याओं को फिर से चर्चा के केंद्र में लाया गया।

एंथ्रोपिक इस लेख में "AI स्व-उन्नयन" नामक समस्या पर चर्चा करता है और बताता है कि, "AI पहले से ही अपने लिए अधिक शक्तिशाली मॉडल बनाने में भाग ले रहा है, जो हमारी अपेक्षा से कहीं अधिक तेज़ है।"

वास्तव में, एआई का स्वयं का विकास कोई नयी तकनीक नहीं है, बल्कि एआई तकनीक के आगमन के पहले दिन से ही लोग इस बात पर विचार कर रहे थे कि एआई को स्वयं के विकास में कैसे शामिल किया जाए।

就像当前在具身智能领域人们所畅想的那样，用人形机器人制造人形机器人。

वास्तव में, एआई वैज्ञानिक एआई के स्व-उन्नयन क्षमता के भय से एक ओर हैं, जबकि दूसरी ओर वे ऐसी स्व-उन्नयन क्षमता का अध्ययन और यहां तक कि उपयोग भी कर रहे हैं।

मेटा के नौकरी काटने के विवाद में व्यापक ध्यान आकर्षित करने वाले तियान युआनडोंग (मूल रूप से मेटा FAIR टीम के शोध निदेशक), इस साल की शुरुआत में उन्होंने उद्यम शुरू करने की घोषणा की, जिसका नाम Recursive Superintelligence (RSI) है, जिसका लक्ष्य AI की स्व-विकास है।

यही कंपनी हाल ही में 6.5 बिलियन डॉलर के फंडिंग को पूरा कर चुकी है, जिसका अनुमानित मूल्य 46.5 बिलियन डॉलर (लगभग 315 अरब रुपये) है, और यह एक और सिलिकॉन वैली AI स्टार टीम बन गई है जिसे कई बड़े कंपनियाँ अपना लक्ष्य बना रही हैं।

तो, AI स्व-उन्नति क्या है? स्व-उन्नति के कारण AI नियंत्रण से बाहर हो जाएगा? मनुष्य को AI के साथ कैसे सहअस्तित्व करना चाहिए?

अभी हो रही एआई की स्वयं की उन्नति इस वर्ष के ज़ह्युआन कॉन्फ्रेंस का एक प्रमुख विषय भी है, और हमने इस वर्ष के ज़ह्युआन कॉन्फ्रेंस में इस विषय पर चार युवा एआई वैज्ञानिकों के विचार और भविष्यवाणियाँ देखीं।

शायद, उनके दृष्टिकोण से, हम AI के स्व-विकास के भविष्य की ओर झांक सकते हैं, और AI के चिंता में, कुछ प्रतिक्रिया के प्रेरणा प्राप्त कर सकते हैं।

इस समस्या पर चर्चा के लिए ज़ह्युआन कॉन्फ्रेंस द्वारा आमंत्रित किए गए कुछ AI वैज्ञानिक ये हैं:

पश्चिमी झील विश्वविद्यालय के इंजीनियरिंग कॉलेज के आर्टिफिशियल इंटेलिजेंस डिपार्टमेंट के विशेष अनुसंधानकर्ता लिन ताओ;

NeoCognition के सह-संस्थापक गुयु;

पूर्व टेनसेंट हुनยुआन फ्रंटियर विशेषज्ञ रिसर्चर वांग यान;

डॉ. यांग मेंग्युए, यूनिवर्सिटी कॉलेज लंदन की डॉक्टरेट, ब्रिस्टोल विश्वविद्यालय की सहायक प्रोफेसर।

निम्नलिखित चार अतिथियों की बातचीत का सारांश और संगठन उनके मूल अर्थ को बदले बिना किया गया है:

01 AI स्व-उन्नयन क्या है?

प्रश्न: अब कई AI प्रणालियाँ स्वयं का पुनर्विचार करती हैं और प्रॉम्प्ट बदलती हैं, जिससे लगता है कि वे स्वयं को बेहतर बना रही हैं। यदि हम इसे अधिक कठोरता से परिभाषित करें, तो AI का स्वयं का विकास क्या है?

लिन ताओ: मुझे लगता है कि स्व-उन्नयन एक बहु-स्तरीय उन्नयन होना चाहिए, जो बाहरी मस्तिष्क का उन्नयन हो सकता है या आंतरिक मस्तिष्क का उन्नयन हो सकता है।

सबसे महत्वपूर्ण बात यह है कि AI को अपनी सीमाओं को समझना चाहिए और एक साथ अपने बाहरी और आंतरिक दिमाग को विकसित करना चाहिए, या बाहरी दिमाग को विकसित करते समय अधिक बाहरी क्षमताओं को आंतरिक रूप से अवशोषित करना चाहिए, ताकि आंतरिक दिमाग का विकास आगे बढ़ सके।

गुयु: मुझे लगता है कि RSI (recursive self improvement, आवर्ती स्व-उन्नति) के सबसे महत्वपूर्ण दो पहलू प्रोएक्टिवनेस और लर्निंग हैं।

Learning कैसे AI को विश्वसनीय निरंतर अधिगम और ऑनलाइन अधिगम एल्गोरिदम प्रदान करता है, और दूसरा प्रश्न स्व-उन्नति है, एजेंट को यह जानना होगा कि वह कहाँ तक विकसित होना चाहता है।

इसलिए स्व-अनुकूलन को दो समस्याओं को अलग-अलग हल करना होगा:

एक है what स्तर की मेटाकॉग्निशन, आपको यह जानना चाहिए कि आपको क्या नहीं है, आपको क्या चाहिए, और आपको कैसे चुनना चाहिए;

दूसरा है how स्तर, यानी एल्गोरिदम को वास्तविक रूप से कैसे लागू किया जाता है।

वांग यान: कम से कम आज के समय बिंदु पर, पारंपरिक SFT, RL की तुलना में, यदि प्रणाली मानवीय निर्भरता को कम कर सकती है, तो यह वास्तव में स्वयं का विकास कर चुकी है।

यांग मेंग्युए: अब बोले जा रहे RSI का अर्थ वास्तव में सेल्फ इम्प्रूवमेंट से आगे बढ़कर है, यह केवल इतना ही नहीं कि क्षमता मजबूत हो गई है, बल्कि यह भी देखना है कि "उन्नति की क्षमता" स्वयं क्या मजबूत हो सकती है।

एक महत्वपूर्ण समस्या यह है कि Recursive कंपनी (Recursive Superintelligence) के सह-संस्थापक टीम के सदस्य जेफ क्लून और टिम रॉक्टाशेल का शोध क्षेत्र Open-endedness है।

तो, ओपन-एंडेडनेस क्या है?

एक खुली दुनिया में, क्या कोई एजेंट अपने आप से प्रश्न पूछने की क्षमता रखता है, क्या वह अपनी ज्ञान सीमा, प्रणाली सीमा और स्मृति सीमा कहाँ हैं, यह पहचान सकता है, और वह अपनी सीमाओं को पार करने के लिए प्रश्न पूछना चाहता है?

मनुष्य को अपने आप को विकसित करने से बाहर निकलने के लिए, जिसमें विकास क्षमता तक का विकास शामिल है, इसकी प्रश्न पूछने की क्षमता महत्वपूर्ण है।

प्रश्न: आज के समय बिंदु पर, AI का सबसे अधिक मूल्यवान और सबसे संभावित रूप से पहले परिपक्व होने वाला स्व-विकास भाग क्या है?

वांग यान: मुझे नहीं पता कि क्या आप सभी ने महसूस किया है कि जनवरी 2025 के बाद मॉडल के अपडेट की गति बढ़ गई है।

वास्तव में, एआई क्षमता की सीमा को सबसे अधिक जानने वाले बेस मॉडल क्षेत्र के लोग पहले से कोड नहीं लिख रहे हैं, और यह बेस मॉडल प्रशिक्षण में पहले से ही हो चुका है।

और स्पष्ट रूप से महसूस हो रहा है कि बेस मॉडल के इटरेशन की गति तेज हो रही है, जिसमें Claude, GPT, और देशी बेस मॉडल्स के इटरेशन शामिल हैं; आप कह नहीं सकते कि यह पूरी तरह से स्व-अनुकूलन है, लेकिन वास्तव में AI अब AI को इटरेट कर रहा है।

जिस क्षेत्र का सबसे पहले परिपक्व होना है, उसके बारे में मेरी सबसे गहरी भावना बेस मॉडल ट्रेनिंग क्षेत्र के बारे में है, हालांकि कुछ लोग इसे एक निश्चित दिशा देते हैं, लेकिन वास्तव में बेस मॉडल स्वयं को विकसित कर रहा है।

प्रश्न: यदि मॉडल पैरामीटर को नहीं बदलते हुए केवल कुछ अन्य घटकों को विकसित किया जाए, तो बेस मॉडल पर्याप्त रूप से मजबूत क्षमता लाभ प्राप्त कर सकता है?

वांग यान: निश्चित रूप से।

वास्तव में, Prompt में थोड़ा सुधार करके आप बेहतर परिणाम प्राप्त कर सकते हैं।

उदाहरण के लिए, कभी-कभी मैं सोचता हूँ कि मैंने इंटर्न को जो काम दिया है, वे उसे क्यों नहीं कर पा रहे हैं, जब मैंने उनके prompt को देखा तो पता चला कि उनके prompt खराब लिखे गए थे।

मुझे बस एक बेहतर प्रभाव वाला Prompt फिर से लिखना है, जिसमें नियम स्पष्ट रूप से लिखे गए हों, ताकि बेहतर परिणाम प्राप्त हो सकें।

चूंकि मैं इस कार्य को कर सकता हूँ, इससे अधिक आयामी सिलिकॉन-आधारित जीव भी मॉडल पैरामीटर्स को बदले बिना इसे बेहतर ढंग से कर सकते हैं।

प्रश्न: लिन शिक्षक का क्या मत है?

लिन ताओ: यह एक आवर्ती प्रक्रिया होनी चाहिए, हमें बेहतर हैरनेस (एक्सटर्नल ब्रेन) चाहिए, जो वर्तमान मॉडल की सीमा को पूरी तरह से निकाले;

जैसे-जैसे अधिक लोगों के पास अपना हारनेस होता जा रहा है, इन प्रोग्राम्स का उपयोग अधिक शक्तिशाली बेस मॉडल ट्रेन करने के लिए किया जा सकता है;

अधिक मजबूत बेस मॉडल के आधार पर, हम अधिक मजबूत हैरनेस और बेहतर बाहरी ब्रेन विकसित करेंगे, जो एक आवर्ती प्रक्रिया है।

प्रश्न: तो आपके अनुसार अभी समग्र संसाधनों में कौन सा क्षेत्र सबसे पहले परिपक्व हो गया है?

लिन ताओ: मुझे लगता है कि हैरनेस बनाना सबसे आसान है।

गुयु: मैं हार्नेस और स्किल को एक समान दृष्टिकोण से देखने को प्राथमिकता देता हूँ।

From a unified perspective, they are all long-term memories, just from different angles.

उदाहरण के लिए, हार्नेस एक मेटा-लेवल (मेटाकॉग्निटिव) दीर्घकालिक स्मृति है, स्किल अधिकतर एक वर्कफ्लो या प्रक्रिया ज्ञान की दीर्घकालिक स्मृति है, और मॉडल पैरामीटर अधिकतर अंतर्ज्ञान (इंटुइशन) की दीर्घकालिक स्मृति हो सकते हैं।

अगर मुझसे पूछा जाए कि किसे प्राथमिकता देनी चाहिए, तो शैक्षणिक अनुसंधान के दृष्टिकोण से कहना मुश्किल है, क्योंकि वे सभी महत्वपूर्ण हैं और एक-दूसरे के साथ परस्पर सहायक और प्रोत्साहित करते हैं।

कंपनी के दृष्टिकोण से, कई वास्तविक कारक मौजूद हैं, और शुरुआत के लिए हैरनेस करना आसान है; जब आपके पास हैरनेस होता है, तो आपके पास आपका उत्पाद होता है, जब आपके पास उत्पाद होता है, तो आपको उपयोगकर्ता मिलते हैं, और जब आपके पास उपयोगकर्ता होते हैं, तो आपको डेटा मिलता है और एक बंद चक्र बनता है—यह एक गैर-तकनीकी दृष्टिकोण है।

यांग मेंग्युए: मैं स्वयं मेमोरी (memory) के स्तर पर विकास पर अधिक ध्यान देती हूँ, क्योंकि मेरा शोध क्षेत्र नियमों और कारण-परिणाम को समझना है।

अब लोग महसूस कर रहे हैं कि मॉडल क्षमताएँ लगातार बेहतर हो रही हैं, और यह harness क्षमता को कवर करने लगी है, धीरे-धीरे harness को निगल रही है और सीमा तक पहुँच रही है।

इसलिए भविष्य का विकास कहना मुश्किल है, संभवतः बेस मॉडल लगातार मजबूत होते जाएंगे, और हार्नेस दिशा में सुधार नगण्य हो सकता है।

02 AI सबसे पहले किस चरण में स्वयं को विकसित करता है?

प्रश्न: AI का स्वयं का विकास कब सबसे उपयुक्त समय होता है?

गुयु: हैरनेस के बारे में मैं एक बात और जोड़ना चाहूंगा, हैरनेस संभवतः मॉडल की प्रगति के कारण धीरे-धीरे अप्रासंगिक हो सकता है, लेकिन यह इस बात पर निर्भर करता है कि किस क्षेत्र में, मुझे लगता है कि कुछ मॉड्यूल अभी भी आवश्यक हैं।

उदाहरण के लिए, गारंटी मॉडल की सुरक्षा और जांचयोग्यता के लिए मॉड्यूल, जो संभाव्यता मॉडल कभी भी प्रतिस्थापित नहीं कर सकते।

मुझे लगता है कि स्व-अनुकूलन के समय को Learning + Long-Term Memory (LTM) के रूप में समझा जा सकता है।

मनुष्य के लिए, प्रत्येक तर्क और प्रत्येक समस्या का समाधान एक सीखने का अवसर होता है, और मनुष्य कोई एक सेट समस्याओं को इकट्ठा करके उन पर स्थिर रूप से सीखना नहीं करता।

अगर मानव अधिगम को एक दक्ष तरीका माना जाता है, तो मुझे लगता है कि एजेंट के लिए भी ऐसा ही है।

आप चाहेंगे कि एजेंट प्रत्येक निष्कर्षण के अवसर को व्यर्थ न जाने दे, क्योंकि प्रत्येक निष्कर्षण में लर्निंग सिग्नल प्राप्त करने का अवसर होता है, जो प्रबलन शिक्षा के सामान्य दर्शन के साथ संगत है, लेकिन वर्तमान में प्रमुख गहरी शिक्षा अभी मॉडल पैरामीटर अपडेट के चरण में है, और ऑनलाइन लर्निंग की स्थिति में करना कठिन है।

इसे वास्तव में प्राप्त करने के लिए, गैर-पैरामीट्रिक अपडेट जैसे कुछ नए सीखने के अल्गोरिदम की आवश्यकता होती है।

प्रश्न: क्या यहाँ सिस्टम 1 और सिस्टम 2 के बीच अंतर होगा?

गुयु: वास्तव में।

उदाहरण के लिए, यदि गैर-पैरामीट्रिक चीजों को सिस्टम 2 के रूप में माना जाए, क्योंकि यह अधिक स्पष्ट और धीमा है, लेकिन यह सिस्टम 1 में परिवर्तित होने की संभावना को भी बनाए रखता है, जिसमें सीखे गए गैर-पैरामीट्रिक नियमों के आधार पर अधिक डेटा उत्पन्न करना शामिल है, जैसा कि लिन शिक्षक ने बाहरी मस्तिष्क से आंतरिक मस्तिष्क में परिवर्तन के बारे में कहा।

वांग यान: मैंने TTT, यानी टेस्ट-टाइम ट्रेनिंग पर कई काम किए हैं, और TTT की इस श्रृंखला पर भी मुझे दिलचस्पी है।

मुझे लगता है कि मॉडल अगले टोकन का अनुमान लगाते समय, प्रत्येक टोकन के अपडेट ग्रेडिएंट को सीखना महत्वपूर्ण है।

भविष्य में हम एक ऐसा प्रशिक्षण अल्गोरिथम जरूर ढूंढ पाएंगे, जो प्रशिक्षण अल्गोरिथम को स्वयं यह सिखाए कि प्रत्येक टोकन के ग्रेडिएंट को कैसे अपडेट किया जाए, यही सच्चा एंड-टू-एंड विचार है।

लिन ताओ: मॉडल ट्रेनिंग के दृष्टिकोण से, यह हारनेस प्रभाव से शुरू हो सकता है, फिर पोस्ट-ट्रेनिंग के माध्यम से मॉडल प्रदर्शन में सुधार करके अधिक शक्तिशाली मॉडल प्राप्त कर सकता है, जो फिर प्री-ट्रेनिंग चरण में प्रतिक्रिया के रूप में काम कर सकता है और बेस मॉडल क्षमता को बढ़ा सकता है, इस प्रकार एक बंद चक्र बनाता है।

इसलिए यह समय-समय पर विभिन्न पैमानों और तरीकों से विकसित हो रहा है।

यांग मेंग्युए: मुझे भी लगता है कि स्व-उन्नयन लगातार हो रहा है और सभी पहलुओं में विस्तारित है।

उदाहरण के लिए एक ट्रैजेक्टरी (trajectory) कैसे बनाएं।

अगर GPT किसी प्रश्न के लिए उत्तर उत्पन्न करता है, तो वह वास्तव में तर्क कर रहा होता है, और तर्क की प्रक्रिया रचना और संयोजन की प्रक्रिया होती है, और रचना और संयोजन की प्रक्रिया पर्यावरण और मनुष्यों के प्रति प्रश्न पूछने के समान होती है, इसलिए फॉरवर्ड डिज़ाइन में स्वयं मूल रूप से डिज़ाइन के विकास की तंत्र होती है।

इसके अलावा, जब मुझे एक पुरस्कार मिलता है, जैसे मानव द्वारा मॉडल को दिया गया प्रतिक्रिया, तो प्रतिक्रिया प्राप्त करने के बाद ट्रैजेक्टरी को कैसे अपडेट किया जाए, इससे पूरी प्रक्रिया धीरे-धीरे सुधरती है।

प्रश्न: अपना बेंचमार्क डिज़ाइन करना क्या AI के स्व-विकास का एक संकेत है?

यांग मेंग्युए: क्या हम अभी एक वृद्धिशील बेंचमार्क, या यहां तक कि एक वृद्धिशील, स्व-विकासकारी विश्व मॉडल का उपयोग कर सकते हैं?

अब बहुत सारे बेंचमार्क स्थिर होते हैं, जिन पर एक स्थिर डेटाबेस का परीक्षण किया जाता है, इसलिए किसी भी स्थिति में एक मॉडल ढूंढा जा सकता है जो स्थिर डेटाबेस पर अच्छी तरह से प्रशिक्षित हो।

AGI तक पहुँचने के लिए, हमें वास्तव में डायनामिक मूल्यांकन की आवश्यकता है, जो इसकी वर्तमान क्षमताओं के अनुसार अनुकूलित हो सके और इसका क्रमिक वृद्धि आधारित मूल्यांकन किया जा सके।

वांग यान: हमने जब शुरुआत की थी, तब कोई बेंचमार्क नहीं था, उस समय मानव द्वारा मूल्यांकन किया जाता था।

मुझे यकीन नहीं है कि इस बात का मूल्यांकन Benchmark के द्वारा किया जा सकता है, क्योंकि निश्चित रूप से स्थिर Benchmark के द्वारा इसका मूल्यांकन नहीं किया जा सकता।

डायनेमिक बेंचमार्क की वास्तव में मूल्यांकन करने की क्षमता अनिश्चित है, क्योंकि दोनों स्व-विकसित एजेंट हैं, और क्या अंततः हम फिर से मानव मूल्यांकन के पुराने रास्ते पर वापस आ जाएंगे, यह मुझे नहीं पता।

लेकिन इस दृष्टिकोण के अनुसार, यह संभव है कि इसे Benchmark के साथ मूल्यांकन नहीं किया जा सकता।

प्रश्न: स्वचालित मूल्यांकन विधि डिज़ाइन करना कठिन होगा?

वांग यान: हाँ।

अभी कई बाजार में मॉडल अच्छी तरह से प्रशिक्षित होते हैं, लेकिन जब उन्हें लाइव किया जाता है, तो Agent workflow में फंसने जैसी समस्याएँ उत्पन्न होती हैं, और इन्हें ठीक करने के लिए ऑनलाइन डेटा फ्लाइव्हील का उपयोग करके पुनः प्रशिक्षण की आवश्यकता होती है।

इसलिए AI के स्वयं के विकास के बाद इसका मूल्यांकन कैसे किया जाए, यह अनिश्चित है।

अब स्टैटिक बेंचमार्क की बहुत सी सीमाएँ हैं, स्वयं को विकसित करने के बाद, इसका मूल्यांकन करना भी संभव नहीं हो सकता।

गुयु: मैं वांग टीचर के विचार से पूरी तरह सहमत हूँ।

जब एक सिस्टम पर्याप्त जटिल हो जाता है, तो इसे सरल सूचकों से मापना कठिन हो जाता है; मनुष्यों के लिए भी ऐसा ही है, आप एक सरल सूचक के आधार पर यह नहीं कह सकते कि कोई व्यक्ति अच्छा है या बुरा। जब कोई चीज सरल सूचकों से मापी जा सकती है, तो उसे हैक करना आसान हो जाता है।

लेकिन दूसरी ओर, मुझे लगता है कि वर्तमान में AI इतना जटिल नहीं है, बेंचमार्क अभी भी हमें आगे बढ़ाने में सक्षम है।

यहाँ दो समस्याएँ शामिल हैं:

पहला, AI को अपने आप नए बेंचमार्क खोजना चाहिए या मानव द्वारा डिज़ाइन किए जाने चाहिए।

मुझे लगता है कि इसे अभी भी मनुष्य द्वारा डिज़ाइन किया जाना चाहिए, क्योंकि बेंचमार्क एक लक्ष्य को दर्शाता है, जिसे अभी भी मनुष्य द्वारा प्रदान किया जाना चाहिए।

दूसरा, बेंचमार्क के बाद आकलन कैसे करें।

इसका स्व-अनुकूलन के लिए अतीत से बहुत अलग है, पिछले बेंचमार्क में स्थिर ट्रेनिंग और टेस्ट सेट होते थे, जिसमें अंतिम सटीकता पर ध्यान दिया जाता था, लेकिन स्व-अनुकूलन वाले AI के लिए, रुझान अधिक महत्वपूर्ण है।

यह फिर से मेरे पिछले कहे गए बात पर लौटता है, बड़े मॉडल का अधिगम = निष्कर्ष निकालना + दीर्घकालिक स्मृति।

प्रत्येक निष्कर्ष निकालने का अवसर एक सीखने का मौका है, इसलिए यदि आप एक बेंचमार्क बनाते हैं, तो इसमें एक द्वि-आयामी वक्र होना चाहिए, जिसका क्षैतिज अक्ष यह दर्शाता है कि इसने कितने कार्य किए हैं, और ऊर्ध्वाधर अक्ष प्रदर्शन का स्तर है; आदर्श स्थिति में, यह लगातार ऊपर की ओर बढ़ता रहना चाहिए।

स्व-अनुकूलन मूल्यांकन के पीछे बड़ा दार्शनिक प्रश्न है: बुद्धिमत्ता क्या है?

मुझे एक एआई शोधकर्ता द्वारा कहा गया एक वाक्य बहुत पसंद है—बुद्धिमत्ता इस बात में नहीं है कि आप कितने काम कर सकते हैं, बल्कि यह है कि आप इन कामों को कैसे करते हैं।

पिछले मूल्यांकन मुख्य रूप से बड़े मॉडल द्वारा अंततः कौन से कौशल अर्जित किए गए, इस पर ध्यान केंद्रित करते थे, जबकि स्व-विकास का अध्ययन बड़े मॉडल कैसे इन कौशलों को अर्जित करते हैं, इस शिक्षा प्रक्रिया पर केंद्रित है।

सीखना सबसे महत्वपूर्ण हिस्सा है।

लिन ताओ: बुद्धिमत्ता के बारे में, मुझे पहले एक कथन से प्रभावित किया गया था:

सच्ची बुद्धिमत्ता, हमारे द्वारा महत्व दिए जाने वाले क्षमता इकाइयों की प्रति इकाई समय वृद्धि दर होनी चाहिए।

यह बुद्धिमत्ता क्या है, इसका एक हद तक प्रतिबिंब भी है।

इस आधार पर, मुझे लगता है कि मॉडल और बेंचमार्क को सह-विकसित होना चाहिए।

अभी भी मानव द्वारा निर्धारित किया जाता है कि क्या बेंचमार्क पहले ही सीमा पर पहुंच चुका है, क्या एक नया, अधिक शक्तिशाली बेंचमार्क डिज़ाइन किया जाना चाहिए, और नए बेंचमार्क के आधार पर वर्तमान मॉडल के दोषों को पहचाना जाए, जिससे मॉडल प्रशिक्षण को आगे बढ़ाया जा सके।

एक महत्वपूर्ण बिंदु यह है कि कुछ आंशिक रूप से स्वचालित तरीकों का उपयोग करके अधिक अर्थपूर्ण बेंचमार्क खोज संभव है, और कम से कम प्रशिक्षण के बाद के चरण को सफलतापूर्वक चलाया जाए, ताकि आंशिक रूप से स्वचालित रूप से खोजे गए बेंचमार्क मॉडल की प्रारंभिक क्षमता में सुधार कर सकें।

03 क्या AI नियंत्रण से बाहर हो जाएगा?

प्रश्न: AI के स्व-उन्नयन के दौरान, कैसे पता चलेगा कि AI गलत दिशा में सीख रहा है या अनियंत्रित स्तर तक विकसित हो गया है?

वांग यान: एक निराशावादी दृष्टिकोण के साथ, कुछ सालों के बाद, मनुष्य केवल नेटवर्क के बिना के स्थानों में ही जीवित रह पाएंगे।

अब AI के विकास की गति बहुत भयानक है, AI का नियंत्रण खोना बहुत दूर की बात नहीं है, सुरक्षा तकनीक में नहीं, बल्कि मानवीय क्षमता में है कि क्या हम अपने आप को नियंत्रित रख सकते हैं।

लिन ताओ: यही कारण है कि मैंने ठीक अभी कहा कि एक अर्ध-स्वचालित बेंचमार्क की आवश्यकता है, और AI के स्व-विकास को एक व्यक्ति की भागीदारी वाले अर्ध-स्वचालित बेंचमार्क के तहत ही प्राप्त किया जाना चाहिए।

इसे कुछ सीमाओं के साथ रखा जा सकता है, ताकि यह हम मनुष्यों द्वारा परिभाषित कुछ मानकों को न तोड़े।

यांग मेंग्युए: हम जिस AI की विश्वसनीयता, सुरक्षा और व्याख्यायोग्यता की बात कर रहे हैं, उसकी मूल बात यह है कि इसके अंदर की प्रक्रियाएँ दृश्यमान होनी चाहिए।

उदाहरण के लिए, एक बड़ा मॉडल एक निर्णय लेता है, यह वास्तव में इस निर्णय को क्यों लेता है, एक बड़ा मॉडल एक भविष्यवाणी करता है, यह वास्तव में इस भविष्यवाणी को क्यों करता है।

इसलिए हम अभी जो कुछ कर रहे हैं, वह है कि सभी बड़े मॉडल घटकों के बीच एक नियम सेट हो, जिसे मनुष्यों के सामने सीधे प्रदर्शित किया जाए ताकि यह बताया जा सके कि यह निर्णय क्यों लिया गया।

ब्लैक बॉक्स का मामला भविष्य में बहुत महत्वपूर्ण होगा, जिसमें अभी बताए गए AI के नियंत्रण के प्रश्न भी शामिल हैं; सबसे पहले, इसे नियंत्रित करने के लिए, इसके भीतर निर्णय कैसे लिए जाते हैं, यह जानना आवश्यक है।

प्रश्न: यदि आप RSI में सुरक्षा नियंत्रण प्राप्त करना चाहते हैं, तो कारण-परिणाम के दृष्टिकोण से और क्या करना आवश्यक है?

यांग मेंग्युए: पारंपरिक कारण-प्रभाव सिद्धांत प्रायिकता और सांख्यिकी पर आधारित है, जिसका स्वयं द्वारा निकाला गया कारण-प्रभाव आविष्कार और कारण-प्रभाव निष्कर्ष बड़े मॉडल के युग के लिए उपयुक्त नहीं है।

तो अब हम फिर से मूल स्वरूप की ओर लौट रहे हैं, कारण और परिणाम की परिभाषा पर।

उदाहरण के लिए, तीन स्तरीय कारण-परिणाम संरचना के आधार पर, ये मूल अवधारणाएँ RSI प्रणाली, बेस मॉडल या हैरन में किस रूप में होनी चाहिए, हमें इसे सीखने के लिए किन प्रतिबंधों का उपयोग करना चाहिए, यही हमारा वर्तमान लक्ष्य है, लेकिन यह काम आसान नहीं है।

अब लोग यह क्यों कह रहे हैं कि वर्ल्ड मॉडल और फिजिकल अंडरस्टैंडिंग करना मुश्किल है, क्योंकि पिछली फिजिकल इनफॉर्मेशन मशीन लर्निंग, कॉज़ल मशीन लर्निंग जैसी विधियाँ वर्तमान बड़े मॉडल के स्केल अप (वर्टिकल स्केलिंग) समाधान के लिए स्वाभाविक रूप से उपयुक्त नहीं हैं।

तो हमें इन विधियों की परिभाषाओं पर वापस जाना होगा, और देखना होगा कि इन समस्याओं को हल करने के लिए कौन से उपकरण उपलब्ध हैं।

गुयु: सबसे पहले, AI की नियंत्रणयोग्यता, क्या AI को मनुष्य द्वारा नियंत्रित किया जा सकता है, इस बारे में मेरे पास कोई विचार नहीं है।

मार्क यान ने भी कहा था कि जिन चीजों पर उनका नियंत्रण नहीं है, उनके बारे में वे अधिक नहीं सोचना चाहते हैं।

अगर यह बात सचमुच आ गई, तो मेरे पास इसे बदलने का कोई तरीका नहीं है।

इसलिए मैं छोटे समय सीमा में, अधिक विशिष्ट रूप से AI को कैसे नियंत्रित किया जा सकता है, इस पर अधिक चर्चा करना चाहता हूँ।

मुझे लगता है कि जो बातें यांग शिक्षक ने व्याख्यायन और कारण-प्रभाव की खोज के बारे में कहीं, उसके अलावा दो और आयाम हैं: विश्वसनीयता (reliability), सत्यापनीयता (verifiability)।

अविश्वसनीयता यह है कि मॉडल या एजेंट जब कोई कार्य करता है, तो इस बार सही करने के बाद अगली बार भी सही करना चाहिए, यह यादृच्छिक नहीं होना चाहिए;

वेरिफायएबिलिटी का अर्थ है कि जब मॉडल या एजेंट कोई गलती करता है, तो उसे अपनी गलती का एहसास होना चाहिए, और यह नहीं कि वह अपने कार्य को सही या गलत करने के बारे में अनजान रहे।

मुझे लगता है कि ये दोनों संकेतक बुद्धिमान एजेंट के लागू होने के लिए अल्पकालिक दृष्टिकोण से बहुत वास्तविक हैं।

प्रश्न: स्व-उन्नति के दौरान, AI की उन्नति और मानव उन्नति कैसे समन्वयित होती है?

लिन ताओ: मेरे व्यक्तिगत रूप से, मैंने अपने अधिकांश कार्य प्रवाह को AI द्वारा प्रतिस्थापित कर दिया है, और जैसे-जैसे AI अधिक शक्तिशाली होता जा रहा है, मैं अपने अधिक प्रारंभिक कार्य प्रवाह को भी AI द्वारा प्रतिस्थापित करूंगा।

यह वास्तव में मेरी दक्षता में वृद्धि करता है, और मुझे AI के साथ अधिक चीजों पर सोचने का समय मिलता है, जो किसी तरह से मेरी AI-आधारित विकास की एक रूपरेखा है।

चूंकि मैं मॉडल को ट्रेन कर रहा हूँ, इसलिए बेस मॉडल ट्रेनिंग के दौरान, AI के विकास में कुछ हद तक सुधार हुआ, लेकिन मुझे लगता है कि यह बहुत अधिक नहीं है; भविष्य में हम यह अधिक अच्छी तरह से अन्वेषण कर सकते हैं कि मनुष्य कैसे अधिक कुशलता से विकसित हो सकते हैं, ताकि AI बेहतर ढंग से विकसित हो सके।

यांग मेंग्युए: शिक्षक के रूप में, मैंने अपने छात्रों के साथ काम करते समय स्पष्ट रूप से महसूस किया है कि छात्र एआई उपकरणों का उपयोग बढ़ता जा रहा है, लेकिन अब एक बहुत महत्वपूर्ण समस्या यह है कि क्या आप इन एआई उपकरणों को वास्तव में नियंत्रित कर सकते हैं।

चूंकि AI बहुत अधिक सामग्री उत्पन्न कर सकता है, कभी-कभी आप इस पर बहुत अधिक भरोसा कर लेते हैं, जिससे आपकी मूल विश्वास और अनुसंधान के प्रति आपकी समझ एक अजीब स्तर पर चली जा सकती है।

अच्छी तरह से नींव रखे गए छात्र इन AI उपकरणों का उपयोग करके जल्दी ही कुछ उच्च गुणवत्ता वाले कार्य तैयार कर सकते हैं;

जिन छात्रों की नींव कमजोर है, वे इन AI उपकरणों को नियंत्रित नहीं कर सकते और गलत दिशा में ले जाए जा सकते हैं।

हमने DeepMind के कुछ शोधकर्ताओं के साथ बातचीत की है, जिन्होंने अपने आंतरिक रूप से AI उपकरणों का उपयोग करने को प्रोत्साहित किया है, लेकिन अब वे कहते हैं कि यह बहुत निर्भर करता है कि व्यक्ति इन उपकरणों को कितना अच्छी तरह से समझता है।

अब महत्वपूर्ण यह है कि लोग अपनी क्षमताओं में बढ़ते एआई उपकरणों के सामने, मूल सिद्धांतों और बुनियादी ज्ञान के अध्ययन को न छोड़ें, और यह भी जानें कि कुछ चीजें दार्शनिक स्तर पर कैसे निकाली गई हैं, ताकि जब एआई आपको गलत जानकारी दे, तो आप इसे पहचान सकें, यह बहुत महत्वपूर्ण है।

प्रश्न: क्या एआई मानव विकास को बाध्य करेगा?

यांग मेंग्युए: यह निश्चित है।

मुझे स्पष्ट रूप से महसूस हो रहा है कि AI लोगों को विभाजित कर रहा है; जितने अधिक लोगों की नींव मजबूत होती है, वे AI के माध्यम से उच्चतम स्तर तक पहुँचते हैं।

अगर आप केवल AI उपकरणों का उपयोग करके अपने कार्य पूरा करते हैं, तो अंत में जो चीज़ बाहर आती है, वह बाहरी रूप से स्वर्णिम लग सकती है, लेकिन मूलतः कमजोर हो सकती है, और बहुत से लोग इस बात को अभी तक नहीं समझते।

वांग यान: भविष्य में, यांग शिक्षक द्वारा बताए गए इस चेतना को रखने वाले अपने बच्चों के लिए एक ऐसा वातावरण बनाएंगे जहां AI नहीं होगा, और इस वातावरण में उनका बचपन बीतेगा।

ऐसी जागरूकता वाले लोगों के लिए, कार्य पूरा करना ही उनका लक्ष्य हो सकता है, और सबसे तेज़ तरीका AI का उपयोग करना है।

मुझे एहसास हुआ कि मैं धीरे-धीरे अपने इंटर्न्स को देख रहा हूँ कि वे शुरुआत में इस काम को जल्दी पूरा कर देते हैं, लेकिन बाद में वे कई समस्याओं को नहीं ढूंढ पाते हैं, और जब मैं इन समस्याओं को देखकर उनसे पूछता हूँ, तो वे कहते हैं, "वांग टीचर, दस मिनट इंतजार करें, मैं आपको बताता हूँ कि क्यों" (और AI से जवाब ढूंढना जारी रखते हैं)।

वास्तव में, उन्हें पूरी परियोजना के बारे में कुछ भी नहीं पता है, उनके पास कोई समग्र दृष्टिकोण नहीं है, और वे मेरे ताल पर नहीं चल पा रहे हैं।

बिना AI के, उन्हें इस ज्ञान को शून्य से सीखना पड़ता, उदाहरण के लिए, हम DeepSeek के आधार पर शोध कर रहे हैं, उन्हें पहले DeepSeek के पेपर को पूरा पढ़ना होता, अब वे Claude से कहते हैं:

आपने पेपर पढ़ लिया है और LightningIndex (लाइटनिंगइंडेक्स) पर MemoryIndex (मेमोरी इंडेक्स) को लागू किया है।

चूंकि वे इस तरह से काम पूरा कर रहे हैं, इसलिए मैं जिन कार्यों को शारीरिक कारणों से पहले पूरा नहीं कर पा रहा था, अब इस तरीके से सीधे पूरा कर सकता हूँ और इन इंटर्न्स की आवश्यकता नहीं है।

मूल कारण यह है कि उनकी ज्ञान वृद्धि की दर धीमी हो गई है, और दूसरा, ऐसा AI सहायक मेरे जैसे प्रबंधकों के लिए अधिक कुशल है।

गुयु: मुझे वांग टीचर के साथ बहुत सामंजस्य है, हाल ही में हमारी कंपनी के अंदर हम सभी डुआन योनपिंग टीचर के एक वाक्य से बहुत प्रभावित हुए हैं: धीरे होना ही तेज होना है।

आप vibe coding का उपयोग करते हैं, आप बहुत तेजी से आगे बढ़ जाते हैं, लेकिन आपकी समझ पीछे रह जाती है, जिससे आपका सॉफ्टवेयर धीरे-धीरे अनियंत्रित हो सकता है और इसे व्यवस्थित करने के लिए आपको अधिक समय खर्च करना पड़ सकता है।

इस समस्या के लिए, मुझे लगता है कि दो दृष्टिकोण हो सकते हैं:

पहला, अगर हम AI को एक उपकरण के रूप में देखते हैं, तो मनुष्य और उपकरण हमेशा से साथ-साथ विकसित होते रहे हैं, क्योंकि उपकरण यह निर्धारित करते हैं कि मनुष्य किस प्रकार की क्षमताओं को अधिग्रहण करता है।

हो सकता है कि कितने हजारों साल पहले लोगों को जिन क्षमताओं की आवश्यकता थी, अब उनका कोई महत्व नहीं है; आधुनिक लोगों की क्षमताएँ वर्तमान उपकरणों द्वारा निर्धारित होती हैं।

उपकरणों के दृष्टिकोण से, AI और मनुष्य निश्चित रूप से सहअस्तित्व का संबंध हैं, जो एक साथ विकसित हो रहे हैं।

दूसरा, यदि AI एक उपकरण नहीं है, बल्कि मनुष्य के समान समान जाति है, यहां तक कि मनुष्य से ऊपर है, तो भविष्य साझा प्रगति का संबंध नहीं होगा।

शायद भविष्य में लोगों को बस आराम से लेटे रहना होगा, या फिर निराशावादी दृष्टिकोण से, लोगों को AI के लिए काम करना पड़ सकता है।

04 RSI क्या एक नया पैटर्न है?

प्रश्न: AI का स्वयं का विकास मौजूदा तकनीकी पथ की निरंतरता है, या एक नया तकनीकी परिप्रेक्ष्य है?

लिन ताओ: वर्तमान में, AI स्वयं के विकास की ओर प्राकृतिक रूप से बढ़ रहा है, केवल इतना कि Agent के परिपक्व होने से यह बात अब अधिक सरल हो गई है, लेकिन इसका अर्थ यह नहीं है कि इसमें कोई मूलभूत अंतर है।

वांग यान: मुझे लगता है कि यह अगला चरण है।

अब हम सभी एक साझा पैरामीटर मॉडल का उपयोग कर रहे हैं, लेकिन अंततः प्रत्येक व्यक्ति के पास एक अनूठा पैरामीटर क्षेत्र होगा। अभी यह काम करना आसान है, लेकिन इंफ्रास्ट्रक्चर इसे समर्थन नहीं करता है और यह बहुत महंगा है, लेकिन अंततः यह बड़ी बाधा नहीं बनेगी।

भविष्य में हर किसी के पास एक LoRA हो सकता है, अपना LoRA कैसे लोड करें, भविष्य में नए भुगतान मॉडल होंगे, अधिक पैसे देकर आपका LoRA बड़ा होगा, मुफ्त उपयोगकर्ता केवल बेस मॉडल का उपयोग कर सकते हैं।

अगर ऐसी इंफ्रास्ट्रक्चर स्थापित की जाती है, तो प्रत्येक व्यक्ति का अपना LoRA अपने व्यक्तिगत कार्यों को निष्पादित करेगा, और केवल फॉरवर्ड इन्फरेंस के डेल्टा नियम को सही ढंग से तैयार करना होगा, जो वास्तव में एक बहुत अच्छा स्व-विकास शिक्षण प्रणाली है।

यह इस बात के समान है कि बेस मॉडल तैयार हो चुका है, RL पारंपरिक सीखने और नियंत्रित सीखने के बीच का एक मध्यवर्ती चरण है, हमें इसे केवल कार्य, पुरस्कार और परिवेश देना है।

इसमें, कार्य ही वास्तव में पुरस्कार तंत्र है, उदाहरण के लिए, जब मॉडल कार्य करके परिणाम देता है, तो मैं "अच्छा किया" या "बहुत बुद्धिहीन किया" कहता हूँ, जो स्वाभाविक रूप से पुरस्कार तंत्र बन जाता है।

मुझे लगता है कि यह आने वाले भविष्य में होने वाला बदलाव है।

गुयु: इस प्रश्न के बारे में, मुझे लगता है कि यह मात्रात्मक परिवर्तन से गुणात्मक परिवर्तन का परिणाम है, यह या तो मौजूदा तकनीकी प्रतिरूप की निरंतरता हो सकती है, या फिर एक नया अवसर।

अब एक सहमति यह है कि विशिष्ट मात्रात्मक परिवर्तन का मापदंड AI द्वारा किए जा रहे कार्यों की दूरी है; जैसे-जैसे AI द्वारा किए जा रहे कार्य लंबे होते जाते हैं, वैसे-वैसे यह एक नए परिप्रेक्ष्य की ओर बढ़ रहा है।

उदाहरण के लिए, शुरुआत में AI केवल एकल-चक्र बातचीत कर सकता था, बाद में यह बहु-चक्र, लंबे निष्कर्ष और Deep Research तक पहुँच गया, अंततः यह lifelong level तक पहुँच सकता है।

उस समय, इस तरह के कार्यों को करते समय, AI को अपनी कमियों को लगातार पहचानना और खुद को लगातार सुधारना आवश्यक होगा, जिससे स्वाभाविक रूप से RSI या स्वयं सुधार बन जाता है।

यांग मेंग्युए: वास्तव में, सेल्फ इम्प्रूविंग एक बहुत नया अवधारणा नहीं है, कुछ साल पहले जब LLM पहली बार आया था, हम पहले से ही इसी तरह के काम कर रहे थे, जिसे अब सेल्फ इम्प्रूविंग की श्रेणी में शामिल किया गया है।

मैं भी सहमत हूँ कि अब मात्रात्मक परिवर्तन से गुणात्मक परिवर्तन का क्षण आ गया है, लेकिन मेरा मूल्यांकन मापदंड दीर्घकालिक कार्य नहीं है, क्योंकि मुझे लगता है कि दीर्घकालिक कार्य अधिकतर योजना स्तर की बातें हैं, और इसके लिए कुछ सूक्ष्म ऑपरेशन भी आवश्यक हैं।

एजेंट एक बहुत व्यापक अवधारणा है, उदाहरण के लिए, वर्तमान में शरीरयुक्त एजेंट, जिसे दीर्घकालिक कार्य योजना बनाने के अलावा प्रत्येक क्रिया पूरी करने की क्षमता भी चाहिए।

यह एक समग्र चीज़ है, क्या यह नए सिस्टम के अनुकूल हो सकता है, क्या प्रत्येक सूक्ष्म ऑपरेशन को सफलतापूर्वक पूरा किया जा सकता है, वास्तव में प्रत्येक प्रक्रिया self improving के माध्यम से पूरी की जा सकती है।

वास्तव में, स्वयं को बेहतर बनाना केवल एक तकनीकी साधन है, और सभी का अंतिम लक्ष्य AGI तक पहुँचना है।

प्रश्न: अगले 5-10 वर्षों में, RSI तकनीक परिपक्व हो जाएगी, AI स्वयं को विकसित करेगा और इसे नियंत्रित और स्थापित किया जा सकेगा, यह सबसे पहले क्या बदल देगा?

लिन ताओ: मुझे लगता है कि यह सब कुछ बदल देगा।

शायद आपके जन्म से ही एक साथ AI डिवाइस होगा, जो आपकी मदद करेगा कि आप इस दुनिया को समझें, और धीरे-धीरे आपका डिजिटल व्यक्ति बनाएगा, जो आपके जीवन के सभी पहलुओं में शामिल होगा।

यह अगले 5 वर्षों में संभावित तथ्य है।

गुयु: मैं भी सहमत हूँ कि परिवर्तन सभी पहलुओं में होता है, किसी विशिष्ट परिदृश्य में नहीं।

मैं जो बदलाव देखना चाहता हूं, वह है कि अगले 5-10 वर्षों में, अगर एजेंट मेरी जगह ले सकता है, तो बहुत अच्छा होगा, क्योंकि उद्यमिता काफी थकाने वाली है, जैसे कि मैंने आराम कर लिया हो।

वांग यान: अधिक संभावना है कि पूंजीपति AI का उपयोग करके अधिक लोगों को बदल देंगे।

मुझे लगता है कि यह एक स्वाभाविक घटना है, और अभी तक यह नहीं हुआ है क्योंकि मानव वेतन अभी तक टोकन से महंगा नहीं है, लेकिन मैं चाहता हूँ कि यह सब न हो।

मुझे आशा है कि AI हमें सप्ताह में पाँच दिन के काम के प्रणाली से तीन दिन के काम के प्रणाली में बदलने में मदद करेगा, एक दिन में आठ घंटे के काम से एक दिन में चार घंटे के काम में, और अधिक वस्तुओं को सस्ता बनाएगा।

यांग मेंग्युए: दर्शन के दृष्टिकोण से, मानव को इस दुनिया में बचे रहने के लिए मूल्य की आवश्यकता होती है।

मैं हर दिन उठकर Xiaohongshu या Twitter पर स्क्रॉल करता हूँ और एक नया चीज़ देखता हूँ, और मुझे लगता है कि मैं जो कर रहा हूँ, उसे AI बदल देगा। मुझे वास्तव में चिंता होती है कि AI ऐसा बदलाव करे, मेरा शोध का क्या मतलब है?

इसलिए मुझे लगता है कि AI को इंसानों को सोचने का कुछ स्थान छोड़ना चाहिए, ताकि मनुष्य खुद के लिए दुनिया के लिए उनकी सोच का मूल्य समझ सकें, मैं चाहता हूँ कि यह धीरे-धीरे आगे बढ़े।