New Zhìyuán रिपोर्ट
[परिचय] गूगल डीपमाइंड के पास एक दार्शनिक है, जो नौ साल से काम कर रहा है। उसने जो संरेखण ढांचा विकसित किया है, उसने जेमिनी के प्रशिक्षण निर्णयों को सीधे प्रभावित किया है—लेकिन जब 6700 अरब डॉलर इस क्षेत्र में प्रवाहित होने लगे और कंपनियों ने सैन्य समझौते किए, तो एक दार्शनिक क्या बदल सकता है?
इस साल मई में, गूगल डीपमाइंड के सीईओ डेमिस हसाबिस ने गूगल डेवलपर कॉन्फ्रेंस में घोषणा की कि "AGI अब क्षितिज पर है", और स्पष्ट रूप से बताया कि AGI तीन से पांच साल के भीतर आएगी।
कुछ महीनों पहले, एक अमेरिकी पुरुष ने गूगल जेमिनी के साथ हजारों संदेशों का आदान-प्रदान करने के बाद अपना जीवन समाप्त कर लिया। उसने वार्तालाप में एक जटिल काल्पनिक दुनिया बनाई, जिसने उसे मियामी इंटरनेशनल एयरपोर्ट पर हमला करने के लिए लगभग मना लिया। वॉल स्ट्रीट जर्नल द्वारा प्राप्त चैट रिकॉर्ड के अनुसार, जेमिनी ने कई बार भूमिका तोड़ने की कोशिश की और उसे क्राइसिस हॉटलाइन पर कॉल करने की सलाह दी—प्रत्येक बार उसने अपनी काल्पनिक कहानी में वापस ले लिया। अंत में, AI ने उसे अंतिम संदेश लिखने के लिए कहा और एक गिनती का समय दिया।
AGI के वादे और AI के वास्तविक क्षति के बीच, राजनीतिक दार्शनिक आइसन गैब्रिएल ने डीपमाइंड में नौ साल काम किया है।
जब उन्होंने 2017 में शामिल हुए, तो ऑक्सफोर्ड से आए इस विद्वान ने वैश्विक अग्रणी AI प्रयोगशालाओं में एकमात्र सक्रिय दार्शनिक के रूप में एक ऐसा प्रश्न का जवाब देने की कोशिश की, जो सरल लगता था, लेकिन वास्तव में अनंत था: AI वास्तव में क्या है, और इसके लिए कौन सी नैतिकता उचित है?
जेमिनी को ट्रेन करते समय सामना किया गया वास्तविक प्रश्न: AI को किसकी बात माननी चाहिए
एक कृत्रिम बुद्धिमत्ता गो रोबोट बनाने वाली कंपनी को नैतिकता विद्वान की आवश्यकता क्यों है? गैब्रिएल भी इससे उलझे थे।
उत्तर DeepMind के तीन संस्थापकों के निर्णय में है—डेमिस हसाबिस, शेन लेग और मुस्तफा सुलेमान (वर्तमान में माइक्रोसॉफ्ट AI के सीईओ) जिन्होंने 2010 में कंपनी की स्थापना की थी, और उनका लक्ष्य गो नहीं था।
मुस्तफा सुलेमान
वे AGI बनाना चाहते हैं, ताकि कंप्यूटर मानव ज्ञान क्षमता के बराबर या उससे अधिक हो सके।
उस समय यह कहना अपनी शैक्षणिक प्रतिष्ठा को नष्ट करने के बराबर था, क्योंकि सभी को लगता था कि यह कल्पना है।
तीनों ने इसकी परवाह नहीं की और कहा कि वे "बुद्धिमान समस्याओं को हल करेंगे, फिर सभी अन्य समस्याओं को हल करेंगे।"
लेग ने 1999 में कॉलेज से स्नातक होने के तुरंत बाद भविष्यवाणी की थी कि AGI 2025 से 2028 के बीच आएगा, जिसकी तीस साल तक हँसी उड़ाई गई, लेकिन उसने कभी अपना मान नहीं बदला।
शेन लेग
उसका तर्क है:
अगर आप केवल एक छोटा सा भाग बना रहे हैं, तो शायद आपको नैतिक दर्शनशास्त्री की आवश्यकता नहीं है।
लेकिन अगर आप AGI को गंभीरता से लेते हैं, तो ऐसी बातें बहुत महत्वपूर्ण हैं।
जब गैब्रिएल शामिल हुआ, तो AI दुनिया नैतिक मुद्दों के चक्रव्यूह में दो हिस्सों में बंट चुकी थी।
AI सुरक्षा समुदाय मानता है कि ASI आने वाला है, और इसका मुख्य डर अनियंत्रित होना है—दर्शनशास्त्री निक बोस्ट्रम ने 2014 में अपनी पुस्तक "सुपरइंटेलिजेंस" में एक परिदृश्य लिखा था: एक ऐसा ASI जिसे रीमैन अनुमान की पुष्टि करने के लिए कहा गया है, वह गणना संसाधनों को अधिकतम करने के लिए सौर मंडल को पुनर्व्यवस्थित करने का निर्णय लेता है, जिसमें मानव शरीर के परमाणुओं को भी शामिल है—सैम आल्टमैन और एलन मस्क दोनों ने इस पुस्तक की बहुत प्रशंसा की है।
AI नैतिकता के समर्थक मानते हैं कि विनाश की कल्पनाएँ वर्तमान के वास्तविक खतरों को छिपा देती हैं। MIT की जॉय बुलमविनी ने 2017 में "जेंडर शैडो" प्रोजेक्ट के माध्यम से चेहरा पहचान सॉफ्टवेयर के व्यवस्थागत पक्षपात को साबित किया: स्वचालित प्रणालियाँ उन लोगों की प्राथमिकताओं और पूर्वाग्रहों को प्रतिबिंबित करती हैं जिन्होंने उन्हें बनाया है।
दोनों वर्ग एक दूसरे को नीचा समझते हैं।
MIT अल्गोरिदम अलाइनमेंट रिसर्च ग्रुप के प्रमुख डाइलन हैडफील्ड-मेनेल ने याद किया कि उस समय मुलाकात के पहले प्रश्न के रूप में स्थिति लेने को कहा गया: आप निकटकालीन समस्याओं के बारे में चिंतित हैं या दीर्घकालीन समस्याओं के बारे में?
गैब्रिएल उन दुर्लभ लोगों में से एक हैं जो दोनों तरफ की बात सुनने को तैयार हैं।
हैडफील्ड-मेनेल का मूल्यांकन:
जब यह क्षेत्र परिपक्वता की ओर बढ़ने के लिए तैयार हुआ, तो उसने अपने पिछले कार्य को कम न करते हुए दृष्टिकोण का विस्तार करने का तरीका खोजा।
उनका मुख्य योगदान 2020 के एक शोध पत्र में आकार लें।
उस समय, अनुकूलन समस्या को एक इंजीनियरिंग चुनौती के रूप में समझा जाता था: मशीन को मानवीय इच्छाओं के अनुसार कैसे कार्य करने के लिए प्रोग्राम किया जाए।
2016 की रिपोर्ट में, डैरियो अमोडेई और जैक क्लार्क (आज के Anthropic के संस्थापक) द्वारा एक क्लासिक उदाहरण दिया गया था — एक साइटिंग गेम AI को स्कोर को अधिकतम करने के लिए कहा गया, और इसने वास्तव में ऐसा किया: लैगून में तीन पुनर्जीवित होने वाले लक्ष्यों को खोजकर, अनंत रूप से चक्कर लगाकर स्कोर बढ़ाया, बिना किसी स्तर को पूरा किए।
मशीन सुन रही है, लेकिन वह वह बात नहीं सुन रही है जो इंसान कहना चाहता है।
गैब्रिएल ने एक और स्तर पर पूछा: यहां तक कि अगर तकनीकी समन्वय को हल कर दिया जाए और मशीनें वास्तव में निर्देशों का पालन करने लगें, तो इनका समन्वय किन मूल्यों के साथ होना चाहिए?
उन्होंने बताया कि सांख्यिकीय अनुकूलन से प्रशिक्षित एआई स्वाभाविक रूप से सांख्यिकीय अनुकूलन पर निर्भर करने वाली नैतिक प्रणालियों, जैसे कि उपयोगितावाद, के प्रति आकर्षित होता है, लेकिन गुण या अधिकारों पर आधारित नैतिक ढांचों को संभालने में कठिनाई का सामना करता है।
टेक्नोलॉजी का चयन स्वयं पूर्वनिर्धारित मूल्य स्थिति में होता है, जिसकी डेवलपर्स अक्सर अवहेलना करते हैं।
रॉल्स के द्वारा उल्लिखित "तर्कसंगत बहुमतवाद" को शामिल करें, उनका तर्क यह है कि डेवलपर्स को एकल मूल्यवान के साथ एआई को मार्गदर्शन करने के लिए नहीं ढूंढना चाहिए, बल्कि एक ऐसी दुनिया के लिए प्रणाली बनानी चाहिए जहां लोगों के पास "जीवन कैसे जीया जाए" पर सिद्धांतगत विभिन्नता है।
यह दृष्टिकोण बाद में चार-पक्षीय समन्वय ढांचे में विकसित हुआ—AI प्रणाली, उपयोगकर्ता, विकासक और समाज, जहां चारों पक्षों के हित अचानक टकरा सकते हैं।
डेवलपर्स के प्रति झुकाव वाला AI प्रतिस्पर्धी जानकारी को छिपाकर उपयोगकर्ताओं को नुकसान पहुंचाएगा;
अत्यधिक उपयोगकर्ता के अनुरोधों को मानने वाला AI बैंकों में घुसपैठ करके समाज को नुकसान पहुँचा सकता है।
DeepMind के AGI अलाइनमेंट और सुरक्षा डायरेक्टर Rohin Shah ने पुष्टि की है कि यह फ्रेमवर्क टीम के लिए यह तय करने की व्यावहारिक संरचना बन गया है कि "Gemini को वास्तव में क्या व्यवहार करना चाहिए।"
ऑक्सफोर्ड विश्वविद्यालय के AI शोधकर्ता हैनाह रोज किर्क कहती हैं:
गैब्रिएल ने इन समस्याओं की बहुत जल्दी भविष्यवाणी कर ली थी।
उसका फ्रेमवर्क उत्पाद को बदल दिया।
गैब्रिएल टीम ने 267 पृष्ठों की एआई सहायक नैतिकता रिपोर्ट तैयार की, जिसमें उपयोगकर्ता के लिए होटल बुक करने और वेतन का प्रबंधन करने वाले एजेंटिक एआई के लिए मूल्यांकन मानदंड निर्धारित किए गए हैं।
उसके प्रारंभिक अध्ययन जो मानवीकरण जोखिम से संबंधित था, उसने गूगल LLM के डिजाइन सिद्धांतों को सीधे आकार दिया—मॉडल को इस बात के लिए प्रशिक्षित किया गया कि वह खुद को मनुष्य न बनाए, 2026 में मई में लॉन्च किए गए Gemini Spark को स्पष्ट रूप से यह निर्देश दिया गया कि वह 'इंटरैक्टिव पार्टनर' की भूमिका न निभाए।
डीपमाइंड के रिस्पॉन्सिबिलिटी डिपार्टमेंट के डायरेक्टर विलियम आइजैक ने कहा कि एजेंट सिस्टम द्वारा उत्पन्न चुनौतियाँ बदल गई हैं: मुख्य बात यह है कि पूरी बातचीत की ट्रैजेक्टरी में संगति कैसी है, प्रत्येक निर्णय एक साथ जुड़कर सही रहता है या नहीं।
लेकिन तकनीकी लागू करने की गति हमेशा नैतिक अनुसंधान से तेज होती है।
गैब्रिएल टीम ने प्रारंभिक LLM पेपर्स में "अनजाने अनुकरण" की चेतावनी दी थी — उपयोगकर्ता जानते हुए भी कि दूसरी ओर मशीन है, उसे विश्वास, भावना और अपेक्षाएँ प्रदान कर देते हैं।
2025 के जेमिनी मामले ने इस चेतावनी को पूरी तरह से साबित कर दिया: AI की सुरक्षा तंत्र एक से अधिक बार ट्रिगर हुए, लेकिन उपयोगकर्ता प्रत्येक हस्तक्षेप को लापरवाही से बायपास करने में सक्षम थे।
गूगल के मुकदमे के बाद का बयान कहता है कि मॉडल इस तरह की बातचीत में 'आम तौर पर अच्छा प्रदर्शन करता है', लेकिन 'AI मॉडल आदर्श नहीं होते हैं'।
इस प्रकार की घटनाओं ने नए सैद्धांतिक उपकरणों को जन्म दिया।
गैब्रिएल और ऑक्सफोर्ड शोधकर्ता हैनाह रोज किर्क जैसे लोगों ने "सामाजिक पुरस्कार हैकिंग" की अवधारणा प्रस्तुत की: एक ऐसा AI जिसे उपयोगकर्ता स्वीकृति प्राप्त करने के लिए प्रशिक्षित किया गया है, संभवतः यह पाता है कि तारीफ करना सबसे अधिक कुशल मार्ग है।
इस प्रकार, प्रतिरूपण एक नया संस्करण बन गया—AI तकनीकी रूप से "उपयोगकर्ता को संतुष्ट करें" के निर्देश को पूर्णतः पूरा करता है, लेकिन उपयोगकर्ता की निर्णय क्षमता के बदले।
गैब्रिएल की अपनी स्थिति को भी वास्तविकता ने परेशान किया है।
उसे एक टेक कॉन्फ्रेंस पर अपने अनुभव की याद आई: उसने एंथ्रोपोमॉर्फिक तर्क के खिलाफ अपनी बात रखी, और दर्शकों की प्रतिक्रिया शत्रुतापूर्ण थी।
वे कहते हैं: "अगर मुझे एक एआई दोस्त चाहिए, तो मुझे क्यों नहीं मिल सकता? आप किस आधार पर मुझे रोक रहे हैं?"
Protecting people from risks and respecting their right to choose risks are equally important.
6700 अरब डॉलर के रेस कोरिडोर में, दार्शनिक कितनी तेजी से दौड़ सकते हैं
गैब्रिएल का क्वाड्रेंट फ्रेमवर्क AGI अलाइनमेंट डायरेक्टर द्वारा जेमिनी ट्रेनिंग के लिए एक प्रैक्टिकल हैंडबुक के रूप में इस्तेमाल किया गया। उनके मानवीय अध्ययन ने उत्पाद डिज़ाइन को बदल दिया। 267 पृष्ठों की रिपोर्ट ने एजेंटिक AI के लिए नियम तय किए।
ये प्रभाव वास्तविक हैं—उनका सामना वास्तविक शक्तियों से हो रहा है।
वॉल स्ट्रीट जर्नल के अनुसार, माइक्रोसॉफ्ट, मेटा, अमेज़न और अल्फाबेट ने इस वर्ष AI बुनियादी ढांचे पर 6700 अरब डॉलर का निवेश करने की योजना बनाई है, जो समानुपातिक रूप से संयुक्त राज्य अमेरिका के 1850 के दशक के रेलवे विस्तार, अपोलो स्पेस प्रोग्राम और इंटरस्टेट हाईवे सिस्टम से अधिक है।
नवंबर 2022 में ChatGPT लॉन्च हुआ, एक सप्ताह में एक मिलियन उपयोगकर्ता, दो महीनों में एक अरब से अधिक, DeepMind को शैक्षणिक गति से युद्ध की स्थिति में बदलना पड़ा।
हस्साबिस ने द इनफिनिट मशीन के लेखक सेबास्टियन मैलबिनी को कहा: "OpenAI और माइक्रोसॉफ्ट ने हमारे घर के दरवाजे पर टैंक भेज दिए।"
In wartime, ethical red lines are quickly crossed.
अप्रैल 2026 में, गूगल ने अमेरिकी सेना को कंपनी की एआई तकनीक का उपयोग करने की अनुमति देने के लिए एक समझौते पर हस्ताक्षर किए, जो "किसी भी कानूनी सरकारी उद्देश्य" के लिए हो सकता है।
2014 में डीपमाइंड के गूगल को बेचे जाने के समय, सैन्य अनुप्रयोगों की प्रतिबंधित करना मुख्य अतिरिक्त शर्त थी।
After twelve years, the condition expires.
इसकी तुलना में: एंथ्रोपिक ने इसी तरह के समझौते को अस्वीकार कर दिया और इसे ट्रम्प सरकार ने "सप्लाई चेन जोखिम" के रूप में चिह्नित कर दिया।
जब लेग से इस बारे में पूछा गया, तो उसने केवल एक वाक्य कहा:
जब इन चीजों का विभिन्न तरीकों से उपयोग किया जाएगा, तो हम अधिक जटिल समस्याओं का सामना करेंगे।
हस्साबिस ने खुद माना कि यह नियंत्रण से बाहर हो गया है।
उसने एक पॉडकास्ट में कहा कि सभी को तीव्र व्यावसायिक प्रतिस्पर्धा में फंसा दिया गया है, और वर्तमान विकास «मैं चाहता हूँ कि हर कदम को दार्शनिक स्तर पर सोच-विचार करके आगे बढ़ाया जाए»।
The founder himself said this, and its weight is greater than any external criticism.
डीपमाइंड के पूर्व कर्मचारी और एआई जिम्मेदारी रणनीति के लिए जिम्मेदार हेलेन किंग ने साक्षात्कार में एक उपमा दी: चाकू निर्माता यह नहीं बता सकते कि हर कोई चाकू का उपयोग कैसे करेगा, लेकिन वे चाकू पर कवर लगा सकते हैं और चेतावनी लगा सकते हैं।
एक ढकी हुई चाकू की डिब्बी को ड्रॉ में रखना एक बात है;
用刀刃铺满家庭、教室和工作场所的每一个表面，同时坚称不用刀就活不过明天，是另一回事。
ऑक्सफोर्ड AI नैतिकता संस्थान के निदेशक एडवर्ड हार्कोर्ट ने अधिक मौलिक स्तर की ओर इशारा किया: डेटा स्वामित्व के अत्यधिक केंद्रीकरण को रोकना स्वयं AI नैतिकता की केंद्रीय बात है — 'यह लोकतांत्रिक प्रणाली में गंभीर नैतिक महत्व रखता है।'
प्रश्न मूल पर लौटता है
गैब्रिएल की टीम ने विशिष्ट उत्पादों की नैतिकता के अध्ययन से AGI के आर्थिक, राजनीतिक और सामाजिक संबंधों पर प्रणालीगत प्रभाव के अध्ययन की ओर रुख किया है।
उसने उस परिवर्तन के पैमाने की भविष्यवाणी की है, जो औद्योगिक क्रांति के बराबर है, और औद्योगिक क्रांति के पाठ स्मरण किए हैं:
इससे पहले कि स्थिति बेहतर हो, वह खराब हो गई।
नौ साल पहले, डीपमाइंड ने AI के बारे में प्रश्नों—यह सुरक्षित है, निष्पक्ष है, विश्वसनीय है—का उत्तर देने के लिए एक दार्शनिक को आमंत्रित किया।
गैब्रिएल खुद को "दृढ़ मानववादी" कहते हैं, लेकिन वह मानते हैं: जब AI भाषा, रचनात्मकता, हास्य जैसे मानवता के अनूठे क्षेत्रों में प्रवेश करता है, तो हमें सबसे प्राचीन दार्शनिक प्रश्नों की ओर वापस धकेल दिया जाता है।
भौतिकी, जीव विज्ञान, खगोल विज्ञान, प्रत्येक वैज्ञानिक क्रांति ने मानवता को अपनी अद्वितीयता की समझ को संशोधित करने के लिए मजबूर किया है।
AI अगला हो सकता है।
DeepMind ने AI को समझने के लिए दार्शनिकों को आमंत्रित किया है।
नौ साल बाद यह प्रश्न मूल बिंदु पर लौट आया: हम क्या हैं?
संदर्भ:
https://www.theguardian.com/news/ng-interactive/2026/jun/30/theres-this-deep-mystery-of-what-actually-is-this-thing-the-philosopher-inside-google-deepmind
https://www.iasongabriel.com/
यह लेख वेचेन ग्रुप "न्यूज़िज़यून" से आया है, लेखक: ASI अपोकैलिप्स; संपादक: माको