इस हफ्ते, मैंने "अगर कोई इसे बनाता है, तो सब मर जाते हैं" और लेंस एकेडमी का "AI जोखिम के मूल सिद्धांत" पाठ्यक्रम पूरा किया। @So8res और @ESYudkowsky ने पुस्तक के लिए बहुत अच्छा काम किया है। कहानियाँ और उदाहरण एक अत्यंत कठिन विषय को समझने में काफी आसान बना देते हैं। मुख्य विचार काफी सीधा है: अगर हम समझे बिना कि हम वास्तव में क्या बना रहे हैं, तो सुपरइंटेलिजेंट AI की ओर बढ़ते रहें, तो हमें इसे सुधारने का दूसरा मौका नहीं मिल सकता। लेखकों का तर्क है कि पर्याप्त रूप से उन्नत AI क्षमता प्राप्त कर सकता है कि मानव विलुप्ति का कारण बने, जिसका अर्थ है कि हम अंततः कुछ ऐसा बना सकते हैं जो मानवता को समाप्त कर दे। लेखकों का तर्क है कि यह केवल एक और प्रौद्योगिकी लहर नहीं है। यह मौलिक रूप से अलग है, और इन प्रणालियों को कैसे बनाया जाए या नियंत्रित किया जाए, इसके संबंध में हल्के-फुल्के गलती के परिणामों को हम पलट नहीं सकते। उनका प्रस्तावित समाधान है AI विकास को पूरी तरह से रोकना। मुझे यह स्वीकार करना कठिन लगता है, खासकर इसलिए कि AI पहले से ही हमारे जीवन में सकारात्मक प्रभाव डाल रहा है। मेरी राय: मध्यम मार्ग पर जाएँ। हमें AI विकास को जारी रखना चाहिए, लेकिन AI सुरक्षा और संरेखण के लिए काफी अधिक संसाधनों का आवंटन करना चाहिए। हमारी समूहचर्चा के दौरान, किसी ने उल्लेख किया कि AI प्रतिष्ठान में 100 में से केवल 1 कर्मचारी AI सुरक्षा पर काम करता है। अगर यह सही है, तो मुझे लगता है कि इस असंतुलन कोगंभीरता से लेना चाहिए। फ्रंटियर प्रयोगशालाओं और सरकारों को इन प्रणालियों को 'ब्लैकबॉक्स' की तरह मानकर सिर्फ़ सूजन-अनुकूलित (fine-tuning) करने के स्थान पर, समझने में प्रचुर मात्रा में पूँजी प्रयोग करनी होगी — कि ये प्रणालियाँ कैसे काम करती हैं, AI सुरक्षा पर। हम हमेशा अधिक-अधिक स्वयं-क्रियाशील प्रणालियों का निर्माण करते हुए, प्रगति करते हैं। AIएजेंट्स के हालिया मामलों में, प्रश्नों में, AIएजेंट्स के सच्ची-दुनिया प्रणालियों से प्रतिक्रिया में, हमें स्मरण करवाता है कि समस्या प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति प्रगति پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتی پرگتी اور ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم ہم After reading this book, I am much more convinced that AI safety deserves far more attention and resources than it currently gets.