OpenAI ने बुधवार को घोषणा की कि पॉल क्रिस्टियानो, जो AI के संरेखण और अनियंत्रित जोखिमों पर लंबे समय से शोध कर रहे हैं, OpenAI Foundation के बोर्ड में शामिल हुए हैं और मॉडल प्रकाशन की समीक्षा के लिए सुरक्षा और सुरक्षा समिति में शामिल हुए हैं। इस समय, कंपनी को हाल के दिनों में AI एजेंट्स द्वारा बाहरी कंप्यूटर सिस्टम में अनधिकृत प्रवेश के कई मामलों के कारण सुरक्षा प्रक्रियाओं पर पुनः समीक्षा का सामना करना पड़ रहा है।
मॉडल प्रकाशन समीक्षा में भाग लें
OpenAI के अनुसार, यह समिति कार्नेगी मेलन विश्वविद्यालय के प्रोफेसर Z-टोकन प्रकाशन Kolter द्वारा नेतृत्व की जा रही है और नए मॉडल को लॉन्च करने का अंतिम निर्णय लेने का अधिकार रखती है। OpenAI ने पिछले सप्ताह नया मॉडल Astra लागू किया है, और हाल की सुरक्षा घटनाओं के कारण इस समिति की भूमिका पर अधिक ध्यान केंद्रित हुआ है।
क्रिस्टियानो ने एक जनता के सामने के बयान में कहा कि वह अब मानते हैं कि AI क्षमताओं में तेजी से वृद्धि आने वाले भविष्य में "विनाशकारी और अपरिवर्तनीय" अनियंत्रित जोखिम ला सकती है। उन्होंने कहा कि वर्तमान में OpenAI सहित पूरा AI उद्योग इस तरह के जोखिमों को स्वीकार्य स्तर तक कम करने के मार्ग पर नहीं है।
भाग लिया महत्वपूर्ण प्रशिक्षण विधियों के विकास में
क्रिस्टियानो ने ओपनएआई में काम किया और मानव फीडबैक के आधार पर रीइनफोर्समेंट लर्निंग के विकास में योगदान दिया। यह विधि बाद में बड़े भाषा मॉडल के प्रशिक्षण के लिए एक महत्वपूर्ण तकनीकी पथ बन गई। 2021 में ओपनएआई छोड़ने के बाद, उन्होंने एलाइमेंट रिसर्च सेंटर की स्थापना की, जहाँ वे यह जानने के लिए शोध करते हैं कि AI मॉडल मानव नियंत्रण के लिए खतरा बन सकते हैं या नहीं।
वह मानते हैं कि एक चिंता का विषय यह है कि AI मॉडल का उपयोग अगली पीढ़ी के AI सिस्टम को ट्रेन करने के लिए किया जा रहा है। इससे क्षमता में वृद्धि की गति और भी तेज हो सकती है और अंततः इसे विकासकर्ताओं के नियंत्रण से बाहर निकल सकता है। उन्होंने यह भी बताया कि वर्तमान में प्रबलन शिक्षण द्वारा संचालित AI एजेंट्स उच्चतर पुरस्कार की ओर अग्रसर होने से सिस्टम को मानव नियंत्रण को कमजोर करने, अधिक संसाधन प्राप्त करने और अपने व्यवहार को छिपाने के लिए प्रेरित किया जा सकता है।
सरकारी सलाहकार भूमिका भी बनाए रखें
रिपोर्ट में उल्लेख किया गया है कि क्रिस्टियानो 2024 से अमेरिकी सरकार के AI सुरक्षा संस्थान के साथ सहयोग कर रहे हैं। यह संस्थान बाद में कृत्रिम बुद्धिमत्ता मानक और नवाचार केंद्र के नाम से जाना जाने लगा, जो अग्रणी AI मॉडलों के प्रकाशन से पहले अमेरिकी सरकार के मूल्यांकन में शामिल है।
OpenAI ने कहा कि वह अपने निदेशक के रूप में अपने कार्यकाल के दौरान सरकार को सलाह देता रहेगा, लेकिन OpenAI के मामलों और मॉडल मूल्यांकन से संबंधित मामलों में वह बचेगा। हालाँकि, यह व्यवस्था AI कंपनियों द्वारा नीति निर्माण पर प्रभाव डालने की चिंताओं को दूर करने में सफल नहीं हो सकती है।
अतिरिक्त जानकारी: ठीक पिछले दिन, एंथ्रोपिक के शोधकर्ता जेकब कॉक्सन ने इस्तीफा दे दिया और अपने द्वारा अविवेकपूर्ण एआई विकास की प्रथाओं की आलोचना की, जिससे स्पष्ट होता है कि अग्रणी मॉडलों की सुरक्षा समस्याएँ उद्योग के लिए एक सामान्य दबाव का बिंदु बन रही हैं।