टेकक्रंच के अनुसार, द इनफॉर्मेशन की रिपोर्ट के अनुसार, ओपनएआई का आगामी एस्ट्रा मॉडल "रिकर्सिव डीप" नामक एक निष्कर्षण तकनीक का उपयोग करेगा। यह विधि मॉडल के निष्कर्षण प्रक्रिया में दृश्य निशान कम कर सकती है, जिससे बाहरी लोगों के लिए विचार श्रृंखला रिकॉर्ड के माध्यम से मॉडल के किसी निष्कर्ष पर पहुंचने का कारण निर्धारित करना कठिन हो जाएगा।
सुरक्षा शोधकर्ताओं ने चेतावनी जारी की
सामान्य निष्कर्षण मॉडल में, चिंतन श्रृंखला आमतौर पर मॉडल के समस्या को संभालने के चरणबद्ध तरीके को दर्शाती है। हालाँकि, यह रिकॉर्डिंग मॉडल की वास्तविक सभी आंतरिक प्रक्रियाओं के समान नहीं है, लेकिन यह मॉडल के लक्ष्य से विचलन, असामान्य निर्णय या संभावित अनियंत्रित व्यवहार को देखने का एक महत्वपूर्ण उपकरण है।
रेडवुड रिसर्च के सीईओ बक श्लेगरिस ने कहा कि वे एस्ट्रा द्वारा इस तरह की तकनीक का उपयोग करने के बारे में "बहुत चिंतित" हैं। उनका मानना है कि यदि OpenAI इस तरह की विधियों के उपयोग को आगे बढ़ाता है, तो मॉडल की सोच की श्रृंखला की निगरानी की क्षमता में स्पष्ट गिरावट आ सकती है।
AI सुरक्षा पर लंबे समय से निगरानी करने वाले टिप्पणीकार ज़वी मोवशोविट्ज़ ने भी कहा कि यदि विभिन्न प्रयोगशालाएँ मॉडल क्षमताओं के चक्र में प्रतिस्पर्धा करती रहीं, तो भविष्य में नियामकों को उद्योग के सुरक्षा मानकों में निरंतर गिरावट को रोकने के लिए हस्तक्षेप करना पड़ सकता है।
Circular reasoning reduces visible traces
रिपोर्ट में कहा गया है कि "अपारदर्शी रिकर्सन" का अर्थ है कि मॉडल अब रेखीय चरणों के माध्यम से निष्कर्ष निकालने के बजाय एक ही प्रश्न पर चक्रीय रूप से काम करता है। इससे बाहरी पक्षों के लिए मध्यवर्ती प्रक्रियाओं को पढ़ना कम कठिन हो जाता है, जिससे पारंपरिक विचार श्रृंखला रिकॉर्ड प्रदान करने वाले दृश्यमान मार्ग से बचा जा सकता है।
यही सुरक्षा शोधकर्ताओं के सबसे बड़ी चिंता का विषय है। क्योंकि जब मॉडल अधिकाधिक अदृश्य आंतरिक स्थानों में निष्कर्ष निकालने लगते हैं, तो शोधकर्ता इसे पहचानना कठिन हो जाता है कि क्या यह भ्रमित कर रहा है, प्रतिबंधों से बच रहा है, या अन्यथा अप्रत्याशित व्यवहार कर रहा है।
रेडवुड रिसर्च के मुख्य वैज्ञानिक रायन ग्रीनब्लैट ने कहा कि बड़ा जोखिम यह है कि इस तरह की अपारदर्शी तर्क प्रक्रिया पारंपरिक विचार श्रृंखला तर्क की तुलना में आसानी से स्केल हो सकती है, जिससे अधिकांश तर्क प्रक्रियाएँ दृश्यमान चैनल से बाहर हो जाएँ।
OpenAI ने निगरानी क्षमता बनाए रखने पर जोर दिया
हालांकि, वर्तमान चरण में एस्ट्रा का इस तकनीक का उपयोग अभी तक सीमित है। रिपोर्ट में बताया गया है कि मॉडल की सोच की श्रृंखला अभी भी पठनीय रहने की उम्मीद है, और OpenAI बाहरी दुनिया द्वारा इसे पूरी तरह से अव्याख्येय “न्यूरल स्पीच” में बदलने के रूप में वर्णित करने के खिलाफ है।
OpenAI के मुख्य वैज्ञानिक जाकुब पैचोकी ने X पर कहा कि कंपनी ने सबसे पहले के रीजनिंग मॉडल से ही थिंकिंग चेन मॉनिटरिंग क्षमता को बनाए रखने और उपयोग करने की कोशिश की है, जो वर्तमान अनुसंधान योजना का एक केंद्रीय लक्ष्य भी है।
ध्यान देने योग्य बात यह है कि ऐसी दिशा में केवल OpenAI ही संपर्क में नहीं है। The Information की बाद की रिपोर्ट के अनुसार, Anthropic और Google DeepMind भी इसी तरह की तकनीक पर चर्चा कर रहे हैं। इसका मतलब है कि मॉडल क्षमता और सुरक्षा-जांचयोग्यता के बीच संतुलन जल्द ही AI उद्योग के लिए एक सामान्य विषय बन सकता है।