लेखक: ह्यूगो, रोबोनेस्सांस
संपादित: शेनचाओ टेकफ्लो
शेनचाओ का सारांश: शुरुआती Atari गेम एजेंट से लेकर मिलियनों कॉन्टेक्स्ट विंडो वाले बड़े भाषा मॉडल तक, कालानुक्रमिक निर्णय लेते समय कृत्रिम बुद्धिमत्ता हमेशा एक मूलभूत भौतिक विरोधाभास का सामना करती है: मॉडल मानवीय ज्ञान के विशाल स्थिर डेटा को आसानी से समाहित कर सकता है, लेकिन गतिशील अंतर्क्रियात्मक परिवेश में, यह पिछले सभी विवरणों को बिना क्षति के साथ ले जाने में असमर्थ है।
सीमित कैलकुलेशन और कॉन्टेक्स्ट विंडो के कठोर प्रतिबंधों के तहत, भविष्य की मुख्य स्थिति को सटीक रूप से निकालते हुए अतीत को संपीड़ित करना, केवल “अनुभव संकर” को हल करने की तकनीकी क्रांति ही नहीं, बल्कि वर्तमान स्वायत्त एजेंट्स को वास्तविक स्थायी स्मृति की ओर ले जाने की मूल तर्कशक्ति भी है।

स्टैग्नेट फ्रेम के नीचे स्थिति का विरोधाभास
यह मेमोरी, फॉरगेटनेस एंड सेल्फ इन द मशीन सीरीज का तीसरा एपिसोड है: जब एजेंट सभी अतीत को साथ नहीं ले सकता, तो बुद्धिमत्ता कैसे समय के साथ कार्य करती है।
किसी भी फ्रेम पर पॉन्ग बाउंसिंग गेम को स्टॉप करके देखें।
चित्र में केवल दो रैकेट, एक गेंद और वर्तमान स्कोर है। इस समय अगर आपसे कहा जाए कि गेंद किस दिशा में उड़ रही है, तो आप इसे बताने में सक्षम नहीं होंगे, भले ही मशीन को एक ही स्थिर चित्र दिखाया जाए, मशीन भी इसे निर्धारित नहीं कर सकती।
शोधकर्ता मैथ्यू हॉस्कनेक्ट और पीटर स्टोन ने 2015 में एटारी गेम खेलने के लिए सीखने वाले एजेंट पर अपने पेपर में सीधे-सादे तरीके से बताया: "वर्तमान एकल-फ्रेम स्क्रीन केवल रैकेट और गेंद की स्थिति ही दर्शाती है, लेकिन गेंद की गति नहीं।"
उन्होंने आगे स्पष्ट किया कि यह क्यों महत्वपूर्ण है: "गेंद की दिशा को जानना, रैकेट की आदर्श स्थिति निर्धारित करने का मुख्य तत्व है।"
यह स्टॉप फ्रेम सटीक है, और इस फ्रेम में हर विवरण अपने सही स्थान पर है। लेकिन केवल इस एकल फ्रेम से, अभी भी इस खेल को पूरा नहीं किया जा सकता।
सेंसर वर्तमान क्षण में केवल एक "अवलोकन (Observation)" को पकड़ता है।
और एजेंट की अगली कार्रवाई के लिए आवश्यक वास्तविक सार्वभौमिक स्थिति, "सिस्टम स्टेट (State)" है।
Pong गेम में, प्रत्येक फ्रेम स्लाइस पर अवलोकन और सिस्टम स्थिति एक-दूसरे से अलग होते हैं। क्योंकि गेंद की गति की दिशा पिछले कुछ क्षणों के बारे में एक तथ्य है, और कोई भी अलग क्षण इसे अकेले शामिल नहीं कर सकता।
जब वर्तमान में आने वाली तत्काल इनपुट निर्णय लेने की आवश्यकता को पूरा नहीं कर पाती, तो एक अच्छी तरह से कार्य करने वाली प्रणाली को अपने अतीत से वर्तमान में कुछ जानकारी लानी चाहिए।
लेकिन इसमें सदैव पूर्ण अतीत नहीं हो सकता। इसमें केवल एक सारांश होता है, और इस सारांश का चयन पूरी तरह से इसके अगले भविष्यवाणी के लक्ष्य पर निर्भर करता है।
यह तुलना बाद के क्षणों को किस जानकारी के आधार पर उपलब्ध कराती है। किसी भी सारांश में छूट गए विवरण के आधार पर बाद के क्षण कभी भी प्रतिक्रिया नहीं दे सकते।
चार फ्रेम गहराई की स्मृति वाला समझौता
Hausknecht और Stone द्वारा तब प्रतिक्रिया दी गई प्रणाली, जिसे DeepMind के Volodymyr Mnih और अन्य ने 2015 में Nature पत्रिका में प्रकाशित DQN एजेंट थी।
DQN केवल स्क्रीन दृश्य के माध्यम से दर्जनों Atari गेम्स खेलना सीख सकता है, और अनुसंधान लेखकों ने विकास के प्रारंभिक चरण में ही स्टॉप्ड फ्रेम की समस्या का सामना किया।
उन्होंने अपने पेपर के विधि अनुभाग में लिखा है: "चूंकि एजेंट केवल वर्तमान स्क्रीन को देख सकता है, इस कार्य को आंशिक रूप से पर्यवेक्षित अवस्था माना जाता है, जिसमें कई सिमुलेटर अवस्थाएँ संवेदनात्मक रूप से भ्रामक (Perceptually Aliased) हैं।"
In other words, the current screen image alone cannot inform the agent of the complete situation.
“परिकल्पना भ्रम” दैनिक परेशानियों का एक सटीक शैक्षणिक वर्णन है। दो संपूर्ण अलग परिस्थितियाँ (जैसे, गेंद आपके रैकेट की ओर उड़ रही है, या गेंद आपके रैकेट से दूर उड़ रही है) स्थिर चित्र में पूरी तरह समान छवि पैदा करती हैं।
एक केवल चित्र देखने वाली प्रणाली को उन्हें एक ही स्थिति के रूप में मानना पड़ता है; यदि इन दोनों स्थितियों में पूरी तरह विपरीत कार्रवाई करने की आवश्यकता होती है, तो प्रणाली अवश्य ही एक में गलती करेगी।
उनकी उपाय विधि बहुत सीधी है। नेटवर्क केवल एक स्क्रीन शॉट ही नहीं, बल्कि हाल की कुछ फ्रेम्स को एक साथ ओवरले करके इनपुट के रूप में स्वीकार करता है।
डिफ़ॉल्ट सेटिंग में 4 फ्रेम का मान लिया जाता है, हालाँकि यह एल्गोरिथम 3 या 5 फ्रेम के मान के लिए भी समायोज्य है।
चार फ्रेमों को एक साथ रखने पर, गेंद की गति सीधे स्थिति में परिवर्तन के रूप में प्रकट हो जाती है। गति की दिशा अब एक अमूर्त याददाश्त की आवश्यकता वाली अवधारणा नहीं रह जाती, बल्कि एक सीधे दृश्य गुण में बदल जाती है।
इस पेपर ने इस स्टैक्ड फ्रेम्स सेट को स्मृति नहीं कहा है। यह मूल रूप से केवल एक एकल क्षण से थोड़ा अधिक चौड़ा इनपुट चैनल है।
Perception Confusion and Physical Hard Boundaries
इस इनपुट चौड़ाई के लिए अत्यंत कठोर भौतिक सीमाएँ हैं, जिन्हें हौसकनेक्ट और स्टोन ने सटीक रूप से निर्दिष्ट किया है।
उन्होंने लिखा: क्योंकि DQN को एजेंट के हालिया अनुभव से लिए गए चार अवस्थाओं के आधार पर प्रशिक्षित किया जाता है, "अगर कोई गेम खिलाड़ी से चार स्क्रीन से अधिक पुरानी घटनाओं को याद रखने की आवश्यकता करता है, तो DQN उस गेम को समझने में असमर्थ होगा।"
DQN के लिए, पांचवें स्क्रीन से पहले का इतिहास उसके इनपुट रेंज में मौजूद नहीं होता है।
इस निश्चित स्लाइडिंग विंडो आधारित तंत्र से सीधे सामने आता है कि समय श्रृंखला प्रसंस्करण में मशीनी बुद्धिमत्ता का मूल विरोधाभास: चाहे विंडो कितनी भी विस्तारित की जाए, सीमा के बाहर की जानकारी को भौतिक रूप से मिटा दिया जाता है।
