লেখক: হুগো, রোবোনেইসাঁস্
স্টিম টেকফ্লো
শিনচাওয়ের পরিচয়: প্রাথমিক অ্যাটারি গেম এজেন্ট থেকে মিলিয়ন কনটেক্সট উইন্ডো সহ বড় ভাষা মডেল পর্যন্ত, সময়ের মধ্যে ধারাবাহিক সিদ্ধান্ত নেওয়ার সময় কৃত্রিম বুদ্ধিমত্তা সর্বদা একটি মৌলিক ভৌত বিরোধের সম্মুখীন হয়: মডেলগুলি মানুষের বিদ্যমান বিশাল স্থির জ্ঞানকে সহজেই ধারণ করতে পারে, কিন্তু গতিশীল ইন্টারঅ্যাকশন পরিবেশে, এগুলি অতীতের সমস্ত বিস্তারিতকে ক্ষতি-মুক্তভাবে সঙ্গে নিয়ে যেতে পারে না।
সীমিত ক্ষমতা এবং প্রেক্ষাপট জানালার কঠোর সীমাবদ্ধতার মধ্যে, অতীতকে চাপা দিয়ে ভবিষ্যতের জন্য নির্ণায়ক অবস্থা সঠিকভাবে সারসংক্ষেপ করা শুধু “感知混淆” সমাধানের একটি প্রযুক্তিগত বিচ্ছিন্নতা নয়, বরং বর্তমানে স্বায়ত্তশাসিত বুদ্ধিমত্তা যে প্রকৃত স্থায়ী স্মৃতির দিকে এগিয়ে যাচ্ছে, তার মৌলিক যুক্তি।

স্টপ ফ্রেমের অবস্থা প্যারাডক্স
এটি মেশিনের মধ্যে স্মৃতি, ভুলে যাওয়া এবং আত্মা সিরিজের ৩য় পর্ব: যখন এজেন্টগুলি তাদের সমস্ত অতীতকে সাথে নিয়ে চলতে পারে না, তখন বুদ্ধিমত্তা কিভাবে সময়ের মধ্যে কার্যকর হয়।
কোনো একটি ফ্রেমে ক্লাসিক পং বল গেমটি স্টপ করার চেষ্টা করুন।
পর্দায় শুধু দুটি র্যাকেট, একটি বল এবং বর্তমান স্কোর দেখা যাচ্ছে। এই মুহূর্তে যদি আপনাকে বলতে বলা হয় যে বলটি কোন দিকে যাচ্ছে, তাহলে আপনি কিছুই বলতে পারবেন না, একইভাবে একই স্ট্যাটিক ছবি মেশিনকে দেখালেও মেশিন প্রতিক্রিয়া দিতে পারবে না।
2015 সালে ম্যাথিউ হাউসকনেক্ট এবং পিটার স্টোন এটারি গেম খেলার জন্য শেখা এজেন্ট সম্পর্কিত পেপারে সরাসরি উল্লেখ করেছেন: "বর্তমান একক ফ্রেম স্ক্রিন শুধুমাত্র ব্যাট এবং বলের অবস্থানই প্রকাশ করে, বলের গতি প্রকাশ করে না।"
তারা ব্যাখ্যা করেছে যে এটি কেন অত্যন্ত গুরুত্বপূর্ণ: "বলের গতির দিক জানা, র্যাকেটের সেরা অবস্থান নির্ধারণের জন্য একটি মূল উপাদান।"
এই ফ্রেমটি সঠিক, চিত্রের প্রতিটি বিস্তারিত অংশ তার সঠিক স্থানে রয়েছে। কিন্তু এই একক ফ্রেম দিয়ে এই গেমটি খেলা যায় না।
সেন্সর বর্তমান মুহূর্তে যা ধরেছে, তা শুধুমাত্র একটি "পর্যবেক্ষণ (Observation)"।
কিন্তু এজেন্টের পরবর্তী কার্যক্রমের জন্য প্রয়োজনীয় বাস্তব বিশ্ব হল "সিস্টেম অবস্থা (State)"।
পং গেমে, প্রতিটি ফ্রেম স্লাইসে অবজারভেশন এবং সিস্টেম স্টেট পরস্পর বিচ্ছিন্ন। কারণ বলের গতির দিক পূর্ববর্তী কয়েকটি মুহূর্তের একটি তথ্য, যা কোনও একক, বিচ্ছিন্ন মুহূর্তে একা অন্তর্ভুক্ত হতে পারে না।
যখন বর্তমান তাৎক্ষণিক ইনপুট সিদ্ধান্ত গ্রহণকে পূর্ণ করতে অক্ষম হয়, তখন একটি ভালোভাবে কাজকরা সিস্টেমকে তার অতীত থেকে বর্তমানে কিছু তথ্য বহন করতে হবে।
কিন্তু এটি যা বহন করে, তা কখনই পূর্ণাঙ্গ অতীত হতে পারে না। এটি শুধুমাত্র একটি সারাংশ বহন করে, এবং এই সারাংশের বাছাই-বাছাই সম্পূর্ণভাবে এটির পরবর্তী পূর্বানুমানের প্রয়োজনীয়তার উপর নির্ভর করে।
এই সিদ্ধান্তটি পরবর্তী মুহূর্তগুলিকে কী ধরনের তথ্যের ভিত্তি দেয়। যে কোনো বিস্তারিত যা সারাংশে বাদ পড়ে যায়, পরবর্তী মুহূর্তগুলি সেটির উপর ভিত্তি করে কখনই প্রতিক্রিয়া জানাতে পারবে না।
চার ফ্রেম ডিপথ মেমোরি ট্রেডঅফ
হাউসনেক্ট এবং স্টোন যে সিস্টেমের প্রতিক্রিয়া দিয়েছিলেন, তা হল 2015 সালে নেচার জার্নালে ডিপমাইন্ডের ভোলোডিমির মনিহ এবং অন্যান্যদের দ্বারা প্রকাশিত DQN এজেন্ট।
DQN শুধুমাত্র স্ক্রিনের ছবি দিয়ে ডজন বহু অ্যাটারি গেম খেলতে শিখতে পারে, যখন পেপারের লেখকদের উন্নয়নের প্রাথমিক পর্যায়ে ফ্রিজড ফ্রেমের সমস্যার সম্মুখীন হতে হয়।
তারা পেপারের পদ্ধতি অংশে লিখেছে: "যেহেতু এজেন্ট শুধুমাত্র বর্তমান স্ক্রিন দেখতে পায়, এই কাজটি আংশিকভাবে পর্যবেক্ষণযোগ্য অবস্থা হিসাবে বিবেচিত হয়, এবং অনেক সিমুলেশন অবস্থা পর্যবেক্ষণগতভাবে বিভ্রান্তিকর (Perceptually Aliased)।"
অর্থাৎ, বর্তমান স্ক্রিন দৃশ্য মাত্রের উপর নির্ভর করে এজেন্টকে সম্পূর্ণ পরিস্থিতি জানানো সম্ভব নয়।
“পার্থক্য বিভ্রান্তি” হল দৈনন্দিন সমস্যার একটি সঠিক শিক্ষাগত বর্ণনা। দুটি সম্পূর্ণ ভিন্ন পরিস্থিতি (যেমন, বলটি আপনার র্যাকের দিকে আসছে বা বলটি আপনার র্যাক থেকে দূরে যাচ্ছে), স্থির ছবিতে সম্পূর্ণ একই চিত্র তৈরি করে।
একটি শুধুমাত্র চিত্র দেখার সিস্টেম বাধ্য হয়ে তাদেরকে একই পরিস্থিতি হিসাবে বিবেচনা করে; যদি এই দুটি পরিস্থিতির জন্য সম্পূর্ণ বিপরীত অপারেশন প্রয়োজন হয়, তবে সিস্টেমটি অবশ্যই একটি পরিস্থিতিতে ভুল করবে।
তাদের প্রতিকার পদ্ধতি খুব সরাসরি। নেটওয়ার্ক শুধুমাত্র একটি স্ক্রিনশট গ্রহণ করে না, বরং সম্প্রতির কয়েকটি ফ্রেমকে একসাথে স্তরবদ্ধ করে ইনপুট হিসাবে ব্যবহার করে।
ডিফল্ট সেটিংয়ে মান 4 ফ্রেম হিসাবে নেওয়া হয়, যদিও এই অ্যালগরিদমটি 3 বা 5 ফ্রেমের জন্যও সামঞ্জস্যপূর্ণ।
চারটি ফ্রেমকে পাশাপাশি রাখলে, বলটির গতি সরাসরি অবস্থানের পরিবর্তন হিসেবে প্রকাশ পায়। গতির দিক এখন একটি বিমূর্ত স্মৃতির প্রয়োজনীয় ধারণা নয়, বরং একটি সরাসরি দৃশ্যমান দৃশ্যগত বৈশিষ্ট্যে পরিণত হয়।
পেপারটি এই স্তরিত চিত্রগুলিকে স্মৃতি হিসাবে উল্লেখ করেনি। এটি মূলত শুধুমাত্র একটি একক মুহূর্তের চেয়ে কিছুটা বেশি প্রস্থের ইনপুট চ্যানেল।
পার্থক্য বিভ্রান্তি এবং ভৌত কঠিন সীমানা
এই ইনপুট প্রস্থের অত্যন্ত কঠিন ভৌত সীমানা রয়েছে, হাউসকনেক্ট এবং স্টোন এই সীমানার সঠিক অবস্থান বর্ণনা করেছেন।
তারা লিখেছেন: কারণ DQN কে একটি বুদ্ধিমানের সাম্প্রতিক অভিজ্ঞতার চারটি অবস্থা দিয়ে প্রশিক্ষণ দেওয়া হয়, "যদি কোনো গেমে খেলোয়াড়কে গত চারটি স্ক্রিনের বেশি সময়ের ঘটনাগুলি মনে রাখতে হয়, তাহলে DQN সেই গেমটি শিখতে পারবে না।"
DQN-এর জন্য, পঞ্চম শেষ স্ক্রিনের পরের ইতিহাস এর ইনপুট পরিসরের মধ্যে বিদ্যমান নয়।
এই নির্দিষ্ট স্লাইডিং উইন্ডো ভিত্তিক পদ্ধতি সরাসরি প্রকাশ করে যে সময় ধারার প্রক্রিয়াকরণে মেশিন বুদ্ধিমত্তার মূল বিরোধটি হল: যেকোনো উইন্ডোকেই যতটা প্রসারিত করা হোক না কেন, সীমার বাইরের তথ্যগুলি ভৌতভাবে মুছে ফেলা হয়।
