Автор: Hugo, Robonaissance
Переклад: Deep潮 TechFlow
Глибокий огляд: від ранніх агентів Atari до великих мовних моделей з мільйонами контекстних вікон, штучний інтелект завжди стикається з фундаментальною фізичною суперечністю під час послідовного прийняття рішень у часі: моделі легко здатні містити величезний обсяг статичних знань людини, але в динамічному інтерактивному середовищі не можуть без втрат переносити всі деталі минулого.
За обмежених обчислювальних ресурсів та контекстного вікна, як точно виділити ключові стани, що визначають майбутнє, спрощуючи минуле — це не лише технічний прорив у вирішенні «перцептивної плутанини», а й фундаментальна логіка, що дозволяє автономним агентам досягти справжньої тривалої пам’яті.
Парадокс стану на зупиненому кадрі
Це третій епізод серії «Пам’ять, забуття та Я в машині»: як інтелект здатен діяти у часі, коли агент не може носити з собою все минуле.
Спробуйте зупинити будь-який кадр класичної гри Pong.
На екрані лише дві ракетки, м’яч і поточний рахунок. Якщо зараз вас попросять сказати, куди летить м’яч, ви зовсім не зможете цього зробити — навіть якщо надати той самий статичний кадр машині, вона також не зможе визначити це.
У статті 2015 року Меттью Гаускнехт і Пітер Стоун прямо зазначили: «Поточний одиночний кадр екрану може виявити лише положення ракетки та м’яча, але не його швидкість».
Вони далі пояснили, чому це має вирішальне значення: «Знання напрямку руху м’яча є ключовим елементом для визначення оптимального положення ракетки.»
Цей кадр є точним, кожен деталь на екрані знаходиться на своєму місці. Але лише цим кадром недостатньо, щоб грати цю гру.
Датчик у цей самий момент фіксує лише одне «спостереження (Observation)».
А реальний глобальний стан, від якого залежить наступна дія агента, — це «стан системи (State)».
У грі Pong спостереження та стан системи є розривними на кожному окремому фреймі, оскільки напрямок руху м’яча — це факт, що залежить від кількох попередніх моментів, і жоден ізольований момент не може містити його окремо.
Коли поточний вхід не може задовольнити потреби прийняття рішень, добре спроектована система повинна переносити певну інформацію з минулого до поточного моменту.
Але те, що вона несе, ніколи не є повним минулим. Вона несе лише скорочення, а вибір цього скорочення повністю залежить від того, що їй потрібно передбачити наступним.
Цей компроміс визначає, якою інформаційною базою будуть володіти наступні моменти. Будь-які деталі, що були опущені під час стислого викладу, наступні моменти ніколи не зможуть врахувати.
Компроміс пам’яті з чотирма кадрами глибини
Система, на яку відповіли Хаускнехт і Стоун, була DQN-агентом, розробленим Володимиром Мніхом з DeepMind та іншими, який був опублікований у журналі Nature у 2015 році.
DQN здатна вивчити гру в десятки ігор Atari лише за допомогою зображень екрану, а автори статті вже на початку розробки зіткнулися з проблемою заморожених кадрів.
У розділі методу їхньої статті зазначено: «Оскільки агент може спостерігати лише поточний екран, ця задача є частково спостережуваною, і багато станів симулятора є перцептуально спутаними (Perceptually Aliased).»
Іншими словами, лише за поточним зображенням екрану неможливо повністю визначити ситуацію агента.
Термін «перцептивна плутанина» — це точний академічний опис повсякденних незручностей. Два зовсім різні сценарії (наприклад, м’яч летить до вашої ракетки або м’яч летить від вашої ракетки) у статичному зображенні створюють абсолютно однакову картинку.
Система, яка базується лише на зображеннях, змушена вважати їх однією й тією ж ситуацією; якщо ці дві ситуації вимагають виконання повністю протилежних дій, система обов’язково припуститься помилки в одній із них.
Їхній метод виправлення дуже простий. Мережа більше не отримує лише один кадр екрана, а замість цього об’єднує кілька останніх кадрів разом як вхідні дані.
За замовчуванням встановлено 4 кадри, хоча алгоритм також адаптивний до значень 3 або 5 кадрів.
Після розташування чотирьох кадрів біля себе, рух м’яча безпосередньо виявився як зміна положення. Напрямок руху більше не є абстрактним поняттям, яке потрібно запам’ятовувати, а перетворився на візуальну властивість, яку можна безпосередньо бачити.
Стаття не називає цю групу накладених зображень пам’яттю. Вона суттєво є лише вхідним каналом, який трохи ширший за один окремий момент.
Перепутування відчуттів і фізичні тверді межі
Ця ширина вводу має надзвичайно жорсткі фізичні межі, які Hausknecht і Stone точно описали.
Вони написали: оскільки DQN навчається на вхідних даних, що складаються з чотирьох останніх станів агента, «якщо гра вимагає від гравця пам’ятати події, що відбулися довше ніж чотири екрани тому, DQN не зможе освоїти цю гру».
Для DQN історія, яка знаходиться за п’ятьох екранів до останнього, взагалі не входить до його вхідних даних.
Цей механізм на основі фіксованого ковзного вікна безпосередньо розкриває основний суперечливий момент машинного інтелекту при обробці часових рядів: незалежно від того, наскільки розширюється вікно, інформація за межами його буде фізично витерта.