Автор: Hugo, Robonaissance
Перевод: Shenchao TechFlow
Читательский обзор Шэньчао: от ранних агентов игр Atari до языковых моделей с миллионами контекстных окон, искусственный интеллект сталкивается с фундаментальным физическим противоречием при последовательном принятии решений во времени: модели легко вмещают огромный объем статических знаний, накопленных человеком, но в динамической среде взаимодействия не могут без потерь сохранять все детали прошлого.
При жестких ограничениях на вычислительные мощности и окно контекста, как сжимать прошлое и точно выделять ключевые состояния, определяющие будущее, — это не только технический прорыв в решении проблемы «восприятийного смешения», но и фундаментальная логика, лежащая в основе перехода автономных агентов к настоящей долговременной памяти.
Парадокс состояния при паузе
Это третья часть серии «Память, забвение и самоидентичность в машине»: как интеллект проявляет себя во времени, когда агент не может носить с собой всё своё прошлое.
Попробуйте заморозить любой кадр классической игры Pong.
На экране видны только две ракетки, мяч и текущий счет. В этот момент, если вас попросят сказать, куда летит мяч, вы не сможете этого сделать, даже если показать ту же статичную картинку машине — она тоже не сможет определить это.
Ученые Мэттью Хаускнехт и Питер Стоун в своей статье 2015 года об агентах, обучающихся играть в игры Atari, прямо отметили: «Текущий одиночный кадр экрана может показать только положение ракетки и мяча, но не его скорость».
Они далее объяснили, почему это критически важно: «Знание направления движения мяча является ключевым фактором для определения оптимального положения ракетки.»
Этот кадр точен, каждая деталь на экране находится на своем месте. Но одной только этой кадровой картинкой все еще недостаточно, чтобы сыграть эту игру.
Датчик в этот самый момент фиксирует лишь одно «наблюдение (Observation)».
А истинное глобальное состояние, от которого зависит следующее действие агента, — это «состояние системы (State)».
В игре Pong наблюдения и состояние системы являются разрозненными на каждом отдельном фрейме, поскольку направление движения мяча зависит от нескольких предыдущих моментов, и ни один изолированный момент не может содержать эту информацию самостоятельно.
Когда текущий входной сигнал недостаточен для принятия решения, хорошо работающая система должна переносить информацию из прошлого в настоящее.
Но то, что оно несет в себе, никогда не может быть полным прошлым. Оно несет лишь краткое изложение, и выбор этого изложения полностью зависит от того, что ему нужно предсказать дальше.
Этот компромисс определяет, какую информационную базу будут иметь последующие моменты. Любые детали, упущенные при кратком изложении, последующие моменты никогда не смогут использовать для реакции.
Компромисс памяти с четырьмя кадрами глубины
Система, на которую ответили Хаускнехт и Стоун, была DQN-агентом, представленным Володимиром Мнихом и другими из DeepMind в журнале Nature в 2015 году.
DQN смог научиться играть в десятки игр Atari исключительно через изображения экрана, однако авторы статьи столкнулись с проблемой застывших кадров на ранних этапах разработки.
В разделе методов их статьи говорится: «Поскольку агент может наблюдать только текущий экран, эта задача относится к частично наблюдаемому состоянию, и многие состояния симулятора воспринимаются как путающиеся (Perceptually Aliased).»
Иными словами, исключительно на основе текущего изображения экрана невозможно передать агенту полную картину ситуации.
Термин «перцептивная путаница» — это точное академическое описание повседневной проблемы. Два совершенно разных сценария (например, мяч летит к вашей ракетке или мяч улетает от вашей ракетки) создают абсолютно одинаковое изображение в статичном кадре.
Система, основанная только на изображениях, вынуждена воспринимать их как одну и ту же ситуацию; если для этих двух ситуаций требуется выполнить совершенно противоположные действия, система неизбежно ошибется в одной из них.
Их метод устранения проблемы очень прост. Сеть больше не принимает только одно изображение экрана, а объединяет несколько последних кадров в один вход.
По умолчанию установлено значение 4 кадра, хотя алгоритм также адаптивен к значениям 3 или 5 кадров.
После размещения четырех кадров рядом друг с другом движение мяча непосредственно проявилось как изменение положения. Направление движения больше не является абстрактным понятием, требующим запоминания, а стало визуальным свойством, которое можно сразу увидеть.
Статья не называет эту группу стекированных изображений памятью. Это по сути просто входной канал, который немного шире одного мгновения.
Perception confusion and physical hard boundaries
Этот входной диапазон имеет чрезвычайно жесткие физические границы, которые Hausknecht и Stone точно описали.
Они написали: поскольку DQN обучается на входных данных, состоящих из четырех последних состояний агента, «если игра требует от игрока запоминать события, произошедшие дольше, чем за четыре предыдущих кадра, DQN не сможет освоить эту игру».
Для DQN история, предшествующая пятому экрану назад, вообще не входит в его входные данные.
Этот механизм на основе фиксированного скользящего окна напрямую раскрывает основное противоречие машинного интеллекта в обработке временных рядов: независимо от того, насколько расширяется окно, информация за его границами физически удаляется.