Пекинский университет телекоммуникаций, Циньхуа University и Шанхайский джияотунский университет совместно разработали систему MemSlides, решающую проблемы персонализации и многократной редактуры в AI-генерируемых презентациях. Система при первоначальном создании извлекает память о профиле пользователя, влияя на структуру страниц и способы выражения в соответствии с предпочтениями пользователя. Одновременно внедряется рабочая память для хранения временных ограничений текущей задачи, обеспечивая сохранение действия отложенных предпочтений. Благодаря процессу Plan-Act-Guard достигается локальная точная корректировка, предотвращая распространение изменений на весь документ. Эксперименты показали, что использование памяти инструментов повысило скорость сходимости редактирования в 2,27 раза и сократило время основных инструментов до 0,327 от исходного значения. Система заняла первое место в Hugging Face Daily Papers Paper of the Day и получила более 400 звезд на GitHub. Это исследование имеет ценность для управления памятью агентов при выполнении длительных задач.Автор статьи, источник: Новознание
Самый неловкий момент — это не неудача генерации AI-презентации.
Вместо этого он уже сгенерировал довольно неплохую презентацию, а вы просто говорите: «Сделайте нижний правый угол на 8-м слайде более похожим на блок-схему».
В следующую секунду, возможно, изменилась 8-я страница, но на 3-й странице изменился иерархический уровень заголовков, а на 12-й странице сдвинулась цветовая гамма — ранее выверенный стиль снова разрушился.
Это более типичная проблема в реальном рабочем процессе PPT.
Первая версия — это только черновик, основная работа — это правка.
От «сгенерировать набор» до «сгенерировать как этого пользователя»
За последние несколько лет прогресс в автоматической генерации слайдов был значительным. Многие системы уже могут создавать структурированные и визуально приемлемые черновики на основе научных статей, описаний продуктов или одной темы.
Но в реальном использовании ключевым моментом первой версии слайдов является не только «был ли он сгенерирован», а то, насколько он близок к стилю выражения определенного пользователя.
Одна и та же статья о Transformer может быть представлена как базовый учебный курс, презентация на групповом совещании, детальный разбор статьи или техническое обучение. Разные пользователи интересуются различными ролями страниц, плотностью контента, границами доказательств и способами раскрытия механизмов. Кто-то хочет сначала получить выводы и основные идеи, а кто-то предпочитает четко разобрать определения, механизмы и граничные условия.
Это именно то, как работает запоминание пользовательского профиля на этапе round-0.
MemSlides, разработанный совместно Пекинским университетом связи и телекоммуникаций, Циньхуа University и Шанхайским джияотунским университетом, не ждёт, пока пользователь многократно вносит правки, чтобы начать «запоминать»; вместо этого на первом этапе генерации он извлекает профиль пользователя на основе текущих намерений задачи и направляет совместимые долгосрочные предпочтения в текущую рабочую память, чтобы влиять на организацию и стиль представления страницы.
Ссылка на статью: https://arxiv.org/abs/2606.17162
Главная страница проекта: https://memslides.github.io/
Ссылка для демонстрации: https://memslides.com/
Ссылка на код: https://github.com/huohua325/Memslides
HF-ссылка: https://huggingface.co/papers/2606.17162
Эта работа заняла первое место в Hugging Face Daily Papers Paper of the Day, на GitHub получила более 400 звезд; после запуска демовебсайта его протестировали более 100 подтвержденных пользователей.
Рисунок 1 показывает не просто общий «рендер эффекта». Он скорее иллюстрирует, как система разбивает материалы статьи на страницы с определениями, ключевыми механизмами, экспериментальными данными, распространенными заблуждениями и граничными условиями. Эти выборы отражают предпочтения пользователей в отношении структуры контента, плотности информации и доказательной подачи.
Рисунок 1: Первый цикл генерации демонстрирует не только целостность, но и влияние памяти о профиле пользователя на организацию страницы, плотность контента и границы доказательств.
Проект также предоставляет онлайн-демо. Пользователи могут загружать материалы, выбирать профиль памяти или шаблон, генерировать черновик, переходить к редактированию и скачивать текущую версию в форматах PPTX, HTML или PDF.
То есть MemSlides ориентирован на весь процесс — от персонализированного черновика до последующих постоянных доработок.
Как только первая версия начала приближаться к потребностям пользователей, последующие вопросы становятся более острыми: сможет ли система сохранять эти предпочтения после нескольких циклов правок? Временные требования, заявленные в текущем сеансе, не потеряют ли свою актуальность через несколько итераций? Когда пользователь хочет изменить только локальную область, сможет ли система избежать разрушения уже согласованных элементов страницы?
Разделите память
Многие, услышав термин «память агента», автоматически думают: просто поместите историю диалога в более длинный контекст.
MemSlides этого не сделали.
Причина проста: чем дольше история, тем больше в ней конфликтов. То, что пользователь сегодня сказал «этот отчет должен иметь синие заголовки», не означает, что все его будущие презентации должны иметь синие заголовки; ошибка инструмента, с которой пользователь столкнулся во время одного из редактирований, не должна смешиваться с «его предпочтениями в стиле».
Следовательно, MemSlides моделирует персонализированное создание слайдов как состояния-ориентированный процесс авторства: система сначала генерирует черновик round-0 на основе исходного материала, профиля пользователя и необязательного шаблона; после этого каждый цикл обратной связи обновляет текущее состояние сессии, а затем выполняет локальное редактирование текущей презентации.
Его организационная память имеет две точки зрения.
С точки зрения жизненного цикла выделяют долговременную память и рабочую память. Долговременная память хранит информацию, стабильно существующую между задачами, а рабочая память — временные ограничения, измененные цели и состояние выполнения, остающиеся актуальными в текущей колоде.
С точки зрения функциональных ролей существуют память пользовательского профиля и память инструментов. Первая отвечает на вопрос «Какие предпочтения должны отражаться в этих слайдах?», а вторая — на вопрос «Как сделать агента более стабильным?»
Другими словами, MemSlides не заставляет агента запоминать больше лишней информации, а помогает ему понять, какая информация должна храниться долгосрочно, какая действует только в рамках текущей задачи, какая относится к предпочтениям пользователя, а какая — к опыту использования инструментов.
Рисунок 2: MemSlides объединяет долгосрочную память, рабочую память, память о профиле пользователя и память о инструментах в едином многоэтапном процессе редактирования.
Пользовательский профиль
Настоящая персонализация обычно не может быть решена одной лишь ролью в запросе.
Также, как и при академических презентациях, некоторые предпочитают размещать на каждом слайде только один ключевой вывод, в то время как другие сохраняют формулы и экспериментальные детали; аналогично, при бизнес-презентациях одни предпочитают плотные таблицы, а другие больше полагаются на графики трендов и сравнительные диаграммы.
Эти различия не являются метками одного запроса, а постепенно проявляются в привычках пользователя при длительном написании и редактировании.
MemSlides использует профили пользователей для сохранения таких межзадачных предпочтений. Вместо того чтобы вставлять весь профиль в начало запроса, он извлекает релевантные предпочтения на основе текущего намерения в начале задачи и согласовывает их с текущим запросом.
Если долгосрочные предпочтения совместимы с текущими четкими инструкциями, они вместе попадают в рабочую память; если возникает конфликт, приоритет имеют четкие требования настоящих слайдов.
Этот шаг очень важен. Иначе система легко может принять «временное желание синего заголовка» за «постоянное предпочтение пользователя синего заголовка».
После завершения задачи MemSlides не записывает каждую обратную связь в долгосрочную профильную модель. Он сохраняет только стабильные, переносимые сигналы взаимодействия, чтобы следующее создание было более точным для пользователя, а не более запутанным.
Рисунок 3: Память о профиле пользователя проходит этапы извлечения, маршрутизации, использования в текущей задаче и осаждения стабильных сигналов после завершения задачи.
Рабочая память
Во многих редакциях есть еще один более тонкий тип информации.
Это не долгосрочное предпочтение, но должно оставаться актуальным в текущей колоде.
Например, пользователь сказал во втором раунде: «Если в будущем добавятся блоки summary/tip, используйте светло-серый фон». В тот момент система еще не содержала таких элементов, поэтому это требование не имело немедленного объекта для выполнения. Через несколько раундов, если пользователь запросит вставку страницы с блоком summary, это правило должно быть активировано.
Если агент рассматривает только текущий ввод, он легко может забыть об таких ограничениях, вступающих в силу с задержкой.
Рабочая память MemSlides — это доска состояний текущей задачи по написанию: здесь хранятся активные временные предпочтения, перенесённые инструкции, достигнутые цели и статус покрытия. На этапе Plan эти состояния используются для определения объема изменений, на этапе Act выполняются ограниченные редактирования на их основе, а на этапе Guard обновляются результаты проверки.
Это делает многократные правки не отдельными, изолированными запросами, а непрерывным процессом редактирования, ориентированным на одну и ту же презентацию.
Рисунок 4: Рабочая память обеспечивает сохранение временных предпочтений стиля, сформированных ранее и активированных позже.
Измените только то, что нужно изменить
Для человеческого редактора фраза «изменить только это место» звучит вполне естественно.
Для генеративной системы это предложение сложно.
Поскольку многие системы при обработке обратной связи повторно считывают или переписывают большие объемы контента, целевой участок может быть исправлен, но при этом изменяются и нецелевые страницы. Пользователь, казалось бы, запросил лишь небольшое изменение, а система полностью разрушила состояние всей презентации.
MemSlides использует ограниченные слайд-локальные правки для решения этой проблемы.
Каждый отзыв сначала сопоставляется с минимальной областью эффективного изменения, а затем переходит в процесс Plan-Act-Guard.
На этапе Plan преобразуйте естественный язык в execution contract, четко определив целевой слайд, область действия, подсказки selector и требования к покрытию.
На этапе Act выберите инструмент редактирования в соответствии со структурой страницы и выполните минимальные эффективные действия в ограниченных рамках. На этапе Guard превратите «завершено» в состояние, требующее проверки: цель не должна быть завершена поспешно, если она не охватывает все аспекты; устаревший снимок требует повторного привязывания; локальные запросы не должны расширяться до полной переработки всего набора.
На этом этапе «модель считает, что завершила правку», превращается в «система может проверить, была ли эта правка действительно охватывающей цель и не выходила ли за пределы».
Рисунок 5: Plan-Act-Guard разделяет локальные изменения на планирование объема, контролируемое выполнение и проверку результатов.
Инструмент памяти
Редактирование слайдов — это не просто переписывание текста.
Локальное изменение может затрагивать структуру страницы, селекторы, правила стилей, снимки макета и логику проверки. Даже если агент понимает, чего хочет пользователь, он может неправильно прочитать область при вызове инструмента, повторять попытки, расширять объем изменений или завершить процесс до того, как цель будет достигнута.
Таким образом, MemSlides также вводит инструмент памяти.
Инструменты запоминают не «что нравится пользователю», а «какие пути выполнения эффективны в похожих задачах редактирования и какие ошибки следует избегать».
Статья структурирует информацию на двух уровнях детализации: опыт, связанный с циклом (round-scope task experience), который фиксирует опыт, выводы об ошибках и переносимые паттерны в рамках одного цикла изменений; и опыт, связанный с инструментальной цепочкой на уровне операций (operation-scope tool-chain experience), который сохраняет более детализированные фрагменты reasoning-tool-observation, извлекаемые в качестве справки перед аналогичными вызовами инструментов.
Этот дизайн разделяет цели и выполнение.
Пользовательский профиль определяет, в каком направлении должны изменяться слайды, а память инструментов позволяет агенту избегать лишних путей, снижая неэффективные попытки и неопределенность выполнения.
Рисунок 6: Инструментальная память фокусируется на опыте вызова инструментов, а не на эстетических предпочтениях пользователя.
Результаты эксперимента
Оценка MemSlides не ограничивается единственной общей оценкой генерации, а разделяет проверку способностей, соответствующих различным компонентам памяти: память о профиле пользователя проверяется через согласование персоны в round-0, рабочая память — через перенос отложенных предпочтений в многократных сессиях, а память о инструментах — изолированно в диагностическом режиме matched-pair modify.
В персонализированном генерировании память пользовательских профилей улучшает согласованность персонажей при настройке нескольких персонажей и целей. Далее в статье отмечается, что это улучшение проявляется не только в «более точном соответствии шаблону», но и в выборе на уровне планирования: акценте содержания, роли страницы, организации доказательств и различении персонажей.
В диагностике пар с локальными изменениями изменения, вызванные памятью инструмента, более прямые:
В то же время коэффициент времени основного инструмента снизился до 0,327x.
Следует отметить, что эти цифры получены из диагностических matched-pair modify setting и не могут интерпретироваться как универсальное преимущество в любых сценариях. Более точно, они поддерживают процессуальный вывод: когда инструментальная память предоставляет повторно используемый опыт выполнения, агент легче сходится к замкнутому завершению, строгой верификации и нахождению первого правильного пути редактирования.
Рисунок 7: Сравнение локального редактирования — это качественный пример из статьи, демонстрирующий различия в процессе редактирования до и после внедрения памяти инструмента.
Следующий шаг PPT Agent
Долгосрочное сотрудничество
MemSlides обсуждает PPT, но стоящая за ним проблема не ограничивается только PPT.
Когда агент выполняет длительные задачи, такие как генерация документов, изменение кода, анализ данных или работа с корпоративными системами знаний, он сталкивается с аналогичными вызовами: какая информация должна сохраняться долгосрочно, какой статус относится только к текущей задаче, какой опыт выполнения можно повторно использовать и какие элементы должны оставаться неизменными при локальных изменениях.
Если однократное создание решает задачу от 0 до 1, то многократная доработка проверяет переход от 1 к готовому продукту.
Будущий Slides Agent должен не только генерировать более красивый первый слайд, но и уметь постоянно понимать пользователя и сохранять границы редактирования в процессе многократной доработки, чтобы набор слайдов стабильно приближался к версии, которую действительно хочет пользователь.