Исследователи Циньхуа University разработали AutoMIA для генерации 3D-искусства с зеркальной иллюзией

【Введение】Система AutoMIA, разработанная командой Тсингхуа, может преобразовать любые две картинки в трехмерное произведение искусства с эффектом зеркальной иллюзии, обеспечивая визуальное отображение разных изображений на передней и задней сторонах, а также поддерживая 3D-печать.

Сначала посмотрите на две группы фотографий: в каждой группе слева — лицевая сторона объекта перед зеркалом, справа — его отражение в зеркале. Странным образом лицевая сторона и отражение выглядят как два совершенно разных объекта — в первой группе спереди написано «CVPR», а в зеркале появляется «2026»; во второй группе спереди изображено «гора», а в зеркале — «вода».

Их контуры, цвета и даже значение не совпадают, словно это «иллюзия».

Причина в том, что он создан из специально спроектированного 3D-объекта, который использует «эффект симметричного дополнения» человеческой зрительной системы, создавая иллюзию; такое явление называется зеркальным оптическим искусством.

Исследователи с помощью тщательно спроектированной трехмерной геометрии и цвета поверхности добились того, что реальный объект выглядит совершенно по-разному при прямом наблюдении и при наблюдении в зеркале.

Вот две группы соответствующих видео «Расшифровка».

В традиционном понимании создание таких произведений искусства требует талантливого замысла профессионального художника, а также большого количества сложного опыта ручного проектирования и математических расчетов, что делает создание таких произведений искусства труднодоступным для обычных людей.

Существует ли способ автоматизировать процесс создания такого художественного дизайна, чтобы обычные люди могли превращать свои вдохновения в произведения искусства?

Недавно исследовательская группа из Циньхуа-университета и других организаций предложила AutoMIA — метод искусственного интеллекта для автоматической генерации искусства зеркальных иллюзий. Пользователю необходимо лишь указать две произвольные картинки, соответствующие изображениям перед зеркалом и в зеркале; AutoMIA автоматически создаст трехмерное произведение искусства и поддерживает прямую 3D-печать для изготовления произведения.

Ссылка на статью: http://arxiv.org/abs/2607.02015

Ссылка на код: https://github.com/zxp555/AutoMIA

Статья принята на CVPR 2026 и признана выдающейся статьей конференции (Highlight Paper); кроме того, благодаря высокой вычислительной эффективности эта работа получила премию CVPR за эффективные вычисления (Efficient CVPR).

Оптические иллюзии в искусстве долгое время были важной проблемой в пересечении областей искусства, психологии и компьютерного зрения. Распространенные 2D-иллюзии включают смешанные изображения, визуально искаженные изображения и т.д.; 3D-иллюзии включают Shadow Art, Multi-View Wire Art и т.д.

Эти методы обычно зависят от определённой перспективы, проекции или соотношения теней, позволяя одному и тому же объекту выглядеть по-разному при различных условиях наблюдения.

Mirror Illusion Art — это более специфический вид 3D-иллюзии: когда реальный объект помещается перед зеркалом, наблюдатель спереди видит один узор, а в зеркале — другой.

Ранее соответствующие дизайны требовали значительных ручных расчетов и ручной настройки, а также сосредотачивались в основном на проектировании формы, что затрудняло одновременную обработку цветных узоров. Прямое применение методов, подобных Shadow Art, часто приводит к шуму на поверхности, фрагментам фона или внутренним разрывам, что ухудшает визуальное качество и качество изготовления физических объектов.

Таким образом, автор задает прямой вопрос: можно ли заставить ИИ автоматически проектировать такие зеркальные галлюцинаторные объекты? Учитывая две целевые картинки, может ли система одновременно оптимизировать 3D-форму и цвет, чтобы один и тот же объект выглядел по-разному при двух разных углах обзора?

AutoMIA моделирует эту задачу как двувзглядную обратную задачу проектирования. Система представляет 3D-объекты в виде вокселей, каждый из которых содержит информацию о плотности и цвете; затем с помощью дифференцируемой объемной визуализации объект отображается с двух заданных углов зрения, а результаты визуализации сравниваются с двумя целевыми изображениями.

Цель оптимизации включает как сходство формы, так и сходство цвета, чтобы сгенерированный объект соответствовал требованиям к контуру и воспроизводил цвет целевого изображения.

В процессе практической оптимизации автор выявил четыре ключевые проблемы: поверхностный шум, фоновый шум, внутренние разрывы и дисбаланс в оптимизации формы и цвета.

For this purpose, the paper proposes four core mechanisms.

Сначала идет PAC — удаление связных компонентов на основе проекционного выравнивания. Система проецирует каждый связный компонент текущего вокселя на два угла обзора и оценивает их по степени совпадения с целевой маской и уровню переполнения фона, сохраняя только структуры, действительно способствующие целевому узору, и удаляя случайные или неэффективные шумовые элементы.

Во-вторых, это PWA — взвешенная по местоположению адаптивная подавляющая шумы функция. Она регулирует вес штрафа за фон в зависимости от расстояния пикселя до целевой области, усиливая штраф за ошибочные проекции, удаленные от целевого паттерна, что снижает фоновый шум на расстоянии.

Третье — IVP, то есть внутренняя защита вокселей. Поскольку обучающие изображения в основном ограничивают поверхность объекта, внутренние воксели могут быть ошибочно ослаблены в процессе оптимизации, что приводит к разрушению структуры. IVP идентифицирует внутренние воксели и применяет нижний предел плотности, помогая сохранить целостность объекта, что особенно важно для последующей 3D-печати.

Наконец, это SCD — оптимизация декомпозиции формы и цвета. AutoMIA разделяет процесс обучения на этапы оптимизации формы, совместной оптимизации формы и цвета и уточнения цвета, чтобы избежать преждевременного влияния цвета на геометрическую структуру и снизить конфликты между цветами с разных ракурсов.

AutoMIA была проверена с использованием множества типов 2D-изображений в качестве входных данных, включая английские буквы, цифры, китайские иероглифы, геометрические узоры, эмодзи, мультяшные изображения и логотипы.

В эксперименте автор сравнил AutoMIA с такими методами, как Shadow Art (SA) и Shadow Art Revisited (SAR). Поскольку базовые методы в основном поддерживают оптимизацию формы, основные показатели сравнения включают гладкость, уровень шума и согласованность формы.

Результаты показывают, что AutoMIA демонстрирует явное преимущество в качестве реконструкции. В исследовании AutoMIA достиг показателя гладкости (SL) 0,989, уровня шума (NL) 0,049 и согласованности формы (SS) 0,931; в то время как SA и SAR значительно уступают по согласованности формы и контролю шума.

В то же время AutoMIA обеспечивает среднее время проектирования всего 76 секунд на одном GPU RTX 3090 и среднее потребление видеопамяти около 2,6 ГБ, что демонстрирует высокую вычислительную эффективность.

Из визуализированных результатов видно, что SA и SAR могут вызывать проблемы, такие как висячий шум, неровная поверхность или внутренние разрывы, что затрудняет формирование стабильной и целостной объемной структуры объекта.

Результаты, сгенерированные AutoMIA, не только лучше соответствуют контурам двух целевых изображений, но и воссоздают цветные поверхности входных изображений, обеспечивая четкую визуальную семантику как для фронтального, так и для зеркального ракурса.

Для зеркальной галлюцинаторной живописи это особенно важно: если форма правильная, но цвета хаотичны, или цвета близки, но структура разрушена, в конечном итоге трудно создать убедительный эффект иллюзии.

Абляционные эксперименты дополнительно показали, что PAC, PWA, IVP и SCD вносят вклад в конечный результат. Удаление любого из модулей приводит к снижению качества реконструкции. Например, удаление PAC значительно увеличивает шум и снижает согласованность формы; удаление SCD влияет на форму, цвет и гладкость.

Это означает, что AutoMIA не зависит исключительно от оптимизации вокселей, а представляет собой системный подход, направленный на решение проблем, связанных с зеркальными галлюцинациями.

Ниже приведены примеры цифрового мира: как видно на рисунке, в программе цифрового моделирования Blender были созданы эффектные объекты с зеркальной иллюзией.

Помимо цифровых результатов, в статье представлены несколько примеров создания физических объектов. Авторы преобразовали оптимизированные воксельные модели в формат, пригодный для 3D-печати, и изготовили реальные объекты с помощью 3D-печати.

На фотографиях реальных объектов передняя сторона и отражение в зеркале показывают разные узоры, что свидетельствует о успешном переходе этого метода от цифрового дизайна к физическому миру.

Пользователи могут использовать этот метод для создания различных произведений искусства.

Исследователи предложили AutoMIA — систему ИИ для автоматической генерации зеркального иллюзионного искусства.

Он может совместно оптимизировать форму и цвет 3D-объекта на основе двух 2D-изображений, а также улучшить качество результата с помощью механизмов PAC, PWA, IVP и SCD, обеспечивая более гладкие и целостные объекты, подходящие для реального производства.

Эта работа демонстрирует новые возможности ИИ в вычислительном дизайне и художественном творчестве: он не только генерирует изображения, но и проектирует трехмерные объекты с оптическими иллюзиями, физически реализуемые в реальном мире. Объект, имеющий в реальности только одну форму, может представлять другую визуальную идентичность в зеркале — такой эффект «несоответствия между передней стороной и отражением» открывает новые направления для исследований в области визуального восприятия, обратной графики и цифрового производства.

Авторы статьи в порядке следования: Чжу Сяопэй, ученый Water-Mu при Тсингхуа, научный руководитель — профессор Чжу Цзюнь; Ли Цзэюань (соавтор с равным вкладом), студент Чжэцзянского университета науки и технологий, а также профессор Чжу Цзюнь и доцент Ху Сяолинь из Тсингхуа (корреспондирующий автор).

Справочные материалы: http://arxiv.org/abs/2607.02015

Эта статья взята из официального аккаунта WeChat «Новости ИИ», автор: Новости ИИ; редактор: LRST