Дослідники Цинхуа університету розробили AutoMIA для генерації 3D мистецтва з ілюзією дзеркала

[Вступ] Команда Тсінхуа університету розробила систему AutoMIA, яка перетворює будь-які дві зображення на 3D-мистецтво з ефектом дзеркальної ілюзії, забезпечуючи візуальне відображення різних малюнків на обох сторонах, а також підтримує 3D-друк.

Спочатку подивіться на дві групи фотографій: у кожній групі зліва — зображення об’єкта перед дзеркалом, а справа — його відображення в дзеркалі. Дивно, що переднє зображення і відображення в дзеркалі майже не мають нічого спільного — у першій групі переднє зображення — «CVPR», а в дзеркалі з’являється «2026»; у другій групі переднє зображення — «гора», а в дзеркалі — «вода».

Їхні контури, кольори навіть значення не збігаються, наче деяка «ілюзія».

Причина полягає в тому, що він походить із спеціально спроектованого 3D-об’єкта, який використовує «ефект симетричного доповнення» людської візуальної системи, щоб створити ілюзію; такі явища називаються дзеркальним мистецтвом ілюзій.

Дослідники, шляхом тонкого проектування тривимірної геометрії та кольору поверхні, змогли зробити так, щоб реальний об’єкт виглядав по-різному при прямому спостереженні та при спостереженні у дзеркалі.

Ось дві пари відео «розшифровки».

У традиційному розумінні, створення таких творів мистецтва вимагає професійного мистецького підходу, великої кількості складного ручного досвіду проектування та математичних розрахунків, через що створення таких творів має високий поріг для звичайних людей.

Чи існує спосіб автоматизувати процес створення такого художнього дизайну, щоб звичайні люди могли перетворювати свої ідеї на твори мистецтва?

Недавно дослідницька група з Цинхуа університету та інших установ запропонувала AutoMIA — метод штучного інтелекту для автоматичного створення мистецтва з дзеркальними ілюзіями. Користувачеві потрібно лише вказати дві довільні зображення: одне — перед дзеркалом, а інше — у дзеркалі. AutoMIA автоматично створює 3D-мистецтво та підтримує безпосереднє 3D-друкування для виготовлення твору.

Посилання на статтю: http://arxiv.org/abs/2607.02015

Посилання на код: https://github.com/zxp555/AutoMIA

Стаття була прийнята на CVPR 2026 і визнана видатною статтею конференції (Highlight Paper); крім того, завдяки високій обчислювальній ефективності, ця робота отримала премію CVPR за ефективні обчислення (Efficient CVPR).

Оптичні ілюзії вже довгий час є важливою проблемою у перетині мистецтва, психології та комп’ютерного зору. Поширеними 2D-ілюзіями є змішані зображення, візуально деформовані зображення тощо; до 3D-ілюзій належать Shadow Art, Multi-View Wire Art тощо.

Ці методи зазвичай залежать від певного кута огляду, проекції або відношення тіней, щоб один і той самий об’єкт виглядав по-різному за різних умов спостереження.

Mirror Illusion Art — це більш спеціальний вид 3D-ілюзії: коли реальний об’єкт розміщується перед дзеркалом, спостерігач з фронтальної сторони бачить один малюнок, а в дзеркалі — інший.

Раніше відповідні дизайни вимагали великої кількості ручних розрахунків і ручної настройки, а також зосереджувалися переважно на формі, що ускладнювало одночасну обробку кольорових малюнків. Пряме застосування методів, подібних до Shadow Art, часто призводило до шуму на поверхні, фонових артефактів або внутрішніх розривів, що погіршувало візуальну якість та якість фізичного виготовлення.

Тому автор ставить пряме питання: чи можна дозволити ШІ автоматично проектувати такі дзеркальні ілюзійні об’єкти? Чи може система одночасно оптимізувати 3D-форму та колір, щоб один і той самий об’єкт у двох кутах огляду відображав дві зазначені зовнішністі?

AutoMIA моделює цю проблему як завдання зворотного дизайну з двома перспективами. Система представляє 3D-об’єкти у вигляді вокселів, де кожен воксель містить інформацію про щільність та колір; потім за допомогою диференційованого воксельного рендерингу об’єкт відображається з двох заданих перспектив, а отримані результати порівнюються з двома цільовими зображеннями.

Оптимізаційна ціль включає як форму, так і кольорову схожість, щоб згенерований об’єкт відповідав вимогам до контуру та відтворював кольори цільового зображення.

У процесі практичної оптимізації автор виявив чотири ключові проблеми: поверхневий шум, фоновий шум, внутрішні розриви та нерівномірна оптимізація форми та кольору.

Для цього стаття пропонує чотири основні механізми.

Спочатку — PAC, тобто обрізання зв’язних областей на основі проекційної збіжності. Система по черзі проектує зв’язні компоненти поточного вікселя на два кути огляду, оцінює їх за ступенем накладання з цільовою маскою та рівнем витікання на тло, зберігаючи лише структури, що справді сприяють цільовому малюнку, і видаляючи плаваючі або неефективні шумові частини.

Другим є PWA — вагова адаптивна шумоподавляюча функція на основі положення. Вона регулює вагу штрафу за тло залежно від відстані пікселя до цільової області, щоб сильніше штрафувати помилкові проекції, що знаходяться далеко від цільового шаблону, і таким чином зменшувати тлошум на відстані.

Третє — це IVP (внутрішнє віксельне захист), оскільки надзорні зображення в основному обмежують поверхню об’єкта, внутрішні вікселі можуть бути неправильно ослаблені під час оптимізації, що призводить до розриву структури. IVP виявляє внутрішні вікселі та застосовує нижню межу густини, що допомагає зберегти цілісність об’єкта, що особливо важливо для подальшого 3D-друку.

Нарешті, SCD — це оптимізація розчеплення форми та кольору. AutoMIA розбиває процес навчання на етапи оптимізації форми, спільної оптимізації форми та кольору та уточнення кольору, щоб уникнути раннього впливу кольору на геометричну структуру та зменшити конфлікти кольорів між різними кутами огляду.

AutoMIA було перевірено на багатокласових 2D-зображеннях як вхідних даних, включаючи англійські літери, цифри, китайські ієрогліфи, геометричні узори, емодзі, мультяшні зображення та логотипи.

У експерименті автори порівняли AutoMIA з такими методами, як Shadow Art (SA) та Shadow Art Revisited (SAR). Оскільки базові методи в основному підтримують оптимізацію форми, основні показники порівняння включають гладкість, рівень шуму та консистентність форми.

Результати показують, що AutoMIA досягла значної переваги якістю відновлення. У науковій статті зазначено, що гладкість (SL) AutoMIA досягла 0,989, рівень шуму (NL) знизився до 0,049, а відповідність форми (SS) склала 0,931; порівняно з цим, SA та SAR мають значні розбіжності щодо відповідності форми та контролю шуму.

Одночасно AutoMIA має середній час проектування лише 76 секунд на одній RTX 3090 і середнє використання відеопам’яті близько 2,6 ГБ, що свідчить про високу обчислювальну ефективність.

З візуальних результатів видно, що SA та SAR схильні до виникнення таких проблем, як плаваючий шум, нерівна поверхня або внутрішні розриви, що перешкоджає утворенню стабільної та цілісної об’ємної структури об’єкта.

Результати, згенеровані AutoMIA, не лише краще відповідають контурам двох цільових зображень, але й відновлюють кольорову поверхню вхідних зображень, забезпечуючи чітку візуальну семантику як для фронтального, так і для дзеркального кутів огляду.

Це особливо важливо для міражного мистецтва: якщо форма правильна, але кольори хаотичні, або кольори близькі, але структура розбита, кінцевий ефект не буде переконливим.

Експерименти з абляцією додатково показують, що PAC, PWA, IVP та SCD усі вносять внесок у кінцевий результат. Видалення будь-якого модуля призводить до погіршення якості відновлення. Наприклад, видалення PAC значно збільшує шум і знижує согласованість форми; видалення SCD впливає на форму, колір та гладкість.

Це означає, що AutoMIA не залежить від простої оптимізації вокселів, а має системний підхід до вирішення проблем, пов’язаних із ілюзіями дзеркала.

Наведено кілька прикладів цифрового світу; зображення показує, що в програмі цифрового симулятора Blender було створено ефектні об’єкти з дзеркальними ілюзіями.

Крім числових результатів, у статті наведено кілька випадків виготовлення об’єктів. Автори перетворили оптимізовані віксельні моделі у формат, придатний для 3D-друку, і виготовили реальні об’єкти за допомогою 3D-друку.

На фотографіях реальних об’єктів передня сторона та їх відображення у дзеркалі мають різні малюнки, що свідчить про успішний перехід цього методу від цифрового дизайну до фізичного світу.

Користувачі можуть використовувати цей метод для створення різноманітних творів мистецтва.

Дослідники запропонували AutoMIA — систему штучного інтелекту для автоматичного створення мистецтва дзеркальних ілюзій.

Він може з початкових двох 2D-зображень спільно оптимізувати форму та колір 3D-об’єкта, а також покращити якість результату за допомогою механізмів PAC, PWA, IVP та SCD, щоб отриманий об’єкт був більш гладким, повним і краще підходив для реального виробництва.

Ця робота демонструє нові можливості ШІ у обчислювальному дизайні та художньому творчості: він не лише генерує зображення, а й проектує 3D-об’єкти з фізично реалізованими ілюзіями. Об’єкт, який в реальності має лише одну форму, може відображати іншу візуальну ідентичність у дзеркалі — такий ефект «несумісності між передньою та дзеркальною сторонами» відкриває нові напрямки досліджень у галузі візуального сприйняття, зворотної графіки та цифрового виробництва.

Авторами статті є: Чжу Сяопей, академічний дослідник Tsinghua Water-Mu, науковий керівник — професор Чжу Цзюнь; Лі Цзєюань (співперший автор), бакалавр Хуачжунського університету науки і технологій, а також професор Чжу Цзюнь і доцент Ху Сяолінь (відповідальний автор) з Тсінхуа.

Джерело: http://arxiv.org/abs/2607.02015

Цей матеріал зі сторінки WeChat «New智元», автор: New智元; редагування: LRST