Penyelidik Universiti Tsinghua membangunkan AutoMIA untuk penghasilan seni ilusi cermin 3D

[Pengenalan] Sistem AutoMIA yang dikembangkan oleh pasukan Universiti Tsinghua boleh menukar mana-mana dua gambar menjadi karya seni 3D dengan kesan ilusi cermin, mencapai paparan visual corak yang berbeza di kedua-dua sisi, serta menyokong pencetakan 3D.

Lihat dua set gambar di bawah ini: Dalam setiap set, sebelah kiri menunjukkan corak depan objek di hadapan cermin, manakala sebelah kanan menunjukkan pantulan cerminnya. Yang anehnya, corak depan dan pantulan cermin kelihatan seperti dua benda yang tidak berkaitan sama sekali—dalam set pertama, corak depan ialah「CVPR」, tetapi dalam cermin ia berubah menjadi「2026」; dalam set kedua, corak depan ialah「山」, tetapi dalam cermin ia menjadi「水」.

Bentuk, warna, bahkan maknanya tidak sepadan, seolah-olah ia merupakan「ilusi».

Sebabnya ialah ia berasal daripada objek 3D yang direka khas, yang memanfaatkan "kesan pelengkapan simetri" sistem penglihatan manusia untuk mencipta ilusi, fenomena semacam ini dikenali sebagai seni ilusi cermin.

Penyelidik menerapkan geometri tiga dimensi dan warna permukaan yang dirancang dengan teliti untuk menjadikan objek sebenar menunjukkan kesan visual yang berbeza apabila dilihat secara langsung dan dalam cermin.

Berikut adalah dua set video "decript" yang sepadan.

Secara tradisional, reka bentuk seni jenis ini memerlukan pemikiran cemerlang daripada seniman profesional, serta pengalaman reka bentuk manual yang kompleks dan pengiraan matematik yang banyak, menjadikan reka bentuk seni ini mempunyai penghalang yang tinggi bagi orang biasa.

Adakah cara untuk mengautomatiskan membantu orang melakukan reka bentuk seni seperti ini, supaya orang biasa boleh menukar inspirasi mereka menjadi karya seni?

Baru-baru ini, pasukan penyelidik dari Universiti Tsinghua dan institusi lain mengusulkan AutoMIA, satu kaedah rekaan AI yang secara automatik menghasilkan seni ilusi cermin, di mana pengguna hanya perlu menentukan dua gambar apa sahaja, masing-masing mewakili corak di hadapan cermin dan corak di dalam cermin. AutoMIA akan secara automatik menyelesaikan rekaan seni 3D dan menyokong pencetakan 3D terus untuk menghasilkan seni tersebut.

Pautan kertas: http://arxiv.org/abs/2607.02015

Pautan kod: https://github.com/zxp555/AutoMIA

Kertas kerja ini telah diterima oleh CVPR 2026 dan dinilai sebagai kertas kerja unggulan (Highlight Paper); selain itu, kerana kecekapan pengiraan yang tinggi, karya ini juga menerima Anugerah Pengiraan Cekap CVPR (Efficient CVPR).

Kesenian ilusi optik telah lama menjadi isu penting dalam bidang persilangan seni, psikologi, dan penglihatan komputer. Ilusi 2D biasa termasuk gambar campuran, gambar distorsi visual, dsb.; ilusi 3D pula termasuk Seni Bayangan, Seni Kawat Pandangan Berbilang, dsb.

Kaedah-kaedah ini biasanya bergantung pada sudut pandang, projeksi, atau hubungan bayangan tertentu untuk membuat objek yang sama menunjukkan penampilan yang berbeza di bawah keadaan pemerhatian yang berbeza.

Mirror Illusion Art adalah ilusi 3D yang lebih khusus: apabila objek sebenar diletakkan di hadapan cermin, pemerhati melihat satu corak dari depan, dan corak lain dalam cermin.

Sebelum ini, reka bentuk yang berkaitan sering memerlukan banyak pengiraan manual dan penyesuaian tangan, serta lebih fokus pada reka bentuk bentuk, sukar untuk mengendalikan corak berwarna secara serentak. Jika kaedah seperti Shadow Art digunakan secara langsung, ia juga mudah menghasilkan kebisingan permukaan, blok latar belakang atau retakan dalaman, yang mempengaruhi kualiti visual dan pembuatan fizikal.

Oleh itu, penulis mengemukakan satu soalan langsung: adakah mungkin untuk menjadikan AI merekabentuk objek ilusi cermin ini secara automatik? Diberi dua gambar sasaran, adakah sistem mampu mengoptimumkan bentuk 3D dan warna secara serentak, supaya objek yang sama menunjukkan dua penampilan yang ditentukan daripada dua sudut pandangan?

AutoMIA memodelkan masalah ini sebagai tugas reka bentik songsang dua perspektif. Sistem menggunakan representasi voxel untuk objek 3D, di mana setiap voxel mengandung maklumat ketumpatan dan warna; kemudian melalui pengecatan voxel yang boleh bezakan, objek tersebut dirender dari dua perspektif yang ditentukan, dan hasil render dibandingkan dengan dua gambar sasaran.

Objektif pengoptimuman mencakup kesamaan bentuk dan kesamaan warna, supaya objek yang dihasilkan memenuhi keperluan siluet serta menghasilkan warna gambar sasaran.

Dalam pengoptimuman sebenar, penulis menemui empat kelas masalah utama: kebisingan permukaan, kebisingan latar belakang, retakan dalaman, dan ketidakseimbangan pengoptimuman bentuk dan warna.

Untuk itu, kertas ini mengusulkan empat mekanisme utama.

Pertama ialah PAC, iaitu pemangkasan kawasan bersambung berdasarkan projeksi selari. Sistem akan memproyeksikan setiap komponen bersambung dalam voxel semasa ke dua perspektif, serta memberi skor berdasarkan tahap kesesuaian dengan mask sasaran dan kebocoran latar belakang, kemudian mengekalkan struktur yang benar-benar menyumbang kepada corak sasaran serta menghapuskan bahagian bising yang terapung atau tidak berkesan.

Kedua ialah PWA, iaitu penyesuaian berat berdasarkan lokasi untuk penolakan bunyi. Ia akan menyesuaikan berat hukuman latar belakang berdasarkan jarak piksel ke kawasan sasaran, supaya projeksi kesalahan yang jauh daripada corak sasaran dikenakan hukuman yang lebih kuat, dengan begitu mengurangkan gangguan latar belakang jauh.

Ketiga ialah IVP, iaitu Perlindungan Voxel Dalaman. Kerana imej pengawasan terutamanya menghadkan permukaan objek, voxel dalaman mudah dilemahkan secara salah semasa pengoptimuman, menyebabkan struktur retak. IVP akan mengenal pasti voxel dalaman dan mengenakan had bawah kepadatan untuk membantu mengekalkan integriti objek, yang sangat penting untuk pencetakan 3D seterusnya.

Terakhir ialah SCD, iaitu pengoptimuman pemisahan bentuk-warna. AutoMIA membahagikan proses latihan kepada peringkat pengoptimuman bentuk, pengoptimuman bersama bentuk-warna, dan peringkat penyempurnaan warna, mengelakkan warna mengganggu struktur geometri terlalu awal serta mengurangkan konflik warna antara sudut pandang yang berbeza.

AutoMIA telah diverifikasi dengan menggunakan pelbagai gambar 2D sebagai input, termasuk huruf Inggeris, nombor, aksara Cina, corak geometri, emoji, corak kartun, dan logo.

Dalam eksperimen, penulis membandingkan AutoMIA dengan kaedah-kaedah seperti Shadow Art (SA) dan Shadow Art Revisited (SAR). Kerana kaedah asas terutamanya menyokong pengoptimuman bentuk, perbandingan berfokus pada indikator seperti kehalusan, tahap kebisingan, dan konsistensi bentuk.

Hasil menunjukkan bahawa AutoMIA mencapai keunggulan yang jelas dalam kualiti rekonstruksi. Dalam laporan kertas, AutoMIA mencapai Kehalus (SL) 0.989, paras bunyi (NL) turun kepada 0.049, dan Kekonsistenan Bentuk (SS) 0.931; sebaliknya, SA dan SAR menunjukkan jurang yang ketara dalam kekonsistenan bentuk dan kawalan bunyi.

Sementara itu, AutoMIA mempunyai masa reka bentuk purata hanya 76 saat pada satu RTX 3090, dengan penggunaan memori GPU purata sekitar 2.6GB, menunjukkan kecekapan pengiraan yang tinggi.

Dari hasil visualisasi, SA dan SAR mudah menghasilkan gangguan mengambang, permukaan tidak rata, atau retakan dalaman, yang menyebabkan objek sukar membentuk struktur pepejal yang stabil dan utuh.

Hasil yang dihasilkan oleh AutoMIA tidak hanya dapat menyesuaikan kontur dua gambar sasaran dengan lebih baik, tetapi juga merekonstruksi permukaan berwarna gambar masukan, sehingga perspektif depan dan perspektif cermin kedua-duanya memiliki semantik visual yang jelas.

Untuk seni ilusi cermin, ini sangat penting: jika bentuknya betul tetapi warnanya kacau, atau warnanya hampir tepat tetapi strukturnya hancur, kesan ilusi yang meyakinkan akhirnya sukar dicapai.

Eksperimen ablasi menunjukkan bahawa PAC, PWA, IVP, dan SCD semuanya memberi sumbangan kepada hasil akhir. Menghilangkan mana-mana modul akan menyebabkan penurunan kualiti rekonstruksi. Sebagai contoh, menghilangkan PAC akan meningkatkan kebisingan secara ketara dan mengurangkan konsistensi bentuk; menghilangkan SCD pula akan mempengaruhi bentuk, warna, dan kesan halus.

Ini menunjukkan bahawa AutoMIA bukan sekadar bergantung pada pengoptimuman voksel, tetapi telah direka secara sistematik untuk menangani masalah yang timbul dalam rekaan ilusi cermin.

Berikut adalah contoh-contoh dunia digital, seperti yang dapat dilihat dalam gambar, objek ilusi cermin yang berkualiti tinggi telah dirender menggunakan perisim simulasi digital Blender.

Selain hasil nombor, kertas ini juga menunjukkan beberapa kes penghasilan entiti. Penulis menukar model voksel yang dioptimakan kepada format yang boleh dicetak 3D, dan menghasilkan objek sebenar melalui pencetakan 3D.

Dalam gambar fizikal, objek di depan dan dalam cermin menunjukkan corak yang berbeza, menunjukkan bahawa kaedah ini berjaya berpindah dari rekaan digital ke dunia fizikal.

Pengguna boleh menggunakan kaedah ini untuk mencipta pelbagai karya seni.

Penyelidik mengusulkan AutoMIA, satu sistem rekaan AI untuk menghasilkan seni ilusi cermin secara automatik.

Ia mampu mengoptimumkan bentuk dan warna objek 3D secara bersamaan daripada dua imej 2D, serta meningkatkan kualiti hasil melalui mekanisme seperti PAC, PWA, IVP, dan SCD, menjadikan objek yang dihasilkan lebih licin, lebih lengkap, dan lebih sesuai untuk pembuatan sebenar.

Karya ini menunjukkan kemungkinan baru AI dalam reka bentuk komputasi dan penciptaan seni: ia tidak hanya mampu menghasilkan imej, tetapi juga mereka bentuk 3D ilusi yang boleh direalisasikan secara fizikal. Satu objek yang hanya mempunyai satu bentuk dalam dunia nyata, tetapi boleh menunjukkan identiti visual yang berbeza di dalam cermin, kesan “tidak konsisten antara depan dan cermin” ini juga membuka arah penyelidikan baharu dalam persepsi visual, grafik songsang, dan pembuatan digital.

Penulis makalah secara berturut-turut ialah Zhu Xiaopei, Pelajar Shuimu di Tsinghua University, dengan penasihat kolaborasi Profesor Zhu Jun; Li Zeyuan (penulis pertama bersama), pelajar sarjana muda di Universiti Sains dan Teknologi Huazhong, serta Profesor Zhu Jun dan Pensyarah Associate Hu Xiaolin dari Tsinghua University (penulis koresponden).

Rujukan: http://arxiv.org/abs/2607.02015

Artikel ini berasal daripada akaun微信公众号 "Sinzhiyuan", penulis: Sinzhiyuan; penyunting: LRST