Peneliti Universitas Tsinghua Mengembangkan AutoMIA untuk Generasi Seni Ilusi Cermin 3D

[Pengantar] Sistem AutoMIA yang dikembangkan oleh tim Universitas Tsinghua dapat mengubah dua gambar apa pun menjadi karya seni 3D dengan efek ilusi cermin, menciptakan tampilan visual pola yang berbeda di kedua sisi, serta mendukung pencetakan 3D.

Lihat dua set foto di bawah ini: Dalam setiap set, kiri menunjukkan pola depan objek di depan cermin, kanan menunjukkan refleksinya di cermin. Yang aneh adalah, gambar depan dan refleksinya di cermin hampir tampak seperti dua hal yang sama sekali tidak terkait—pada set pertama, depannya adalah «CVPR», tetapi di cermin berubah menjadi «2026»; pada set kedua, depannya adalah «gunung», tetapi di cermin menjadi «air».

Bentuk, warna, bahkan maknanya tidak cocok, seolah-olah sebuah 「ilusi».

Alasannya adalah bahwa objek 3D tersebut dirancang khusus untuk memanfaatkan efek "simetri pelengkapan" pada sistem visual manusia, menciptakan ilusi yang dikenal sebagai seni ilusi cermin.

Peneliti menciptakan efek visual yang sangat berbeda pada objek nyata saat dilihat langsung dan saat dilihat di cermin, dengan merancang geometri tiga dimensi dan warna permukaan secara cermat.

Berikut adalah dua set video "dekripsi" yang sesuai.

Secara tradisional, desain karya seni semacam ini memerlukan pemikiran cermat dari seniman profesional, serta pengalaman desain manual yang kompleks dan perhitungan matematis yang banyak, sehingga ambang batas desain karya seni ini sangat tinggi bagi orang biasa.

Apakah ada cara untuk mengotomatisasi membantu orang menyelesaikan desain seni semacam ini, sehingga orang biasa dapat mengubah inspirasi mereka menjadi karya seni?

Baru-baru ini, tim peneliti dari Tsinghua University dan lembaga lainnya mengusulkan AutoMIA, sebuah metode desain AI yang secara otomatis menghasilkan seni ilusi cermin, di mana pengguna hanya perlu menentukan dua gambar apa pun, masing-masing mewakili pola di depan cermin dan di dalam cermin; AutoMIA akan secara otomatis menyelesaikan desain karya seni 3D dan mendukung pencetakan 3D langsung untuk membuat karya seni.

Tautan makalah: http://arxiv.org/abs/2607.02015

Tautan kode: https://github.com/zxp555/AutoMIA

Paper telah diterima oleh CVPR 2026 dan dinilai sebagai Highlight Paper; selain itu, karena efisiensi komputasi yang tinggi, karya ini juga memperoleh Efficient CVPR Award.

Seni ilusi optik telah lama menjadi masalah penting di bidang persilangan seni, psikologi, dan komputer vision. Ilusi 2D umum meliputi gambar campuran, gambar distorsi visual, dll.; ilusi 3D meliputi Shadow Art, Multi-View Wire Art, dll.

Metode-metode ini biasanya bergantung pada sudut pandang, proyeksi, atau hubungan bayangan tertentu, sehingga objek yang sama dapat tampak berbeda dalam kondisi pengamatan yang berbeda.

Mirror Illusion Art adalah ilusi 3D yang lebih khusus: ketika sebuah objek nyata ditempatkan di depan cermin, pengamat melihat satu pola dari depan, dan pola lainnya di dalam cermin.

Sebelumnya, desain terkait sering memerlukan banyak derivasi manual dan penyesuaian manual, serta lebih berfokus pada desain bentuk, sehingga sulit menangani pola berwarna secara bersamaan. Jika langsung mengadopsi metode semacam Shadow Art, juga mudah menghasilkan noise permukaan, blok latar belakang, atau retakan internal, yang memengaruhi kualitas visual dan pembuatan fisik.

Oleh karena itu, penulis mengajukan pertanyaan langsung: apakah AI dapat secara otomatis merancang objek ilusi cermin ini? Diberikan dua gambar target, apakah sistem dapat secara bersamaan mengoptimalkan bentuk 3D dan warna, sehingga objek yang sama menampilkan dua penampilan yang ditentukan dari dua sudut pandang?

AutoMIA memodelkan masalah ini sebagai tugas desain invers dua perspektif. Sistem merepresentasikan objek 3D dengan voxel, di mana setiap voxel berisi informasi kepadatan dan warna; kemudian melalui rendering voxel diferensial, objek tersebut dirender dari dua perspektif yang ditentukan, dan hasil render dibandingkan dengan dua gambar target.

Tujuan optimasi mencakup kesamaan bentuk dan kesamaan warna, sehingga objek yang dihasilkan memenuhi persyaratan kontur serta menghasilkan warna dari gambar target.

Dalam optimasi nyata, penulis menemukan empat jenis masalah kunci: noise permukaan, noise latar belakang, retakan internal, dan ketidakseimbangan optimasi bentuk dan warna.

Untuk ini, makalah tersebut mengusulkan empat mekanisme inti.

Pertama adalah PAC, yaitu pemangkasan wilayah terhubung berdasarkan proyeksi selaras. Sistem akan memproyeksikan setiap komponen terhubung dalam voxel saat ini ke dua sudut pandang, lalu memberi skor berdasarkan tingkat tumpang tindih dengan masker target dan tingkat kebocoran latar belakang, sehingga mempertahankan struktur yang benar-benar berkontribusi terhadap pola target dan menghilangkan bagian-bagian noise yang mengambang atau tidak valid.

Kedua adalah PWA, yaitu Weighted Adaptive Noise Suppression berbasis lokasi. Ini menyesuaikan bobot hukuman latar belakang berdasarkan jarak piksel ke area target, sehingga proyeksi kesalahan yang jauh dari pola target mendapat hukuman lebih kuat, yang mengurangi noise latar belakang jauh.

Ketiga adalah IVP, yaitu Internal Voxel Protection. Karena citra supervisi terutama membatasi permukaan objek, voxel internal rentan dilemahkan secara salah selama optimasi, menyebabkan struktur patah. IVP akan mengenali voxel internal dan menerapkan batas bawah densitas untuk membantu menjaga integritas objek, yang sangat penting untuk pencetakan 3D selanjutnya.

Terakhir adalah SCD, yaitu optimasi dekoupling bentuk-warna. AutoMIA membagi proses pelatihan menjadi tiga tahap: optimasi bentuk, optimasi bersama bentuk-warna, dan penyempurnaan warna, untuk mencegah warna mengganggu struktur geometris terlalu dini serta mengurangi konflik warna antar sudut pandang.

AutoMIA diverifikasi dengan menggunakan berbagai jenis gambar 2D sebagai input, termasuk huruf Inggris, angka, karakter Tiongkok, pola geometris, emoji, pola kartun, dan logo.

Dalam eksperimen, penulis membandingkan AutoMIA dengan metode-metode seperti Shadow Art (SA) dan Shadow Art Revisited (SAR). Karena metode baseline terutama mendukung optimasi bentuk, fokus perbandingan mencakup indikator-indikator seperti tingkat kehalusan, tingkat kebisingan, dan konsistensi bentuk.

Hasil menunjukkan bahwa AutoMIA mencapai keunggulan signifikan dalam kualitas rekonstruksi. Dalam laporan penelitian, tingkat kehalusan (SL) AutoMIA mencapai 0,989, tingkat kebisingan (NL) turun menjadi 0,049, dan konsistensi bentuk (SS) mencapai 0,931; sebaliknya, SA dan SAR menunjukkan kesenjangan jelas dalam konsistensi bentuk dan pengendalian kebisingan.

Sementara itu, AutoMIA rata-rata hanya memerlukan waktu desain 76 detik per RTX 3090, dengan penggunaan memori GPU rata-rata sekitar 2,6 GB, menunjukkan efisiensi komputasi yang tinggi.

Dari hasil visualisasi, SA dan SAR cenderung menghasilkan masalah seperti noise mengambang, permukaan tidak rata, atau retakan internal, sehingga objek sulit membentuk struktur padat yang stabil dan utuh.

Hasil yang dihasilkan oleh AutoMIA tidak hanya dapat lebih baik mencocokkan kontur dua gambar target, tetapi juga merekonstruksi permukaan berwarna dari gambar input, sehingga sudut pandang frontal dan sudut pandang cermin keduanya memiliki semantik visual yang jelas.

Ini sangat penting bagi seni ilusi cermin: jika bentuknya benar tetapi warnanya kacau, atau warnanya hampir tepat tetapi strukturnya hancur, hasil akhirnya akan sulit menciptakan ilusi yang meyakinkan.

Eksperimen ablasi lebih lanjut menunjukkan bahwa PAC, PWA, IVP, dan SCD semuanya memberikan kontribusi terhadap hasil akhir. Menghilangkan salah satu modul akan menyebabkan penurunan kualitas rekonstruksi. Misalnya, menghilangkan PAC akan secara signifikan meningkatkan noise dan mengurangi konsistensi bentuk; menghilangkan SCD akan memengaruhi bentuk, warna, dan efek kehalusan.

Ini menunjukkan bahwa AutoMIA bukan hanya bergantung pada optimasi voxel, tetapi dirancang secara sistematis untuk mengatasi masalah yang muncul dalam desain ilusi cermin.

Berikut adalah sejumlah contoh dunia digital, seperti yang dapat dilihat pada gambar, objek ilusi cermin yang tampil baik telah dirender menggunakan perangkat lunak simulasi digital Blender.

Selain hasil numerik, makalah tersebut juga menunjukkan beberapa contoh pembuatan entitas. Penulis mengonversi model vektor yang dioptimalkan menjadi format yang dapat dicetak 3D, lalu membuat objek nyata melalui pencetakan 3D.

Dalam foto nyata, objek di depan dan di cermin menunjukkan pola yang berbeda, menunjukkan bahwa metode ini berhasil berpindah dari desain digital ke dunia fisik.

Pengguna dapat membuat berbagai jenis karya seni berdasarkan metode ini.

Para peneliti mengusulkan AutoMIA, sebuah sistem desain AI untuk menghasilkan seni ilusi cermin secara otomatis.

Ia mampu mengoptimalkan bentuk dan warna objek 3D secara bersamaan dari dua gambar 2D, serta meningkatkan kualitas hasil melalui mekanisme seperti PAC, PWA, IVP, dan SCD, sehingga objek yang dihasilkan menjadi lebih halus, lebih lengkap, dan lebih cocok untuk produksi nyata.

Karya ini menunjukkan kemungkinan baru AI dalam desain komputasi dan penciptaan seni: tidak hanya mampu menghasilkan gambar, tetapi juga merancang objek ilusi 3D yang dapat diwujudkan secara fisik. Sebuah objek yang hanya memiliki satu bentuk di dunia nyata, namun dapat menampilkan identitas visual berbeda di cermin, efek "ketidaksesuaian antara sisi depan dan refleksi cermin" ini juga membuka arah penelitian baru dalam persepsi visual, grafika terbalik, dan manufaktur digital.

Penulis makalah secara berurutan adalah Zhu Xiaopei, Scholar dari Shuimu, Tsinghua University, dengan pembimbing kolaboratif Profesor Zhu Jun; Li Zeyuan (penulis pertama bersama), mahasiswa sarjana Universitas Sains dan Teknologi Huazhong, serta Profesor Zhu Jun dan Asisten Profesor Hu Xiaolin dari Tsinghua University (penulis korrespondensi).

Referensi: http://arxiv.org/abs/2607.02015

Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: Sinzhiyuan; editor: LRST