Ang mga siyentipiko ng Tsinghua University ay nagbuo ng AutoMIA para sa paggawa ng 3D Mirror Illusion Art

[Paunang Paglalahat] Ang AutoMIA system na inimbento ng team ng Tsinghua University ay maaaring i-convert ang anumang dalawang larawan sa isang 3D na sining na may epekto ng mirror illusion, na nagpapakita ng iba’t ibang disenyo sa bawat gilid, at sumusuporta sa 3D printing.

Tingnan muna ang dalawang grupo ng mga larawan: Sa bawat grupo, ang kaliwa ay ang harap na disenyo ng bagay sa harap ng salamin, at ang kanan ay ang kanyang refleksyon sa salamin. Kakaibang, ang harap at ang refleksyon ay tila dalawang magkakaibang bagay—sa unang grupo, ang harap ay «CVPR», ngunit sa salamin ay naging «2026»; sa ikalawang grupo, ang harap ay «bundok», ngunit sa salamin ay naging «tubig».

Hindi tugma ang kanilang hugis, kulay, kahit na ang kanilang kahulugan, parang isang 「illusion».

Ang dahilan sa likod nito ay ang fakto na ito ay galing sa isang espesyal na disenyo na 3D na bagay, na gumagamit ng "symmetry completion effect" ng tao's visual system upang magdulot ng ilusyon, at ang ganitong uri ng phenomenon ay tinatawag na mirror illusion art.

Ang mga siyentipiko ay nagdisenyo ng tumpak na 3D na heometriya at kulay ng surface upang gawing magkakaibang ang visual na epekto ng isang totoong bagay sa direkta at sa salamin.

Narito ang dalawang set ng mga video na «decrpyted».

Sa tradisyonal na kahulugan, ang disenyo ng mga akdang sining na ito ay nangangailangan ng masusing pag-iisip ng mga propesyonal na artista, pati na rin ng malaking dami ng kumplikadong karanasan sa manual na disenyo at matematikal na kalkulasyon, kaya mataas ang hadlang para sa karaniwang tao.

Mayroon bang paraan upang awtomatikong tulungan ang mga tao na gawin ang ganitong uri ng disenyo, kaya makapagpapalit ng kanilang inspirasyon sa isang gawaing sining ang mga karaniwang tao?

Kasalukuyan, isang team ng mga mananaliksik mula sa Tsinghua University at iba pang mga institusyon ay nagtataguyod ng AutoMIA, isang AI na paraan para awtomatikong lumikha ng art na may mirror illusion, kung saan ang mga user ay kailangan lang magbigay ng anumang dalawang larawan—isa para sa pattern sa harap ng salamin at isa para sa pattern sa loob ng salamin—at ang AutoMIA ay awtomatikong makakapagdesign ng 3D na gawaing sining at susuportahan ang direkta na 3D printing para sa paggawa ng sining.

Link ng papel: http://arxiv.org/abs/2607.02015

Link ng code: https://github.com/zxp555/AutoMIA

Ang papel ay tinanggap na ng CVPR 2026 at itinuring na Highlight Paper; kasabay nito, dahil sa mataas na efficiency sa komputasyon, ang gawaing ito ay nagwagi ng Efficient CVPR Award.

Ang optical illusion art ay mahalagang isyu sa krus na larangan ng sining, psikolohiya, at computer vision. Ang karaniwang 2D illusion ay kasama ang mixed images, visual distortion images, atbp.; ang 3D illusion naman ay kasama ang Shadow Art, Multi-View Wire Art, atbp.

Ang mga paraan na ito ay karaniwang nakasalalay sa partikular na pananaw, proyeksyon, o relasyon ng anino, upang magbigay ng iba’t ibang anyo sa isang bagay sa iba’t ibang kondisyon ng pagmamasid.

Ang Mirror Illusion Art ay isang mas espesyal na 3D illusion: kapag isang tunay na bagay ay isinasaayos sa harap ng salamin, nakikita ng manonood sa harap ang isang pattern, habang sa salamin ay nakikita ang iba pang pattern.

Kahit na dati, ang mga kaugnay na disenyo ay kadalasang nangangailangan ng maraming manual na pagdedebate at pagpapalit, at kadalasang nakatuon sa disenyo ng hugis, kaya't mahirap bigyang-pansin ang mga kulay na pattern nang sabay-sabay. Kung gagamitin nang direkta ang mga paraan tulad ng Shadow Art, madalas itong magdudulot ng ingay sa surface, mga bloke sa background, o mga pagsisira sa loob, na nakakaapekto sa kalidad ng biswal at paggawa ng pisikal na bagay.

Kaya ang may-akda ay nagtatanong nang direkta: Maaari ba nating gawing awtomatiko ng AI ang pagdidisenyo ng ganitong mga bagay na mirror illusion? Sa pagbibigay ng dalawang target na imahe, maaari ba ng sistema na i-optimize ang 3D shape at kulay nang sabay-sabay upang ipakita ang iisang bagay na may dalawang tinukoy na anyo sa dalawang pananaw?

I-model ng AutoMIA ang problema bilang isang dual-view inverse design task. Ginagamit ng sistema ang voxel representation para sa 3D object, kung saan bawat voxel ay naglalaman ng density at color information; pagkatapos, ginagawa ang differentiable volume rendering upang i-render ang object mula sa dalawang nakatakdang pananaw, at ikokompara ang mga resulta ng rendering sa dalawang target image.

Ang target na optimeyzed ay kasama ang pagkakatulad ng hugis at pagkakatulad ng kulay, upang matiyak na ang nilikhang bagay ay sumasapat sa mga hiling sa kontur at makagawa rin ng kulay ng target na imahe.

Sa tunay na pag-optimize, natuklasan ng may-akda ang apat na uri ng mahahalagang problema: surface noise, background noise, internal breaks, at imbalance sa shape at color optimization.

Para sa layuning ito, ang papel ay nagtataguyod ng apat na pangunahing mekanismo.

Una sa PAC, o connectivity pruning batay sa projection alignment. Ang sistema ay magpro-projekta ang bawat connected component sa kasalukuyang voxel sa dalawang pananaw, at magbibigay ng score batay sa antas ng pagkakasundo nito sa target mask at sa pagkakaroon ng background overflow, upang panatilihin ang mga istruktura na talagang nakakatulong sa target pattern at tanggalin ang mga nakakalat o walang kwentang ingay.

Susunod ay ang PWA, o position-weighted adaptive denoising. Ito ay nag-aadjust ng weights ng penalty sa background batay sa distansya ng pixel mula sa target area, upang mas mapanatili ang mas malakas na penalty sa mga maliwong projection na malayo sa target pattern, kaya mas mababawasan ang background noise sa malalayong lugar.

Ang ikatlo ay IVP, o Internal Voxel Protection. Dahil ang mga supervised image ay pangunahing naglalayong magbigay ng limitasyon sa ibabaw ng bagay, ang mga internal voxel ay madaling mawalan ng lakas nang mali sa pag-optimize, na nagdudulot ng pagkasira ng istruktura. Ang IVP ay makikilala ang mga internal voxel at maglalapat ng lower density bound upang tulungan ang pagpanatili ng integridad ng bagay, na mahalaga lalo na para sa susunod na 3D printing.

Huling bahagi ay ang SCD, o Shape-Color Decoupled Optimization. Ipinapahati ng AutoMIA ang proseso ng pagtuturo sa mga yugto ng shape optimization, joint shape-color optimization, at color refinement upang maiwasan ang maagang pagkakaapekto ng kulay sa geometric structure, at upang mabawasan ang mga konflikto sa pagitan ng kulay mula sa iba’t ibang pananaw.

Pinatotohanan ng AutoMIA ang mga papel na may maraming uri ng 2D imahe bilang input, kabilang ang mga Ingles na titik, numero, Chinese characters, heometrikong pattern, emoji, cartoon pattern, at logo.

Sa eksperimento, kinumpara ng may-akda ang AutoMIA sa mga paraan tulad ng Shadow Art (SA) at Shadow Art Revisited (SAR). Dahil ang mga batayang paraan ay pangunahing sumusuporta sa shape optimization, ang mga pangunahing pagsasalungat ay kasama ang antas ng pagkakasalimuot, antas ng ingay, at pagkakatugma ng hugis.

Ang mga resulta ay nagpapakita na ang AutoMIA ay nagtataglay ng malinaw na kahusayan sa kalidad ng pagbuo. Ayon sa papel, ang Smoothness (SL) ng AutoMIA ay umabot sa 0.989, ang Noise Level (NL) ay bumaba sa 0.049, at ang Shape Similarity (SS) ay umabot sa 0.931; sa kabilang banda, ang SA at SAR ay may malaking pagkakaiba sa shape similarity at kontrol ng ingay.

Samantala, ang AutoMIA ay may average na oras ng disenyo na 76 segundo sa isang RTX 3090, na may average na paggamit ng VRAM na humigit-kumulang 2.6GB, na nagpapakita ng epektibong compute efficiency.

Batay sa mga nakikita的结果, ang SA at SAR ay madaling magdulot ng mga problema tulad ng floating noise, hindi patag na surface, o internal fractures, na nagiging sanhi ng pagkakaroon ng mahirap makabuo ng isang matatag at buong solid na istruktura.

Ang mga resulta na ginawa ng AutoMIA ay hindi lamang mas maayos na tumutugma sa mga kontur ng dalawang target image, kundi maaari ring muling bumuo ng kulay na surface ng input image, upang magkaroon ng malinaw na visual semantics sa front view at sa mirror view.

Para sa mirror illusion art, mahalaga ito: kung ang hugis ay tama ngunit ang kulay ay kakaibang, o kung ang kulay ay malapit ngunit ang istruktura ay nasira, ang huling epekto ay mahirap maging kapani-paniwala.

Ang mga eksperimento sa ablation ay nagpapatotoo na ang PAC, PWA, IVP, at SCD ay nagtataguyod sa kinalabasan. Ang pag-alis ng anumang module ay magdudulot ng pagbaba sa kalidad ng rekonstruksyon. Halimbawa, ang pag-alis ng PAC ay magdudulot ng malaking pagtaas ng ingay at pagbaba sa pagkakatugma ng hugis; habang ang pag-alis ng SCD ay makakaapekto sa hugis, kulay, at epekto ng kalinisan.

Ito ay nagpapakita na ang AutoMIA ay hindi lamang nakabatay sa voxel optimization, kundi may sistematisadong disenyo para sa mga problema na lumalabas sa paggawa ng mirror hallucinations.

Nakapagbigay ang sumusunod ng ilang halimbawa ng digital na mundo; mula sa larawan, makikita na ang mga bagay na nagpapakita ng epekto ng mirror illusion ay na-render sa pamamagitan ng Blender digital simulation software.

Bukod sa mga numerikal na resulta, ipinakita ng papel ang mga kaso ng paggawa ng mga entidad. Ibinago ng mga may-akda ang optimized na voxel model sa format na mai-print sa 3D, at ginawa ang mga totoong bagay gamit ang 3D printing.

Sa mga totoong larawan, iba ang pattern sa harap ng bagay at sa salamin, na nagpapakita na ang paraan ay nakakamit na ang paglipat mula sa digital na disenyo patungo sa pisikal na mundo.

Maaari ng mga user gumawa ng iba’t ibang uri ng sining batay sa paraang ito.

Ang mga siyentipiko ay nagmungkahi ng AutoMIA, isang AI design system para sa awtomatikong paggawa ng Mirror Illusion Art.

Nakakapag-optimize nito ang hugis at kulay ng 3D object mula sa dalawang 2D image, at pinapabuti ang kalidad ng resulta sa pamamagitan ng mga mekanismo tulad ng PAC, PWA, IVP, at SCD, upang gawing mas malambot at mas kompletong ang nilikhang object, at mas angkop para sa praktikal na paggawa.

Ipapakita ng proyektong ito ang mga bagong posibilidad ng AI sa computed design at sining: hindi lamang ito nagkakaroon ng mga imahe, kundi nagdidisenyo rin ng 3D optical illusion objects na may physical realizability. Isang bagay na may isang anyo lamang sa katotohanan, ngunit nagpapakita ng ibang visual identity sa salamin, ang epekto ng “hindi pagkakasundo sa harap at sa salamin” ay nagbibigay din ng bagong direksyon sa pag-aaral ng visual perception, inverse graphics, at digital manufacturing.

Ang mga may-akda ng papel ay sunod-sunod: Zhu Xiaopei, Water-Mu Scholar ng Tsinghua University, na may tagapagsamahang mentor na si Professor Zhu Jun; Li Zeyuan (kaukulan na unang may-akda), undergraduate ng Huazhong University of Science and Technology, at sina Professor Zhu Jun at Associate Professor Hu Xiaolin ng Tsinghua University (kaukulan na may-akda).

Mga sanggunian: http://arxiv.org/abs/2607.02015

Nakuha mula sa WeChat public account na "Xinzhiyuan", may-akda: Xinzhiyuan; editor: LRST