Pesquisadores da Universidade Tsinghua desenvolvem AutoMIA para geração de arte de ilusão espelhada 3D

[Introdução] O sistema AutoMIA, desenvolvido por uma equipe da Universidade Tsinghua, pode converter quaisquer duas imagens em uma obra de arte 3D com efeito de ilusão espelhada, permitindo a apresentação visual de padrões diferentes em ambos os lados e suportando impressão 3D.

Veja primeiro os dois conjuntos de fotos: em cada conjunto, à esquerda está o padrão frontal do objeto diante do espelho, e à direita, sua reflexão no espelho. Estranhamente, o frontal e o reflexo parecem ser duas coisas completamente diferentes — no primeiro conjunto, o frontal é "CVPR", mas no espelho aparece "2026"; no segundo conjunto, o frontal é "montanha", mas no espelho se torna "água".

Seus contornos, cores e até mesmo significados não coincidem, como se fosse uma "ilusão".

A razão por trás disso é que ele vem de um objeto 3D especialmente projetado, que aproveita o "efeito de complementação simétrica" do sistema visual humano para criar uma ilusão; esse tipo de fenômeno é conhecido como arte de ilusão espelhada.

Pesquisadores, por meio do design cuidadoso da geometria tridimensional e da cor da superfície, fizeram com que um objeto real apresentasse efeitos visuais completamente diferentes quando observado diretamente e quando observado no espelho.

Aqui estão dois conjuntos de vídeos correspondentes de "descriptografia".

Tradicionalmente, o design desse tipo de arte exige a criatividade especializada de artistas profissionais, além de extensa experiência manual em design e cálculos matemáticos complexos, tornando o design desse tipo de arte de alto acesso para pessoas comuns.

Existe alguma maneira de automatizar a ajuda às pessoas nesse tipo de design artístico, permitindo que indivíduos comuns transformem suas inspirações em obras de arte?

Recentemente, uma equipe de pesquisa de universidades como a Universidade Tsinghua propôs o AutoMIA, um método de design baseado em IA para gerar automaticamente arte de ilusão de espelho. Os usuários apenas precisam especificar duas imagens quaisquer, correspondendo aos padrões diante e dentro do espelho; o AutoMIA automaticamente conclui o design da obra tridimensional e suporta impressão 3D direta para a criação da arte.

Link do artigo: http://arxiv.org/abs/2607.02015

Link do código: https://github.com/zxp555/AutoMIA

O artigo foi aceito pelo CVPR 2026 e classificado como artigo destaque (Highlight Paper); além disso, por sua alta eficiência computacional, o trabalho também recebeu o Prêmio de Computação Eficiente do CVPR (Efficient CVPR).

A arte das ilusões ópticas tem sido historicamente um problema importante na interseção entre arte, psicologia e visão computacional. Ilusões 2D comuns incluem imagens mistas, imagens distorcidas visualmente, etc.; ilusões 3D incluem Shadow Art, Multi-View Wire Art, etc.

Esses métodos geralmente dependem de perspectivas, projeções ou relações de sombra específicas para fazer com que o mesmo objeto apresente aparências diferentes sob condições de observação variadas.

Mirror Illusion Art é uma ilusão 3D mais especial: quando um objeto real é colocado diante de um espelho, o observador vê um padrão na frente e outro padrão no espelho.

Anteriormente, os designs relacionados geralmente exigiam grande quantidade de dedução manual e ajustes manuais, e se concentravam principalmente no design de formas, dificultando o processamento simultâneo de padrões coloridos. Se métodos como Shadow Art forem diretamente adotados, também é fácil gerar ruído superficial, blocos de fundo ou rupturas internas, afetando a qualidade visual e a fabricação física.

Portanto, o autor levanta uma pergunta direta: é possível fazer com que a IA projete automaticamente esses objetos de ilusão espelhada? Dadas duas imagens-alvo, o sistema pode otimizar simultaneamente a forma 3D e a cor para que o mesmo objeto apresente duas aparências especificadas sob dois ângulos de visão?

A AutoMIA modela este problema como uma tarefa de design inverso com dois pontos de vista. O sistema representa objetos 3D usando vóxeis, cada um contendo informações de densidade e cor; em seguida, por meio de renderização volumétrica diferenciável, o objeto é renderizado a partir de dois pontos de vista especificados, e os resultados da renderização são comparados com duas imagens-alvo.

O objetivo de otimização inclui simultaneamente a similaridade de forma e a similaridade de cor, garantindo que o objeto gerado atenda aos requisitos de contorno e também reproduza a cor da imagem de destino.

Na otimização prática, o autor identificou quatro categorias de problemas críticos: ruído superficial, ruído de fundo, rupturas internas e desequilíbrio na otimização de forma e cor.

For this purpose, the paper proposes four core mechanisms.

Primeiro é o PAC, ou poda de componentes conectados baseada em alinhamento por projeção. O sistema projeta cada componente conectado no voxel atual para dois ângulos de visão e atribui uma pontuação com base no grau de sobreposição com a máscara alvo e na vazamento de fundo, mantendo apenas as estruturas que realmente contribuem para o padrão alvo e removendo partes de ruído flutuantes ou inválidas.

Em seguida, há o PWA, ou Ponderação Adaptativa Baseada em Localização para Redução de Ruído. Ele ajusta o peso da penalização de fundo com base na distância dos pixels em relação à região-alvo, impondo penalidades mais fortes a projeções errôneas distantes do padrão-alvo, reduzindo assim o ruído de fundo nas áreas remotas.

O terceiro é o VPI, ou proteção de voxel interno. Como as imagens supervisionadas principalmente restringem a superfície do objeto, os voxels internos tendem a ser incorretamente enfraquecidos durante a otimização, levando à quebra da estrutura. O VPI identifica os voxels internos e aplica um limite inferior de densidade, ajudando a manter a integridade do objeto, o que é especialmente importante para a impressão 3D subsequente.

Por fim, há o SCD, ou otimização desacoplada de forma e cor. O AutoMIA divide o processo de treinamento em três estágios: otimização da forma, otimização conjunta de forma e cor, e refinamento da cor, evitando que a cor interfira prematuramente na estrutura geométrica e reduzindo conflitos de cor entre diferentes ângulos.

O AutoMIA foi validado com múltiplos tipos de imagens 2D como entrada, incluindo letras inglesas, números, caracteres chineses, padrões geométricos, emojis, ilustrações de desenhos animados e logotipos.

No experimento, os autores compararam o AutoMIA com métodos como Shadow Art (SA) e Shadow Art Revisited (SAR). Como os métodos de referência suportam principalmente otimização de forma, os pontos de comparação incluíram métricas como suavidade, nível de ruído e consistência de forma.

Os resultados mostram que o AutoMIA obteve vantagem significativa na qualidade de reconstrução. No relatório do artigo, o AutoMIA alcançou 0,989 em suavidade (SL), reduziu o nível de ruído (NL) para 0,049 e atingiu 0,931 em consistência de forma (SS); em comparação, SA e SAR apresentam lacunas claras em consistência de forma e controle de ruído.

Ao mesmo tempo, o AutoMIA apresenta um tempo médio de design de apenas 76 segundos por única RTX 3090, com uso médio de memória gráfica de cerca de 2,6 GB, demonstrando eficiência computacional elevada.

A partir dos resultados visualizados, SA e SAR tendem a produzir ruído flutuante, superfícies irregulares ou fraturas internas, dificultando a formação de uma estrutura sólida estável e completa.

Os resultados gerados pelo AutoMIA não apenas correspondem melhor aos contornos das duas imagens-alvo, mas também reconstróem a superfície colorida da imagem de entrada, proporcionando semântica visual clara tanto para a visão frontal quanto para a visão no espelho.

Para a arte de ilusão de espelho, isso é especialmente crucial: se as formas estiverem corretas, mas as cores estiverem desordenadas, ou se as cores estiverem próximas, mas a estrutura estiver quebrada, o efeito ilusório final será difícil de convencer.

Os experimentos de ablação demonstraram adicionalmente que PAC, PWA, IVP e SCD contribuem todos para os resultados finais. Remover qualquer um dos módulos resulta em queda na qualidade da reconstrução. Por exemplo, remover o PAC aumenta significativamente o ruído e reduz a consistência da forma; remover o SCD afeta a forma, a cor e o efeito de suavidade.

Isso indica que o AutoMIA não depende apenas da otimização de voxels, mas foi projetado sistematicamente para resolver problemas específicos relacionados a ilusões de espelho.

Abaixo estão exemplos de um mundo digital; como pode ser visto na imagem, foram renderizados objetos de ilusão espelhada com excelente qualidade no software de simulação digital Blender.

Além dos resultados numéricos, o artigo apresenta vários casos de fabricação de entidades. Os autores converteram os modelos de voxels otimizados em formatos adequados para impressão 3D e produziram objetos físicos por meio de impressão 3D.

Na foto real, o objeto frontal e o reflexo no espelho apresentam padrões diferentes, indicando que o método conseguiu transcender do design digital para o mundo físico.

Users can use this method to create various types of artwork.

Pesquisadores propuseram o AutoMIA, um sistema de design de IA para geração automática de arte de ilusão de espelho.

Ele pode partir de duas imagens 2D, otimizar conjuntamente a forma e a cor de um objeto 3D, e melhorar a qualidade do resultado por meio de mecanismos como PAC, PWA, IVP e SCD, tornando o objeto gerado mais suave, mais completo e mais adequado para produção real.

Este trabalho demonstra novas possibilidades da IA em design computacional e criação artística: ela não apenas gera imagens, mas também projeta objetos 3D com ilusões visualmente realizáveis fisicamente. Um objeto que possui apenas uma forma na realidade pode apresentar uma identidade visual diferente no espelho — esse efeito de “inconsistência entre o frontal e o refletido” abre novas direções de pesquisa em percepção visual, gráfica reversa e fabricação digital.

Os autores do artigo são, em ordem: Zhu Xiaopei, Acadêmico da Shuimu da Universidade Tsinghua, com o orientador colaborador Professor Zhu Jun; Li Zeyuan (co-primeiro autor), graduando da Universidade de Ciência e Tecnologia de Huazhong, e os professores Zhu Jun e Hu Xiaolin da Universidade Tsinghua (autor correspondente).

Referência: http://arxiv.org/abs/2607.02015

Este artigo é do número de assinantes do WeChat "NeuralEngine", autor: NeuralEngine; editor: LRST