Investigadores de la Universidad Tsinghua desarrollan AutoMIA para la generación de arte de ilusión especular 3D

【Introducción】 El sistema AutoMIA desarrollado por el equipo de la Universidad Tsinghua puede convertir dos imágenes cualesquiera en una obra de arte 3D con efecto de ilusión especular, logrando una presentación visual de patrones diferentes en ambos lados y admitiendo impresión 3D.

Primero, observe las dos siguientes series de fotos: en cada serie, a la izquierda está el patrón frontal del objeto frente al espejo, y a la derecha está su reflejo en el espejo. Lo extraño es que el frontal y el reflejo parecen ser dos cosas completamente distintas: en la primera serie, el frontal muestra «CVPR», pero en el espejo aparece «2026»; en la segunda serie, el frontal muestra «山», pero en el espejo se convierte en «水».

Their outlines, colors, and even meanings don't match, as if it were an "illusion".

La razón detrás de esto es que proviene de un objeto 3D diseñado específicamente, que aprovecha el "efecto de completación simétrica" del sistema visual humano para crear una ilusión; este tipo de fenómeno se conoce como arte de ilusión especular.

Los investigadores, mediante el diseño cuidadoso de la geometría tridimensional y el color de la superficie, logran que un objeto real presente efectos visuales completamente diferentes cuando se observa directamente y cuando se observa en un espejo.

Aquí hay dos conjuntos de videos de «desencriptación» correspondientes.

Tradicionalmente, el diseño de este tipo de obras de arte requiere la ingeniosa creatividad de artistas profesionales, así como una gran cantidad de experiencia en diseño manual complejo y cálculos matemáticos, lo que hace que el diseño de estas obras sea de alto acceso para el público en general.

¿Existe alguna forma de automatizar el proceso de ayuda para que las personas realicen este tipo de diseño artístico, permitiendo que los usuarios comunes conviertan sus inspiraciones en obras de arte?

Recientemente, un equipo de investigación de la Universidad Tsinghua y otras instituciones presentó AutoMIA, un método de diseño de IA que genera automáticamente arte de ilusión de espejo: los usuarios solo necesitan especificar dos imágenes cualesquiera, correspondientes al patrón delante del espejo y al patrón en el espejo, y AutoMIA completará automáticamente el diseño de una obra tridimensional, con soporte para impresión 3D directa para crear la obra de arte.

Enlace al artículo: http://arxiv.org/abs/2607.02015

Enlace del código: https://github.com/zxp555/AutoMIA

El artículo ha sido aceptado en CVPR 2026 y ha sido evaluado como artículo destacado (Highlight Paper); además, por su alta eficiencia computacional, este trabajo ha recibido el premio CVPR de cálculo eficiente (Efficient CVPR).

El arte de las ilusiones ópticas ha sido durante mucho tiempo un problema importante en la intersección de las disciplinas del arte, la psicología y la visión por computadora. Las ilusiones 2D comunes incluyen imágenes mixtas, imágenes con distorsión visual, etc.; las ilusiones 3D incluyen Shadow Art, Multi-View Wire Art, etc.

Estos métodos suelen depender de perspectivas, proyecciones o relaciones de sombra específicas para hacer que el mismo objeto parezca diferente bajo distintas condiciones de observación.

Mirror Illusion Art es una ilusión 3D más especial: cuando un objeto real se coloca frente a un espejo, el observador ve un patrón desde el frente y otro patrón en el espejo.

Anteriormente, los diseños relacionados requerían una gran cantidad de deducción manual y ajustes manuales, y se centraban principalmente en el diseño de formas, lo que dificultaba el procesamiento simultáneo de patrones a color. Si se adoptaran directamente métodos como Shadow Art, también sería fácil generar ruido superficial, bloques de fondo o grietas internas, afectando la calidad visual y la fabricación física.

Por lo tanto, el autor plantea una pregunta directa: ¿puede la IA diseñar automáticamente estos objetos de ilusión especular? Dadas dos imágenes objetivo, ¿puede el sistema optimizar simultáneamente la forma 3D y el color para que el mismo objeto presente dos apariencias especificadas desde dos ángulos distintos?

AutoMIA modela este problema como una tarea de diseño inverso de dos perspectivas. El sistema representa objetos 3D mediante voxels, cada uno conteniendo información de densidad y color; posteriormente, mediante renderizado volumétrico diferenciable, renderiza el objeto desde dos perspectivas especificadas y compara los resultados renderizados con dos imágenes objetivo.

El objetivo de optimización incluye tanto la similitud de forma como la similitud de color, para que el objeto generado cumpla con los requisitos de contorno y también reproduzca el color de la imagen objetivo.

En la optimización práctica, el autor identificó cuatro tipos de problemas clave: ruido superficial, ruido de fondo, fracturas internas y desequilibrio en la optimización de forma y color.

For this, the paper proposes four core mechanisms.

En primer lugar, se encuentra PAC, es decir, la poda de componentes conectados basada en alineación por proyección. El sistema proyecta cada componente conectado en el volumen actual sobre dos perspectivas y asigna una puntuación según el grado de superposición con la máscara objetivo y la fuga de fondo, conservando solo las estructuras que realmente contribuyen al patrón objetivo y eliminando las partes de ruido flotantes o inválidas.

A continuación, se encuentra la PWA, es decir, la adaptación ponderada basada en la posición para la supresión de ruido. Ajusta el peso de la penalización del fondo según la distancia del píxel hasta la región objetivo, imponiendo una penalización más fuerte a las proyecciones erróneas alejadas del patrón objetivo, lo que reduce el ruido de fondo en distancias mayores.

El tercero es IVP, es decir, protección de voxel interno. Dado que las imágenes supervisadas principalmente restringen la superficie del objeto, los voxels internos tienden a ser debilitados incorrectamente durante la optimización, lo que provoca fracturas estructurales. IVP identifica los voxels internos y aplica un límite inferior de densidad, ayudando a mantener la integridad del objeto, lo cual es especialmente importante para la impresión 3D posterior.

Finalmente, se tiene el SCD, es decir, la optimización desacoplada de forma-color. AutoMIA divide el proceso de entrenamiento en tres etapas: optimización de forma, optimización conjunta de forma y color, y refinamiento de color, evitando así que el color interfiera prematuramente con la estructura geométrica y reduciendo los conflictos entre colores de distintas perspectivas.

AutoMIA se validó con múltiples tipos de imágenes 2D como entrada, incluyendo letras inglesas, números, caracteres chinos, patrones geométricos, emojis, dibujos animados y logotipos.

En el experimento, los autores compararon AutoMIA con métodos como Shadow Art (SA) y Shadow Art Revisited (SAR). Dado que los métodos de referencia principalmente admiten optimización de forma, los puntos de comparación incluyeron métricas como suavidad, nivel de ruido y consistencia de forma.

Los resultados muestran que AutoMIA obtiene una clara ventaja en la calidad de reconstrucción. En el informe del artículo, AutoMIA alcanza un nivel de suavidad (SL) de 0.989, reduce el nivel de ruido (NL) a 0.049 y logra una consistencia de forma (SS) de 0.931; en comparación, SA y SAR presentan diferencias significativas en consistencia de forma y control de ruido.

Al mismo tiempo, AutoMIA tiene un tiempo de diseño promedio de solo 76 segundos por tarjeta RTX 3090, con un uso promedio de memoria gráfica de aproximadamente 2.6 GB, lo que demuestra una eficiencia computacional elevada.

Desde los resultados visuales, SA y SAR tienden a generar ruido flotante, superficies irregulares o fracturas internas, lo que dificulta la formación de una estructura sólida estable y completa.

Los resultados generados por AutoMIA no solo coinciden mejor con los contornos de las dos imágenes objetivo, sino que también reconstruyen la superficie a color de la imagen de entrada, logrando una semántica visual clara tanto en la vista frontal como en la vista reflejada.

Para el arte de ilusiones especulares, esto es especialmente clave: si las formas son correctas pero los colores están desordenados, o si los colores son cercanos pero la estructura está rota, finalmente será difícil lograr una ilusión convincente.

Los experimentos de ablación demuestran adicionalmente que PAC, PWA, IVP y SCD contribuyen todos al resultado final. Eliminar cualquiera de los módulos reduce la calidad de la reconstrucción. Por ejemplo, eliminar PAC aumenta significativamente el ruido y reduce la coherencia de forma; eliminar SCD afecta la forma, el color y el efecto de suavidad.

Esto indica que AutoMIA no depende únicamente de la optimización de voxels, sino que presenta un diseño sistemático dirigido a resolver los problemas surgidos en el diseño de ilusiones especulares.

A continuación se presentan algunos ejemplos del mundo digital; como se puede ver en la imagen, se generaron objetos de ilusión especular con un excelente efecto utilizando el software de simulación digital Blender.

Además de los resultados numéricos, el artículo presenta varios casos de fabricación de entidades. Los autores convirtieron los modelos de voxels optimizados en formatos imprimibles en 3D y fabricaron objetos reales mediante impresión 3D.

En las fotos reales, el objeto muestra patrones diferentes en la parte frontal y en el espejo, lo que indica que este método puede lograr con éxito la transición desde el diseño digital al mundo físico.

Users can use this method to create various types of artwork.

Los investigadores propusieron AutoMIA, un sistema de diseño de IA para generar automáticamente arte de ilusión de espejo.

Puede partir de dos imágenes 2D para optimizar conjuntamente la forma y el color de un objeto 3D, y mejorar la calidad del resultado mediante mecanismos como PAC, PWA, IVP y SCD, logrando objetos generados más suaves, más completos y más adecuados para la fabricación real.

Este trabajo demuestra nuevas posibilidades de la IA en el diseño computacional y la creación artística: no solo puede generar imágenes, sino también diseñar objetos 3D con ilusiones físicamente realizable. Un objeto tiene una sola forma en la realidad, pero puede presentar una identidad visual diferente en el espejo; este efecto de «inconsistencia entre la vista frontal y la reflejada» abre nuevas líneas de investigación en percepción visual, gráfica inversa y fabricación digital.

Los autores del artículo son, en orden: Zhu Xiaopei, becario de Shuimu de la Universidad Tsinghua, con el profesor Zhu Jun como tutor colaborador; Li Zeyuan (co-primer autor), estudiante undergraduate de la Universidad de Ciencia y Tecnología de Huazhong, y los profesores Zhu Jun y Hu Xiaolin (autor correspondiente) de la Universidad Tsinghua.

Referencia: http://arxiv.org/abs/2607.02015

Este artículo proviene del canal de WeChat "Neozhiyuan", autor: Neozhiyuan; editor: LRST