Des chercheurs de l'Université Tsinghua développent AutoMIA pour la génération d'art d'illusion miroir 3D

【Introduction】 Le système AutoMIA développé par l'équipe de l'Université Tsinghua permet de convertir deux images quelconques en une œuvre d'art 3D présentant une illusion de miroir, offrant une représentation visuelle différente sur chaque face, avec une prise en charge de l'impression 3D.

Regardez d'abord les deux groupes de photos : dans chaque groupe, à gauche se trouve le motif frontal de l'objet devant un miroir, et à droite, son reflet dans le miroir. Étrangement, le motif frontal et son reflet semblent être deux choses totalement différentes — dans le premier groupe, le motif frontal est « CVPR », tandis que le reflet devient « 2026 » ; dans le second groupe, le motif frontal est « montagne », mais le reflet devient « eau ».

Their outlines, colors, and even meanings don't match, as if it were an "illusion".

La raison en est qu'il provient d'un objet 3D spécialement conçu, qui exploite l'« effet de complétion symétrique » du système visuel humain pour créer une illusion ; ce type de phénomène est appelé art d'illusion miroir.

Les chercheurs ont conçu soigneusement la géométrie tridimensionnelle et les couleurs de surface pour qu'un objet réel présente des effets visuels radicalement différents lorsqu'il est observé directement ou dans un miroir.

Voici deux séries de vidéos « décryptage » correspondantes.

Traditionnellement, la conception de ce type d'œuvre d'art nécessite une réflexion habile de la part d'artistes professionnels, ainsi qu'une grande quantité d'expérience en conception manuelle complexe et de calculs mathématiques ; la conception de telles œuvres présente un niveau d'accès élevé pour le grand public.

Existe-t-il une méthode pour automatiser l’aide à la réalisation de tels designs artistiques, permettant aux personnes ordinaires de transformer leurs inspirations en œuvres d’art ?

Récemment, une équipe de recherche provenant de l'Université Tsinghua et d'autres institutions a proposé AutoMIA, une méthode d'IA permettant de générer automatiquement des œuvres d'art d'illusions miroir. Les utilisateurs n'ont qu'à spécifier deux images quelconques, correspondant respectivement au motif devant le miroir et au motif dans le miroir ; AutoMIA génère automatiquement la conception 3D de l'œuvre d'art et prend en charge l'impression 3D directe pour créer l'œuvre.

Lien vers l'article : http://arxiv.org/abs/2607.02015

Lien du code : https://github.com/zxp555/AutoMIA

L'article a été accepté par CVPR 2026 et a été désigné comme article phare (Highlight Paper) ; en raison de son efficacité computationnelle élevée, ce travail a également reçu le prix CVPR pour l'efficacité computationnelle (Efficient CVPR).

L'art des illusions optiques a longtemps été une question importante au croisement des domaines de l'art, de la psychologie et de la vision par ordinateur. Les illusions 2D courantes incluent les images mélangées, les images déformées visuellement, etc. ; les illusions 3D incluent notamment l'art de l'ombre et l'art filaire à vue multiple.

Ces méthodes reposent généralement sur des perspectives, des projections ou des relations d'ombre spécifiques pour faire apparaître le même objet différemment selon les conditions d'observation.

Mirror Illusion Art est une illusion 3D plus spécifique : lorsqu'un objet réel est placé devant un miroir, l'observateur voit un motif depuis l'avant et un autre motif dans le miroir.

Auparavant, les conceptions associées nécessitaient une grande quantité de déductions manuelles et d'ajustements manuels, et se concentraient principalement sur la conception de formes, rendant difficile la prise en charge simultanée de motifs colorés. Si l'on s'inspire directement de méthodes telles que Shadow Art, il est facile d'obtenir du bruit de surface, des blocs de fond ou des ruptures internes, ce qui nuit à la qualité visuelle et à la fabrication physique.

Ainsi, l'auteur pose une question directe : peut-on permettre à l'IA de concevoir automatiquement ces objets d'illusion miroir ? Étant donné deux images cibles, le système peut-il optimiser simultanément la forme 3D et la couleur pour que le même objet apparaisse avec deux apparences spécifiées sous deux angles différents ?

AutoMIA modélise ce problème comme une tâche d'inverse design à deux perspectives. Le système représente les objets 3D en voxels, chaque voxel contenant des informations de densité et de couleur ; il effectue ensuite un rendu volumique différenciable pour rendre l'objet depuis deux perspectives spécifiées, puis compare les résultats du rendu à deux images cibles.

L'objectif d'optimisation inclut à la fois la similarité de forme et la similarité de couleur, afin que les objets générés répondent aux exigences de contour tout en reproduisant les couleurs de l'image cible.

Lors de l'optimisation pratique, l'auteur a identifié quatre catégories de problèmes clés : bruit de surface, bruit de fond, ruptures internes et déséquilibre de l'optimisation de la forme et de la couleur.

To this end, the paper proposes four core mechanisms.

Tout d'abord, PAC, soit la suppression des composantes connectées basée sur l'alignement par projection. Le système projette chaque composante connectée du voxel courant sur deux angles de vue, puis attribue une note en fonction du degré de recouvrement avec le masque cible et de la fuite vers l'arrière-plan, conservant uniquement les structures réellement utiles au motif cible et éliminant les parties de bruit flottantes ou inutiles.

Ensuite, il y a le PWA, soit le poids adaptatif basé sur la position pour la suppression du bruit. Il ajuste le poids de pénalité arrière-plan en fonction de la distance entre le pixel et la région cible, imposant une pénalité plus forte aux projections erronées éloignées du motif cible, réduisant ainsi le bruit de fond distant.

Troisièmement, il y a l'IVP, soit la protection des voxels internes. Étant donné que les images supervisées contrôlent principalement la surface des objets, les voxels internes risquent d'être affaiblis incorrectement lors de l'optimisation, ce qui peut entraîner une rupture de la structure. L'IVP identifie les voxels internes et applique une limite inférieure de densité, aidant ainsi à préserver l'intégrité de l'objet, ce qui est particulièrement crucial pour l'impression 3D ultérieure.

Enfin, il y a le SCD, soit l'optimisation décorrélée forme-couleur. AutoMIA divise le processus d'entraînement en trois phases : optimisation de la forme, optimisation conjointe forme-couleur et raffinement de la couleur, évitant ainsi que la couleur n'interfère prématurément avec la structure géométrique et réduisant les conflits de couleur entre les différentes perspectives.

AutoMIA a été validé avec des images 2D multiclasse en entrée, notamment des lettres anglaises, des chiffres, des caractères chinois, des motifs géométriques, des emoji, des motifs de dessins animés et des logos.

Dans l'expérience, les auteurs ont comparé AutoMIA avec des méthodes telles que Shadow Art (SA) et Shadow Art Revisited (SAR). Étant donné que les méthodes de référence prennent principalement en charge l'optimisation de forme, les points de comparaison incluent des indicateurs tels que la fluidité, le niveau de bruit et la cohérence de forme.

Les résultats montrent que AutoMIA obtient un avantage notable en termes de qualité de reconstruction. Selon le rapport de l'article, AutoMIA atteint un niveau de lissage (SL) de 0,989, réduit le niveau de bruit (NL) à 0,049 et atteint une cohérence de forme (SS) de 0,931 ; en comparaison, SA et SAR présentent des écarts significatifs en matière de cohérence de forme et de contrôle du bruit.

En parallèle, AutoMIA nécessite en moyenne seulement 76 secondes pour la conception sur une seule RTX 3090, avec une occupation moyenne de la mémoire vidéo d'environ 2,6 Go, démontrant une efficacité de calcul élevée.

D'après les résultats visualisés, SA et SAR ont tendance à produire des bruits flottants, une surface irrégulière ou des ruptures internes, ce qui rend difficile la formation d'une structure solide stable et complète.

Les résultats générés par AutoMIA ne correspondent pas seulement mieux aux contours des deux images cibles, mais reconstruisent également la surface colorée de l'image d'entrée, offrant une sémantique visuelle claire à la fois pour la vue frontale et la vue dans le miroir.

Pour l'art des hallucinations miroir, ceci est particulièrement crucial : si les formes sont correctes mais les couleurs désordonnées, ou si les couleurs sont proches mais la structure brisée, l'effet d'illusion final sera difficile à rendre convaincant.

Les expériences d'ablation montrent également que PAC, PWA, IVP et SCD contribuent toutes au résultat final. La suppression de l'un quelconque de ces modules entraîne une dégradation de la qualité de reconstruction. Par exemple, supprimer PAC augmente significativement le bruit et réduit la cohérence de forme ; supprimer SCD affecte la forme, la couleur et la fluidité.

Cela indique qu'AutoMIA ne repose pas uniquement sur l'optimisation voxel, mais qu'il a été conçu de manière systématique pour résoudre les problèmes spécifiques liés aux hallucinations miroir.

Voici un ensemble d'exemples du monde numérique ; comme on peut le voir sur l'image, des objets d'illusion miroir ont été rendus avec un bon effet dans le logiciel de simulation numérique Blender.

Outre les résultats numériques, l'article présente plusieurs cas d'application de fabrication d'entités. Les auteurs ont converti les modèles voxel optimisés en formats compatibles avec l'impression 3D et ont fabriqué des objets physiques grâce à l'impression 3D.

Sur les photos réelles, l'objet présente un motif différent sur sa face avant et dans le miroir, ce qui démontre que cette méthode réussit à passer du design numérique au monde physique.

Les utilisateurs peuvent créer diverses œuvres d'art en se basant sur cette méthode.

Les chercheurs ont proposé AutoMIA, un système de conception AI destiné à générer automatiquement de l'art d'illusion de miroir.

Il peut optimiser conjointement la forme et la couleur d'un objet 3D à partir de deux images 2D, et améliorer la qualité des résultats grâce à des mécanismes tels que PAC, PWA, IVP et SCD, produisant des objets plus lisses, plus complets et mieux adaptés à la fabrication réelle.

Ce travail démontre de nouvelles possibilités de l'IA dans la conception computationnelle et la création artistique : il peut non seulement générer des images, mais aussi concevoir des objets 3D d'illusions physiquement réalisables. Un objet qui n'a qu'une seule forme dans la réalité, mais qui présente une identité visuelle différente dans un miroir, offre de nouvelles pistes de recherche en perception visuelle, en graphisme inverse et en fabrication numérique.

Les auteurs de l'article sont, dans l'ordre : Zhu Xiaopei, chercheur du programme Shuimu de l'Université Tsinghua, sous la supervision du professeur Zhu Jun ; Li Zeyuan (co-premier auteur), étudiant en licence à l'Université des sciences et technologies de Huazhong, ainsi que les professeurs Zhu Jun et Hu Xiaolin (auteur correspondant) de l'Université Tsinghua.

Référence : http://arxiv.org/abs/2607.02015

Cet article provient du compte officiel WeChat « Nouvelle Intelligence », auteur : Nouvelle Intelligence ; éditeur : LRST