【ガイド】清华大学のチームが開発したAutoMIAシステムは、任意の2枚の画像を鏡像錯覚効果を持つ3Dアートに変換し、両面に異なる図案を視覚的に表示し、3Dプリントをサポートします。
以下の2組の写真をご覧ください。各組の左側は鏡の前の物体の正面図で、右側はその鏡に映った反射です。不思議なことに、正面と鏡に映るものはほとんど関係のない2つの異なるものに見えます。第1組では正面は「CVPR」ですが、鏡には「2026」が映っています。第2組では正面は「山」ですが、鏡には「水」が映っています。
その輪郭、色、さらには意味まで一致せず、まるで「錯覚」のようだ。
その背景には、人間の視覚システムの「対称補完効果」を利用して錯覚を生み出すように特別に設計された3Dオブジェクトがあり、このような現象はミラー錯覚アートと呼ばれます。
研究者は、三次元幾何と表面色を丁寧に設計することで、実物を直接観察したときと鏡で観察したときの視覚的効果を大きく異なるものにしています。
以下は、対応する「デコード」ビデオの2セットです。
従来、このようなアート作品の設計には、専門のアーティストの巧みな構想と、多くの複雑な手作業の設計経験および数学的計算が必要であり、一般の人々にとってはハードルが高かった。
このようなアートデザインを自動化して、一般の人々が自分のインスピレーションをアートに変える方法はありますか？
最近、清华大学などの研究チームは、AutoMIAと呼ばれる、鏡の錯覚アートを自動生成するAIデザイン手法を提案しました。ユーザーはただ2枚の画像を指定するだけで、それぞれ鏡の前と鏡の中の図案に対応させ、AutoMIAが3次元アートの設計を自動で完了し、直接3Dプリントしてアート作品を作成することが可能です。
論文リンク: http://arxiv.org/abs/2607.02015
コードリンク: https://github.com/zxp555/AutoMIA
論文はCVPR 2026に採択され、ハイライト論文（Highlight Paper）に選ばれた。また、高い計算効率性により、CVPR効率計算賞（Efficient CVPR）も受賞した。
研究背景
光学錯覚アートは、長年にわたり芸術、心理学、コンピュータービジョンの交差分野における重要な課題である。一般的な2D錯覚には、混合画像や視覚的変形画像などがあり、3D錯覚にはシャドウアートやマルチビュー・ワイヤーアートなどがある。
これらの方法は、特定の視点、投影、または影の関係に依存して、同じ物体を異なる観察条件下で異なる外観に見せます。
Mirror Illusion Artは、より特殊な3D錯覚です。実物を鏡の前に置くと、観察者は正面からあるパターンを見、鏡には別のパターンが映ります。
以前の関連設計は、大量の手動推導と手動調整を必要とし、形状設計に集中していたため、カラーパターンを同時に処理することが困難でした。Shadow Artのような方法を直接適用すると、表面ノイズ、背景の浮き上がり、または内部の断裂が発生しやすく、視覚的品質や実体製作に影響を与えます。
したがって、著者は直接的な質問を提起した：AIにこのミラー幻覚オブジェクトを自動で設計させることは可能か？2つのターゲット画像を入力として、システムは同一のオブジェクトが2つの視点でそれぞれ指定された外観を呈するように、3D形状と色を同時に最適化できるか？
研究方法
AutoMIAはこの問題を双視点逆設計タスクとしてモデル化する。システムは体素で3Dオブジェクトを表現し、各体素には密度と色の情報が含まれる。その後、微分可能な体積レンダリングを用いて、指定された2つの視点からオブジェクトをレンダリングし、レンダリング結果を2つのターゲット画像と比較する。
最適化目標には形状の類似度と色の類似度が含まれており、生成された物体は輪郭の要件を満たすとともに、ターゲット画像の色を再現します。
実際の最適化において、著者は4つの主要な問題を発見しました：表面ノイズ、背景ノイズ、内部断裂、および形状と色の最適化の不均衡。
そのため、論文は4つのコアメカニズムを提案しています。
まずPAC、すなわち投影整列に基づく連結成分の剪定です。システムは、現在のボクセル内の連結成分を2つの視点にそれぞれ投影し、それらがターゲットマスクとどの程度重複しているか、および背景のオーバーフローの状況に基づいてスコアを付与します。これにより、ターゲットパターンに真正に貢献する構造を保持し、浮遊または無効なノイズ部分を除去します。
次に、PWA（位置に基づく加重自適応ノイズ低減）です。これは、ピクセルが対象領域からどれだけ離れているかに応じて背景ペナルティの重みを調整し、対象パターンから遠い場所での誤投影に対してより強いペナルティを課すことで、遠方の背景ノイズを削減します。
第三にIVP、すなわち内部ボクセル保護があります。監督画像は主に物体表面に制約を課すため、最適化中に内部ボクセルが誤って弱められ、構造が断裂する可能性があります。IVPは内部ボクセルを識別し、密度の下限を適用することで、物体の整合性を維持するのに役立ちます。これは、後続の3Dプリントにおいて特に重要です。
最後にSCD、すなわち形状―色解離最適化です。AutoMIAはトレーニングプロセスを形状最適化、形状と色の統合最適化、および色の微調整の段階に分割し、色が幾何構造に早期に干渉することを避け、異なる視点間の色の衝突を軽減します。
実験結果
AutoMIAは、英字、数字、漢字、幾何学模様、絵文字、カートーンパターン、ロゴなどの複数の2D画像を入力として検証された。
実験において、著者はAutoMIAをShadow Art（SA）およびShadow Art Revisited（SAR）などの手法と比較した。ベースライン手法は主に形状最適化をサポートしているため、比較の焦点は滑らかさ、ノイズレベル、形状の一貫性などの指標に置かれた。
結果、AutoMIAは再構築品質で顕著な優位性を示しました。論文報告によると、AutoMIAの滑らかさ(SL)は0.989、ノイズレベル(NL)は0.049に低下し、形状一貫性(SS)は0.931に達しました。一方、SAおよびSARは形状一貫性とノイズ制御において明確な差異が見られました。
また、AutoMIAは単一のRTX 3090上で平均設計時間が76秒、平均VRAM使用量は約2.6GBであり、高い計算効率を実現しています。
可視化結果によると、SAおよびSARは浮遊ノイズ、表面の不均一性、内部の断裂などの問題を引き起こしやすく、物体が安定した完全な固体構造を形成することが困難です。
AutoMIAが生成する結果は、対象となる2つの画像の輪郭をより正確に一致させるだけでなく、入力画像のカラー表面を再構築し、正面ビューと鏡像ビューの両方に明確な視覚的意味をもたらします。
ミラー幻覚アートにおいて、これは特に重要です。形状は正しいが色が混乱している場合、または色は近いが構造が破損している場合、いずれも説得力のある錯覚効果を生み出すのは困難です。
消去実験により、PAC、PWA、IVP、SCDのすべてが最終結果に寄与していることがさらに示された。いずれのモジュールを削除しても、再構成品質が低下する。たとえば、PACを削除するとノイズが顕著に増加し、形状の一貫性が低下する。SCDを削除すると、形状、色、滑らかさに影響を与える。
これはAutoMIAが体素最適化に単純に依存しているのではなく、ミラー幻覚の設計における問題に対して体系的に設計されていることを示しています。
以下はデジタルワールドの例であり、図から確認できるように、Blenderデジタルシミュレーションソフトウェアを用いて、優れたミラー錯覚オブジェクトがレンダリングされています。
数字結果に加えて、論文は複数の実体制作ケースを示しています。著者は最適化されたボクセルモデルを3Dプリント可能な形式に変換し、実物を3Dプリントしました。
実物の写真では、物体の正面と鏡に映るパターンが異なり、この方法がデジタル設計から物理世界へ成功裏に移行できることを示しています。
ユーザーはこの方法を用いてさまざまなアート作品を作成できます。
結論と展望
研究者たちは、ミラー錯覚アートを自動生成するためのAI設計システム「AutoMIA」を提案しました。
これは2枚の2D画像から3Dオブジェクトの形状と色を共同最適化し、PAC、PWA、IVP、SCDなどのメカニズムを用いて結果の品質を向上させ、生成されたオブジェクトをより滑らかで完全にし、実際の製造に適したものにします。
この取り組みは、AIが計算デザインと芸術創作において新たな可能性を示しています。AIは画像を生成するだけでなく、物理的に実現可能な3D錯覚オブジェクトを設計することもできます。現実では1つの形状を持つオブジェクトが、鏡の中に別の視覚的アイデンティティを呈するという「正面と鏡の中の不一致」の効果は、視覚認識、逆方向グラフィックス、デジタル製造における新たな研究分野を提供しています。
著者紹介
論文の著者は順に、朱小佩（清華大学水木学者、共同指導教員：朱軍教授）、李澤遠（共通第一著者、華中科技大学本科生）、清華大学朱軍教授および胡暁林准教授（通信著者）である。
参考文献：http://arxiv.org/abs/2607.02015
本文は微信公众号「新智元」より、著者：新智元；編集：LRST