Các nhà nghiên cứu của Đại học Thanh Hoa phát triển AutoMIA để tạo ra nghệ thuật ảo giác gương 3D

[Giới thiệu] Hệ thống AutoMIA do nhóm nghiên cứu của Đại học Thanh Hoa phát triển có thể chuyển đổi bất kỳ hai hình ảnh nào thành tác phẩm nghệ thuật 3D tạo hiệu ứng ảo giác gương, đạt được sự hiển thị thị giác khác nhau ở hai mặt và hỗ trợ in 3D.

Hãy xem hai bộ ảnh dưới đây: Trong mỗi bộ, bên trái là hình ảnh trực diện của vật thể trước gương, bên phải là hình ảnh phản chiếu của nó trong gương. Điều kỳ lạ là hình ảnh trực diện và hình ảnh trong gương gần như là hai thứ hoàn toàn khác biệt—bộ thứ nhất, hình trực diện là «CVPR», nhưng trong gương lại biến thành «2026»; bộ thứ hai, hình trực diện là «núi», nhưng trong gương lại trở thành «nước».

Hình dạng, màu sắc, thậm chí cả ý nghĩa của chúng đều không khớp, như thể là một “ảo giác”.

Lý do đằng sau nó là do nó xuất phát từ một đối tượng 3D được thiết kế đặc biệt, khai thác hiệu ứng "hoàn thiện đối xứng" của hệ thống thị giác con người để tạo ảo giác, hiện tượng này được gọi là nghệ thuật ảo giác gương.

Các nhà nghiên cứu đã thiết kế cẩn thận hình học ba chiều và màu sắc bề mặt để tạo ra hiệu ứng thị giác hoàn toàn khác nhau khi quan sát trực tiếp và quan sát qua gương đối với một vật thể thực tế.

Dưới đây là hai bộ video «giải mã» tương ứng.

The traditional design of such artworks requires skilled artistic conception by professional artists, along with extensive complex manual design experience and mathematical calculations, making the design of such artworks highly inaccessible to ordinary people.

Vậy có cách nào để tự động hóa việc hỗ trợ mọi người thực hiện thiết kế nghệ thuật này, giúp người bình thường có thể biến cảm hứng của mình thành tác phẩm nghệ thuật không?

Gần đây, một nhóm nghiên cứu từ Đại học Thanh Hoa và các đơn vị khác đã đề xuất AutoMIA, một phương pháp thiết kế AI tự động tạo ra nghệ thuật ảo giác gương, người dùng chỉ cần chỉ định hai hình ảnh bất kỳ, tương ứng với hình ảnh trước gương và hình ảnh trong gương, AutoMIA sẽ tự động hoàn thành thiết kế tác phẩm 3D và hỗ trợ in 3D trực tiếp để tạo ra tác phẩm nghệ thuật.

Liên kết bài báo: http://arxiv.org/abs/2607.02015

Liên kết mã: https://github.com/zxp555/AutoMIA

Bài báo đã được CVPR 2026 chấp nhận và được đánh giá là bài báo nổi bật của hội nghị (Highlight Paper); đồng thời, do hiệu suất tính toán cao, công trình này còn nhận giải thưởng Tính toán Hiệu quả của CVPR (Efficient CVPR).

Nghệ thuật ảo giác quang học từ lâu đã là một vấn đề quan trọng trong lĩnh vực giao thoa giữa nghệ thuật, tâm lý học và thị giác máy tính. Các ảo giác 2D phổ biến bao gồm hình ảnh hỗn hợp, hình ảnh biến dạng thị giác; các ảo giác 3D bao gồm Shadow Art, Multi-View Wire Art, v.v.

Các phương pháp này thường dựa vào góc nhìn, phép chiếu hoặc mối quan hệ bóng đổ cụ thể, giúp cùng một vật thể hiển thị ngoại hình khác nhau trong các điều kiện quan sát khác nhau.

Mirror Illusion Art là một ảo giác 3D đặc biệt hơn: khi một vật thể thực được đặt trước gương, người quan sát nhìn thấy một họa tiết ở phía trước và một họa tiết khác trong gương.

Trước đây, các thiết kế liên quan thường yêu cầu nhiều công sức suy luận thủ công và điều chỉnh tay, đồng thời tập trung chủ yếu vào thiết kế hình dạng, khó xử lý đồng thời các họa tiết màu sắc. Nếu trực tiếp tham khảo các phương pháp như Shadow Art, cũng dễ gây ra nhiễu bề mặt, khối nền nổi hoặc đứt gãy bên trong, ảnh hưởng đến chất lượng thị giác và quá trình sản xuất thực tế.

Do đó, tác giả đặt ra một câu hỏi trực tiếp: Liệu có thể để AI tự động thiết kế các vật thể ảo phản chiếu này không? Với hai hình ảnh mục tiêu, hệ thống có thể đồng thời tối ưu hình dạng 3D và màu sắc để một vật thể duy nhất hiển thị hai ngoại hình được chỉ định khi nhìn từ hai góc độ khác nhau không?

AutoMIA mô hình hóa vấn đề này như một nhiệm vụ thiết kế ngược hai góc nhìn. Hệ thống biểu diễn vật thể 3D bằng voxel, mỗi voxel chứa thông tin về mật độ và màu sắc; sau đó, thông qua rendering voxel khả vi, vật thể được render từ hai góc nhìn được chỉ định, và kết quả render được so sánh với hai hình ảnh mục tiêu.

Mục tiêu tối ưu hóa bao gồm cả độ tương đồng hình dạng và độ tương đồng màu sắc, nhằm đảm bảo vật thể được tạo ra vừa đáp ứng yêu cầu về đường viền, vừa tạo ra màu sắc của hình ảnh mục tiêu.

Trong quá trình tối ưu hóa thực tế, tác giả đã phát hiện ra bốn loại vấn đề then chốt: nhiễu bề mặt, nhiễu nền, sự đứt gãy bên trong và sự mất cân bằng trong tối ưu hóa hình dạng và màu sắc.

To this end, the paper proposes four core mechanisms.

Đầu tiên là PAC, tức là loại bỏ các thành phần liên thông dựa trên phép chiếu căn chỉnh. Hệ thống sẽ chiếu từng thành phần liên thông trong thể voxel hiện tại lên hai góc nhìn, sau đó đánh giá dựa trên mức độ trùng khớp với mask mục tiêu và tình trạng tràn nền, giữ lại các cấu trúc thực sự góp phần tạo nên mẫu mục tiêu và loại bỏ các phần nhiễu trôi nổi hoặc vô hiệu.

Tiếp theo là PWA, tức là trọng số thích nghi giảm nhiễu dựa trên vị trí. Nó điều chỉnh trọng số phạt nền dựa trên khoảng cách từ pixel đến vùng mục tiêu, khiến các phép chiếu sai ở xa mô hình mục tiêu bị phạt mạnh hơn, từ đó giảm nhiễu nền ở khoảng cách xa.

Thứ ba là IVP, tức là Bảo vệ Voxel Nội bộ. Vì hình ảnh giám sát chủ yếu ràng buộc bề mặt vật thể, các voxel nội bộ dễ bị suy yếu sai lệch trong quá trình tối ưu, dẫn đến phá vỡ cấu trúc. IVP sẽ nhận diện các voxel nội bộ và áp dụng ngưỡng mật độ tối thiểu, giúp duy trì tính toàn vẹn của vật thể, điều này đặc biệt quan trọng đối với in 3D sau này.

Cuối cùng là SCD, tức là tối ưu hóa tách biệt hình dạng—màu sắc. AutoMIA chia quá trình huấn luyện thành ba giai đoạn: tối ưu hóa hình dạng, tối ưu hóa kết hợp hình dạng và màu sắc, và tinh chỉnh màu sắc, nhằm tránh việc màu sắc can thiệp quá sớm vào cấu trúc hình học và giảm xung đột màu sắc giữa các góc nhìn khác nhau.

AutoMIA đã được xác minh khi sử dụng nhiều loại hình ảnh 2D làm đầu vào, bao gồm chữ cái tiếng Anh, số, chữ Hán, họa tiết hình học, emoji, họa tiết hoạt hình và logo.

Trong thí nghiệm, tác giả đã so sánh AutoMIA với các phương pháp như Shadow Art (SA) và Shadow Art Revisited (SAR). Do các phương pháp cơ sở chủ yếu hỗ trợ tối ưu hóa hình dạng, các tiêu chí so sánh bao gồm mức độ mượt, mức độ nhiễu và tính nhất quán hình dạng.

Kết quả cho thấy AutoMIA đạt ưu thế rõ rệt về chất lượng tái tạo. Trong báo cáo nghiên cứu, AutoMIA đạt mức độ mượt mà (SL) là 0,989, mức độ nhiễu (NL) giảm xuống còn 0,049 và tính nhất quán hình dạng (SS) đạt 0,931; trong khi đó, SA và SAR đều có khoảng cách rõ rệt về tính nhất quán hình dạng và kiểm soát nhiễu.

Đồng thời, AutoMIA có thời gian thiết kế trung bình chỉ 76 giây trên một card RTX 3090, với mức sử dụng bộ nhớ đồ họa trung bình khoảng 2,6 GB, thể hiện hiệu suất tính toán hiệu quả.

Từ kết quả trực quan hóa, SA và SAR dễ gây ra các vấn đề như nhiễu lơ lửng, bề mặt không phẳng hoặc nứt bên trong, dẫn đến việc vật thể khó tạo thành cấu trúc rắn ổn định và hoàn chỉnh.

Kết quả do AutoMIA tạo ra không chỉ khớp tốt hơn với đường viền của hai hình ảnh mục tiêu, mà còn tái tạo bề mặt màu của hình ảnh đầu vào, giúp cả góc nhìn trực diện và góc nhìn trong gương đều có ngữ nghĩa thị giác rõ ràng.

Đối với nghệ thuật ảo ảnh gương, điều này đặc biệt quan trọng: nếu hình dạng chính xác nhưng màu sắc hỗn loạn, hoặc màu sắc gần đúng nhưng cấu trúc bị phá vỡ, cuối cùng đều khó tạo ra hiệu ứng ảo giác thuyết phục.

Các thí nghiệm tiêu trừ cho thấy PAC, PWA, IVP và SCD đều đóng góp vào kết quả cuối cùng. Việc loại bỏ bất kỳ mô-đun nào đều dẫn đến sự suy giảm chất lượng tái tạo. Ví dụ: loại bỏ PAC sẽ làm tăng đáng kể nhiễu và giảm tính nhất quán hình dạng; loại bỏ SCD sẽ ảnh hưởng đến hình dạng, màu sắc và hiệu ứng mượt mà.

Điều này cho thấy AutoMIA không chỉ đơn thuần dựa vào tối ưu hóa voxel, mà còn được thiết kế hệ thống để giải quyết các vấn đề phát sinh trong thiết kế ảo ảnh phản chiếu.

Dưới đây là một số ví dụ về thế giới số, từ hình ảnh có thể thấy, trong phần mềm mô phỏng số Blender, đã tạo ra các vật thể ảo phản chiếu với hiệu ứng tốt.

Ngoài các kết quả số, bài báo còn trình bày nhiều trường hợp minh họa thực tế. Tác giả đã chuyển đổi các mô hình voxel đã được tối ưu thành định dạng có thể in 3D và tạo ra các vật thể thực tế thông qua in 3D.

Trong ảnh thực tế, vật thể ở mặt trước và trong gương hiển thị các họa tiết khác nhau, cho thấy phương pháp này có thể thành công chuyển từ thiết kế kỹ thuật số sang thế giới vật lý.

Người dùng có thể sử dụng phương pháp này để tạo ra nhiều loại tác phẩm nghệ thuật.

Các nhà nghiên cứu đã đề xuất AutoMIA, một hệ thống thiết kế AI dùng để tự động tạo ra Nghệ thuật Ảo giác Gương.

Nó có thể bắt đầu từ hai hình ảnh 2D, tối ưu hóa đồng thời hình dạng và màu sắc của đối tượng 3D, đồng thời cải thiện chất lượng kết quả thông qua các cơ chế như PAC, PWA, IVP và SCD, giúp đối tượng được tạo ra mượt mà, hoàn chỉnh hơn và phù hợp hơn với việc sản xuất thực tế.

Công việc này cho thấy những khả năng mới của AI trong thiết kế tính toán và sáng tạo nghệ thuật: không chỉ có thể tạo ra hình ảnh, mà còn thiết kế các vật thể 3D ảo có thể thực hiện về mặt vật lý. Một vật thể trong thực tế chỉ có một hình thái, nhưng lại có thể hiện ra một danh tính thị giác khác trong gương—hiệu ứng “không nhất quán giữa mặt trước và hình ảnh trong gương”—cũng mở ra những hướng nghiên cứu mới về nhận thức thị giác, đồ họa ngược và sản xuất kỹ thuật số.

Các tác giả của bài báo theo thứ tự là: Chu Tiểu Phối, học giả Thủy Mộc của Đại học Thanh Hoa, giáo sư hướng dẫn hợp tác là Giáo sư Chu Quân; Lý Trạch Viễn (đồng tác giả đầu tiên), sinh viên đại học Trường Đại học Khoa học và Công nghệ Hoa Trung, cùng với Giáo sư Chu Quân và Phó Giáo sư Hồ Tiểu Lâm của Đại học Thanh Hoa (tác giả liên lạc).

Tài liệu tham khảo: http://arxiv.org/abs/2607.02015

Bài viết này đến từ tài khoản chính thức WeChat "New智Yuan", tác giả: New智Yuan; biên tập: LRST