AI 創新的下一塊高地，正向 3D 生成聚集。
從多模態生成、世界模型，到空間智能、具身智能機器人……
3D，正在成為下一代AI的核心引擎。
And now, a legendary figure in the field of graphics and the hottest star company in the AI 3D space have joined forces.
最新消息：
童欣已正式加入胡淵鳴創辦的 Meshy。
Hu Yuanming and the Old Witch Gather Together
根據最新消息，童欣將出任 AI 3D 公司 Meshy 的首席科學家，負責制定 Meshy 的長期科研戰略。
這可能意味著，華人圖形學界最具代表性的兩代研究者——Meshy 創始人胡淵鳴與童欣，將共同推進多模態世界模型與實時交互系統的突破。
童欣此前在微軟亞洲研究院工作25年，期間曾領導網絡圖形組，並擔任全球研究合夥人。
其研究方向涵蓋計算機圖形學與三維計算機視覺，具體包括但不限於材質捕捉與建模、紋理合成、三維幾何處理與建模、光傳輸分析與模擬、真實感繪製、三維人臉動畫。
△
電腦圖形學，簡單來說，關注的是「如何在電腦中創建、操控和呈現三維世界」。
這一領域在遊戲、影視、工業模擬中具有基礎性地位，而當下更日益成為 AI 感知與表達的基礎設施。
畢竟不懂三維，AI 就難以真正理解和進入物理世界。
而童欣，是在這個方向上扎根最久、積澱最深的學者之一。
1999年，童欣剛從清華博士畢業，便進入了成立不滿一年的微軟中國研究院，也就是日後被稱為「中國科技界黃埔軍校」的微軟亞洲研究院。
在二十多年間，這裡走出無數位影響中國乃至全球電腦研究格局的核心人物——不過那就是另外的故事了。
作為亞研院的第一批研究員，童欣在這裡一待就是25年，從研究員一路做到全球研究合夥人、網路圖形組負責人。
幾乎見證了中國電腦圖形學的所有重要時刻。
△
During this period, Tong Xin published numerous papers in top-tier journals and conferences, with over 21,000 citations on Google Scholar.
這些技術研究為微軟留下了不少好東西，包括 Xbox 遊戲開發 API、Xbox 兼容軟體、Windows 三維列印驅動，以及 Direct3D 圖形開發工具包等等。
此外，童欣還為亞研院網絡圖形組留下了一筆「財產」：一批足以支撐當下華人圖形學界的中堅力量。
在 25 年間，他在這裡與一批又一批優秀研究者合作、交流與指導。
浙大周昆，ACM Fellow、IEEE Fellow，CAD&CG全國重點實驗室主任，與童欣合作多年，從3D打印、計算設計一路探索至NeRF與神經渲染；
清華大學徐昆，清華大學計算機系長聘副教授、國家傑青，博士期間與童欣多次合作發表 SIGGRAPH 論文；
北大王鵬帥，北大王選所助理教授，從實習生到高級研究員一直於童欣麾下，如今已是三維幾何學習領域的代表學者……
與他共事過的人，對童欣的評價往往出奇一致：
親切近人，始終親臨一線，既能就極其細節的技術問題進行嚴謹討論，也能用通俗易懂的語言講清楚複雜的技術問題。
在童欣看來，電腦圖形學是一門電腦應用學科，因此所有的研究問題都源自實際需求以及新設備、新數據的出現。
此外，童欣也非常幽默風趣，例如，他是這樣形容自己的研究的：
我的家人除了對我做的飯菜比較認可，經常開玩笑說我每天對著螢幕上的三維茶壺、兔子甘之如飴、自High不已，但是看起來我做的事情大不能改變世界局勢，小不能提高百姓生活，實在不明白我的成就感來自哪裡。
△
這就是圖形學圈內無人不知、無人不曉的「童姥」，擁有極深厚的學術功力，卻帶著孩童般的親切與好奇。
倒也貼切。
“AI 玩樂”
可以说，童欣在圖形學界走到這一步，領域內能與之匹配的也只有 Meshy 這樣的明星獨角獸了。
Meshy 是胡淵鳴從 MIT 博士畢業後創辦的第一家公司，其定位很簡單，就是將文字和圖片轉變為 3D 模型。
目前，Meshy 已聚集 1200 萬名用戶，客戶涵蓋全球市值與估值前十企業中的一半。
In July this year, Meshy completed a B-round financing of nearly US$400 million, with a post-money valuation exceeding RMB10 billion.
一舉創下全球AI 3D領域單輪融資規模與估值兩項紀錄，成為該領域估值最高的公司。
然而，無論是更快的增長速度還是更高的估值，相較於 Meshy 的願景而言，都過於具體了。
Hu Yuanming, founder of Meshy.ai, 400-meter champion at Yangzhou High School sports meet, second prize winner in Tsinghua Yao Class singing competition, MIT Ph.D. in Computer Graphics, SIGGRAPH Best Ph.D. Thesis nominee, author of the Taichi programming language and compiler.
△
他提出了一個聽起來有點特別的目標：
AI 玩樂。
他的邏輯鏈是這樣的。
在未來，當 AGI 解決了大量生產力問題之後，人類將只剩下一個核心問題。
我們要如何創造、表達、連接？最重要的是，我們將如何獲得意義？
讀書、旅行、玩遊戲、刷短劇……這些確實可以為我們創造快樂，然而在一個自由時間如此豐饒的時代，我們「一定會去追求更新穎、更有效的快樂和意義感生成方式」。
這種方式，註定會由 AI 來驅動。
因此，“利用 AI 為人類帶來快樂與意義感，將是未來五年最重要的問題之一”。
而 Meshy，想成為這個圖景裡至為關鍵的那塊拼圖。
用胡淵鳴的話來講就是，他們要做的是「基於生成式 AI 重塑圖形學，找到將想像具象化的全局最優解。」
這是什麼意思？
換句話說，在今天，AI 3D 要做的不僅僅是在圖形學的指導下讓 AI 更高效地完成建模、貼圖和渲染。
In the long term, the endgame of AI 3D may be the materialization of imagination.
This forward-looking perspective aligns well with Tong Xin's philosophy.
在2016年，童欣就提出，要解決圖形內容生產的 everyone 和 everywhere 問題，讓任何人 anywhere 都能創造可視媒體內容。
十年後的今天，「everyone everywhere 創造可視媒體內容」變成了「讓任何人僅用一句話，就能將想像轉化為可進入、可互動的世界」。
這當然是很宏大的願望。
為實現此目標，Meshy 目前正在三個層面上進行基礎性技術研究工作：
首先，也是最重要的——重新發明圖形學。
為此，需跳出過去網路圖形學中圖形渲染管線的局部最優解，利用 AI 重新打造一套不依賴「三角形」的全局最優解，這裡的「三角形」是 GPU 渲染三維物體的最小單位。
△
其次，要搭建導演系統。
如果新的圖形學更像一個劇組，那麼就必須有配套的導演系統才能實現 AI for Fun。
This director system is responsible for establishing the world's operational mechanisms and 3D skeleton, enabling real-time script writing.
最後是基礎設施。
低延遲、高畫質、低成本的三維生成與渲染基礎架構是必要的，因為，即使瞬間的卡頓在 AI for Fun 的體驗中都會被放大數百倍。
為此，需要重新設計一套高性能的 infra，而這一點，正與胡淵鳴的博士論文、Meshy 創業之初所開發的 Taichi 編程語言的基礎一脈相承。
Beyond these foundational studies, Meshy’s new model is also addressing specific bottlenecks in today’s AI 3D field.
例如「可控性」問題，即生成結果是否忠實於輸入圖像，表現為整體比例的準確性、空間分佈的合理性以及表面細節的還原度。
今年8月10日，Meshy發布了 Meshy-7，在幾何對齊（geometry alignment）方向邁出一大步，具體而言：
在有機角色方面，模型能夠還原面部表情、解剖結構與皮膚褶皺等細節；
在硬表面與機械零件方面，各部件能準確落在圖像給定的位置，相鄰部件互不黏連；
The engraved text and relief patterns are clear and clean, suitable for direct use in industrial applications such as laser engraving.
Meshy 在這些方向上的探索與童欣的關注點相契合，其近年的研究方向正處於 3D 與視頻生成的交叉領域。
正如他在2024年所提出的那個經典問題：「三維是否只是影片生成的特例？」
也就是說，如果一段影片已經能從任何角度「看到」一個物體，我們還有必要顯式地構建它的三維模型嗎？
答案尚未明了。
But what is certain for now is that Tong Xin’s cutting-edge research and engineering expertise in AI multimodal training can take Meshy’s exploration even further.
Mora：超越世界模型
正值本文撰寫之際，胡淵鳴又在其公眾號上發布了 Meshy 團隊的新作品 Mora。
Mora 是 “Multimodal Open-world Real-time Architecture” 的縮寫，意為 “多模態開放世界實時架構”。
這東西挺有意思的，大家可以感受一下用它生成的互動遊戲 demo。
簡單來說，它由三塊拼圖組成：
Coding agent，用於生成遊戲世界骨架和運行代碼；
3D 生成，也就是 Meshy 這塊最重要的拼圖，可用於豐富骨架，輸出給視頻模型的控制訊號；
視頻模型接收 3D 場景信號，輸出最終畫面與音效。
Hu Yuanming described this as a technology that "transcends world models."
口氣不小，要怎麼超越呢？
還記得今年1月，Google Genie 3 上線可玩 demo，宣稱自己「是一款通用世界模型，能夠讓用戶使用文字生成可探索的真實環境」。
因此，Unity 一天下跌了 24%，Roblox 下跌了 27%，市場太興奮了：以後做遊戲不需要遊戲引擎了，一個視頻模型足矣。
然而大半年過去，胡淵鳴玩遍了市面上所有世界模型 demo 後，對著當下幾乎所有互動視頻模型，力陳八大弊。
包括一致性弱、互動簡單、物理解算能力弱、體驗時間短、無法支援劇情和複雜邏輯、以單人遊玩為主、無法利用 Coding 的機制生成能力、延遲較高。
簡而言之，就是很難玩。
然而這很可能不是一個僅靠優化就能解決的問題。
現有的視頻模型本身並沒有真正的智能，它們本質上只是一個渲染器，沿著這條路走下去，最終只能做出散步模擬器。
Mora 的路線是反其道而行，既然視頻模型無法解決 3D 空間一致性，那就讓它做好自己該做的。
讓 Coding agent 搭骨架，讓 Meshy 生成 3D，最後再讓視頻模型出畫面，這樣空間既穩定，又精緻，還能玩。
可以看出胡老闆真的是非常熱情的資深玩家。
不过 Mora 1 現在還處於很早期的階段。
它僅用於驗證一個框架。然後在這個框架下，透過 scaling 一步步逼近目標。
由此回到童欣的那個問題，三維是否只是視頻生成的特例？
Mora 給出了一個初步回答：至少在當下，兩者不必是替代關係，可以在 Coding agent 的串聯下各司其職。
這個答案當然還遠未確切，但走到這裡，問題也已經變得模糊了。
這種感覺對童欣來說並不陌生。
在二三十年間，他親歷了一輪又一輪的技術衝擊：過去畫3D全靠手寫規則，後來神經渲染出現了，AI從照片中學會了光影；生成式AI來了，逼真畫面不再依賴3D管線；視頻模型來了，甚至能讓動態世界憑空湧現……
新技術一次次叩問傳統圖形學的邊界：圖形學應該以怎樣的形態繼續存在？
面對這個日益迫切的問題，童欣再次出發了。
他要與這一代最具想像力的年輕人一起，創造一種新的圖形學。
本文來自微信公眾號「量子位」，作者：程淺