Peneraju Grafik Tong Xin Bergabung dengan Meshy untuk Memajukan AI untuk Bersenang-senang

Tingkat seterusnya inovasi AI sedang berpindah kepada penghasilan 3D.

Dari generasi multimodal, model dunia, hingga kecerdasan ruang, robot kecerdasan berbadan…

3D, sedang menjadi enjin utama AI generasi seterusnya.

Sekarang, tokoh legenda dalam bidang grafik dan syarikat bintang paling panas di lorong AI 3D telah bekerjasama.

Berita terkini:

Tong Xin telah secara rasmi menyertai Meshy yang ditubuhkan oleh Hu Yuanming.

Menurut berita terkini, Tong Xin akan dilantik sebagai Ilmuwan Utama bagi syarikat AI 3D, Meshy, bertanggungjawab menentukan strategi penyelidikan jangka panjang Meshy.

Ini mungkin bermakna bahawa dua generasi penyelidik paling mewakili dalam komuniti grafik Cina—Hu Yuanming, pendiri Meshy, dan Tong Xin—akan bekerjasama untuk mendorong terobosan dalam model dunia multimodal dan sistem interaktif masa nyata.

Tong Xin sebelumnya bekerja di Microsoft Research Asia selama 25 tahun, di mana beliau memimpin kumpulan grafik rangkaian dan berperan sebagai rakan penyelidikan global.

Bidang penyelidikannya merangkumi grafik komputer dan penglihatan komputer tiga dimensi, khususnya termasuk, tetapi tidak terhad kepada, penangkapan dan pemodelan bahan, sintesis tekstur, pemprosesan dan pemodelan geometri tiga dimensi, analisis dan simulasi transmisi cahaya, penggambaran realistik, serta animasi muka tiga dimensi.

△

Grafik komputer, secara ringkas, berfokus pada "bagaimana menciptakan, mengendalikan, dan memaparkan dunia tiga dimensi di dalam komputer".

Bidang ini memainkan peranan asas dalam permainan, filem, dan simulasi industri, dan kini semakin menjadi infrastruktur persepsi dan ekspresi AI.

Setelah semua, tanpa memahami tiga dimensi, AI akan sukar untuk benar-benar memahami dan memasuki dunia fizikal.

Dan Tong Xin adalah salah seorang akademik yang paling lama dan paling mendalam berakar dalam arah ini.

Pada tahun 1999, Tong Xin baru sahaja lulus daripada program doktor di Tsinghua, dan terus masuk ke Institut Penyelidikan Microsoft China yang baru ditubuhkan kurang dari setahun, yang kemudian dikenali sebagai "Akademi Militer科技 China" atau Institut Penyelidikan Asia Microsoft.

Dalam lebih dari dua dekad, banyak tokoh utama yang mempengaruhi landskap penyelidikan komputer di China dan seluruh dunia telah muncul di sini—tetapi itulah cerita lain.

Sebagai salah seorang penyelidik pertama di Akademi Asia, Tong Xin berada di sini selama 25 tahun, berpindah dari penyelidik kepada rakan kongsi penyelidikan global dan ketua kumpulan grafik rangkaian.

Hampir menyaksikan semua momen penting dalam grafik komputer China.

△

Semasa ini, Tong Xin telah menerbitkan banyak kertas kerja di jurnal dan konvensyen terkemuka, dengan kutipan Google Scholar melebihi 21,000 kali.

Kajian teknikal ini meninggalkan banyak perkara bernilai kepada Microsoft, termasuk API pembangunan permainan Xbox, perisai kompatibiliti Xbox, penggerak pencetakan 3D Windows, dan toolkit pembangunan grafik Direct3D, antara lain.

Selain itu, Tong Xin juga meninggalkan satu lagi “harta” kepada Kumpulan Grafik Jaringan Akademi Ya: sekumpulan tenaga utama yang cukup kuat untuk menyokong bidang grafik Cina semasa ini.

Dalam tempoh 25 tahun, dia bekerjasama, berkomunikasi, dan membimbing sekumpulan besar penyelidik yang cemerlang di sini.

Zhou Kun dari Universiti Zhejiang, Ahli ACM, Ahli IEEE, dan Ketua Makmal Utama Nasional CAD&CG, telah bekerja sama dengan Tong Xin bertahun-tahun, meneroka dari pencetakan 3D dan reka bentuk komputasi hingga NeRF dan pengecatan neural;

Xu Kun dari Tsinghua University, pensyarah tetap di Jabatan Komputer, Tsinghua University, Penerima Anugerah Kecemerlangan Negara, telah bekerjasama beberapa kali dengan Tong Xin semasa pengajian doktorat untuk menerbitkan kertas kerja SIGGRAPH;

Wang Pengshuai dari Universiti Peking, juru bantu profesor di Institut Wang Xuan, telah berada di bawah pimpinan Tong Xin sejak sebagai pelatih hingga menjadi penyelidik utama, dan kini merupakan ahli terkemuka dalam bidang pembelajaran geometri tiga dimensi…

Orang-orang yang pernah bekerja sama dengannya sering memberikan penilaian yang sangat konsisten tentang Tong Xin:

Mudah didekati, sentiasa berada di garis depan, mampu membincangkan isu teknikal yang sangat terperinci dengan ketat, serta menjelaskan masalah teknikal yang kompleks dengan bahasa yang mudah difahami.

Kerana menurut Tong Xin, grafik komputer adalah disiplin aplikasi komputer, oleh itu, semua masalah penyelidikan datang daripada keperluan sebenar dan munculnya peranti serta data baharu.

Selain itu, Tong Xin juga sangat humoris, contohnya, beliau menggambarkan penyelidikannya seperti ini:

Selain mengakui masakan yang saya sediakan, keluarga saya sering bercanda bahawa saya setiap hari bersenang-senang sendiri dengan teko 3D dan arnab di skrin, tetapi nampaknya perkara yang saya lakukan tidak mampu mengubah situasi dunia, malah tidak mampu meningkatkan kualiti hidup rakyat biasa—saya benar-benar tidak faham dari mana saya mendapat rasa pencapaian itu.

△

Ini adalah "Tong Lao" yang tidak asing lagi di kalangan dunia grafik, memiliki keahlian akademik yang sangat mendalam, tetapi membawa kehangatan dan rasa ingin tahu seperti kanak-kanak.

Juga sesuai.

Dapat dikatakan bahawa Tong Xin telah sampai ke tahap ini dalam dunia grafik komputer, dan hanya pemain unik seperti Meshy yang boleh disamakan dengannya.

Meshy ialah syarikat pertama yang ditubuhkan oleh Hu Yuanming selepas menyelesaikan PhD di MIT, dengan定位 yang ringkas, iaitu menukar teks dan gambar menjadi model 3D.

Sekarang, Meshy memiliki 12 juta pengguna, dengan pelanggan yang mencakup separuh daripada sepuluh syarikat terbesar di dunia berdasarkan kapitalisasi pasaran dan penilaian.

Pada Julai tahun ini, Meshy menyelesaikan pembiayaan Siri B mendekati US$4 bilion, dengan nilai pasaran selepas pembiayaan melebihi RMB10 bilion.

Mencatat rekod dua kali dalam pembiayaan tunggal terbesar dan penilaian tertinggi di bidang AI 3D global, menjadikannya syarikat dengan penilaian tertinggi dalam bidang ini.

Namun, sama ada kadar pertumbuhan yang lebih pantas atau penilaian yang lebih tinggi, ia masih terlalu spesifik berbanding visi Meshy.

Hu Yuanming, pendiri Meshy.ai, juara 400 meter di pertandingan atletik sekolah menengah Yangzhou, pemenang kedua dalam pertandingan nyanyian kelas Yao di Tsinghua, doktor dalam grafik komputer di MIT, calon makalah doktor terbaik SIGGRAPH, pencipta bahasa dan kompiler Taichi.

△

Dia mengemukakan satu sasaran yang kedengarannya agak unik:

AI untuk Bersenang-senang.

Rantai logiknya adalah seperti ini.

Di masa depan, apabila AGI menyelesaikan banyak masalah produktiviti, manusia hanya akan mempunyai satu masalah utama.

Bagaimana kita mencipta, mengekspresikan, dan menghubungkan? Yang paling penting, bagaimana kita akan mendapatkan makna?

Membaca buku, bepergian, bermain game, menonton drama pendek... memang benar-benar dapat menciptakan kebahagiaan bagi kita, namun di era di mana waktu luang sangat melimpah, kita "akan pasti mencari cara baru yang lebih inovatif dan lebih efektif untuk menghasilkan kebahagiaan dan rasa makna."

Cara seperti ini pasti akan didorong oleh AI.

Oleh itu, “menggunakan AI untuk membawa kebahagiaan dan rasa makna kepada manusia akan menjadi salah satu isu paling penting dalam lima tahun ke depan”.

Sementara itu, Meshy ingin menjadi kepingan teka-teki yang paling penting dalam pemandangan ini.

Menurut Hu Yuanming, apa yang mereka lakukan adalah “meng重塑 grafik berdasarkan AI generatif, mencari penyelesaian global optimal untuk mewujudkan imajinasi.”

What does this mean?

Dengan kata lain, hari ini, AI 3D tidak hanya berusaha membuat AI lebih cekap dalam pemodelan, texturing, dan rendering di bawah bimbingan grafik.

Dalam jangka panjang, akhir daripada AI 3D mungkin adalah penjelmaan imajinasi.

Perspektif proaktif ini selari dengan prinsip Tong Xin.

Pada tahun 2016, Tong Xin mengusulkan untuk menyelesaikan masalah everyone dan everywhere dalam penghasilan kandungan grafik, membolehkan sesiapa sahaja di mana-mana mencipta kandungan media visual.

Sepuluh tahun kemudian, “everyone everywhere menciptakan kandungan media visual” berubah menjadi “membolehkan sesiapa sahaja hanya dengan satu ayat untuk mengubah imajinasi menjadi dunia yang boleh dimasuki dan interaktif”.

Ini tentu saja harapan yang sangat besar.

Untuk mencapainya, Meshy sedang melakukan kajian teknis asas pada tiga peringkat:

Pertama dan yang paling penting—mencipta semula grafik.

Untuk itu, perlu keluar dari penyelesaian optimal tempatan dalam salur pemprosesan grafik dalam grafik rangkaian lama, dan menggunakan AI untuk mencipta semula penyelesaian optimal global yang tidak bergantung pada "segitiga", di mana "segitiga" adalah unit terkecil GPU untuk merender objek tiga dimensi.

△

Kedua, perlu membina sistem pengarah.

Jika grafik baru lebih seperti sebuah pasukan filem, maka sistem pengarah yang sepadan diperlukan untuk mewujudkan AI for Fun.

Sistem pengarah ini bertanggungjawab untuk menentukan mekanisme dunia dan kerangka 3D, serta mewujudkan penulisan skrip secara masa nyata.

Akhir sekali, infrastruktur.

Infrastruktur generasi dan render 3D dengan latensi rendah, kualiti tinggi, dan kos rendah adalah perlu, kerana sebarang gangguan sekejap pun akan diperbesarkan ratusan kali dalam pengalaman AI for Fun.

Untuk itu, diperlukan reka bentuk semula infrastruktur berprestasi tinggi, yang secara langsung selari dengan tesis doktor Huyuanming dan asas bahasa pengaturcaraan Taichi yang dibuat semasa permulaan usahanya Meshy.

Di luar kajian asas ini, model baharu Meshy juga menangani titik-titik tersendat spesifik dalam bidang AI 3D semasa ini.

Contohnya, isu "kawalan", iaitu sama ada hasil generasi setia kepada gambar masukan, yang ditunjukkan melalui ketepatan nisbah keseluruhan, kepatutan taburan ruang, dan tahap pemulihan butiran permukaan.

Pada 10 Ogos tahun ini, Meshy melancarkan Meshy-7, yang membuat kemajuan besar dalam arah penyesuaian geometri (geometry alignment), khususnya:

Dalam aspek peranan organik, model mampu mengembalikan butiran seperti ekspresi muka, struktur anatomi, dan kerutan kulit;

Dalam hal permukaan keras dan komponen mekanikal, setiap komponen dapat jatuh tepat pada posisi yang ditentukan dalam gambar, dan komponen yang bersebelahan tidak saling melekat;

Dalam hal teks dan corak, teks ukiran dalam dan pola relif jelas dan bersih, sesuai untuk digunakan secara langsung dalam aplikasi industri seperti pengukiran laser.

Seharusnya dikatakan bahawa eksplorasi Meshy dalam arah ini sejalan dengan fokus Tong Xin, di mana arah penyelidikannya dalam beberapa tahun terakhir berada di persimpangan 3D dan penghasilan video.

Seperti soalan klasik yang beliau ajukan pada tahun 2024: "Adakah tiga dimensi hanya kes khas dalam penghasilan video?"

Artinya, jika sebuah video sudah dapat "melihat" objek dari mana-mana, adakah keperluan untuk secara eksplisit membina model tiga dimensinya?

Jawapan belum jelas.

Namun, perkara yang pasti pada masa ini ialah, penyelidikan dan pengalaman kejuruteraan terkini Tong Xin dalam latihan AI multimodal boleh membawa eksplorasi Meshy ke arah yang lebih jauh.

Pada masa artikel ini ditulis, Hu Yuanming telah menerbitkan karya baru daripada pasukan Meshy, Mora, di公众号nya.

Mora ialah singkatan bagi "Multimodal Open-world Real-time Architecture", yang bermaksud "Arkitektur Masa Nyata Dunia Terbuka Multimodal".

Ini cukup menarik, semua orang boleh merasakan demo permainan interaktif yang dihasilkan dengannya.

Secara ringkas, ia terdiri daripada tiga keping teka-teki:

Agen pengkodean, digunakan untuk menghasilkan rangka dunia permainan dan kod pengendalian;

Penghasilan 3D, yang merupakan kepingan paling penting daripada Meshy, boleh digunakan untuk memperkaya rangka, mengeluarkan isyarat kawalan kepada model video;

Model video, menerima isyarat adegan 3D, menghasilkan gambar akhir dan efek suara.

Hu Yuanming menyebut ini sebagai teknologi "melampaui model dunia".

Kata-kata besar, bagaimana cara melampauinya?

Ingatkah anda pada Januari tahun ini, Google Genie 3 melancarkan demo boleh dimainkan, mengklaim bahawa ia "adalah model dunia serba guna yang membolehkan pengguna menghasilkan persekitaran nyata yang boleh dieksplorasi menggunakan teks".

Unity jatuh 24% sehari ini, Roblox jatuh 27%, pasaran terlalu bersemangat: kelak membuat permainan tidak lagi memerlukan enjin permainan, satu model video sudah cukup.

Namun, selepas lebih setengah tahun, Hu Yuanming telah mencuba semua demo model dunia di pasaran, dan menyoroti lapan kelemahan utama terhadap hampir semua model video interaktif semasa ini.

Termasuk konsistensi lemah, interaksi ringkas, kemampuan pengiraan fizikal lemah, masa pengalaman singkat, tidak dapat menyokong alur cerita dan logik kompleks, berfokus pada permainan seorang diri, tidak dapat memanfaatkan mekanisme penghasilan Coding, dan latensi tinggi.

Singkatnya, sukar dimainkan.

Namun, ini kemungkinan besar bukan masalah yang boleh diselesaikan hanya dengan pengoptimuman.

Model video semasa tidak mempunyai kecerdasan sejati; ia pada dasarnya hanyalah sebuah renderer, dan jika terus berjalan di jalan ini, akhirnya hanya akan menghasilkan simulasi perjalanan kaki.

Jalan Mora adalah sebaliknya; jika model video tidak dapat menyelesaikan konsistensi ruang 3D, biarkan ia melakukan tugasnya sendiri.

Biarkan agen Coding membina rangka, biarkan Meshy menghasilkan 3D, dan akhirnya biarkan model video menghasilkan gambar, sehingga ruang tersebut stabil, halus, dan boleh dimainkan.

Jelas bahawa Tuan Hu adalah pemain lama yang sangat bersemangat.

Namun, Mora 1 masih berada dalam peringkat yang sangat awal.

Ia hanya digunakan untuk mengesahkan satu kerangka. Kemudian, di bawah kerangka ini, sasaran didekati secara bertahap melalui penskalaan.

Dengan ini, kembali kepada soalan童欣, adakah tiga dimensi hanya kes khas dalam penghasilan video?

Mora memberikan jawapan awal: sekurang-kurangnya pada masa ini, keduanya tidak perlu menjadi saling menggantikan, dan boleh berfungsi masing-masing di bawah sambungan agen Coding.

Jawapan ini tentu masih jauh dari pasti, tetapi sampai di sini, soalnya sudah menjadi kabur.

Perasaan ini bukan sesuatu yang asing bagi Tong Xin.

Dalam tempoh dua hingga tiga dekad, beliau menyaksikan gelombang demi gelombang gangguan teknologi: dahulu, membuat 3D sepenuhnya bergantung pada peraturan yang ditulis tangan, kemudian datangnya neural rendering, di mana AI belajar cahaya dan bayangan daripada gambar; kemudian generative AI muncul, membuat gambar yang realistik tidak lagi bergantung pada saluran 3D; dan akhirnya model video datang, bahkan mampu menjadikan dunia dinamik muncul dari tiada...

Teknologi baharu sekali lagi menguji sempadan grafik tradisional: Bagaimanakah grafik seharusnya berterusan wujud?

Menghadapi masalah yang semakin mendesak ini, Tong Xin sekali lagi berangkat.

Dia ingin bersama generasi muda paling kreatif untuk menciptakan grafik baru.

Artikel ini berasal daripada akaun微信公众号 "Quantum Bit", penulis: Cheng Qian