Grafik Pioneer Tong Xin, Eğlence İçin AI’yi Geliştirmek üzere Meshy’ye Katıldı

Yapay zeka yeniliklerinin sonraki büyük alanına 3D üretimi doğru ilerliyor.

Çoklu modlu üretim, dünya modellerinden, uzamsal zekâya, gövdeli akıllı robotlara kadar…

3D, bir sonraki nesil AI'nın temel motoru haline gelmektedir.

Şu anda, grafik alanının büyük ustası ve AI 3D sektörünün en popüler yıldız şirketi birlikte çalışıyor.

Son Haber:

Tong Xin, Hu Yuanming'in kurduğu Meshy'ye resmen katıldı.

En son haberlere göre, Tong Xin, Meshy'nin uzun vadeli bilimsel stratejisini belirlemekten sorumlu olmak üzere AI 3D şirketi Meshy'nin baş bilim insanı olarak atandı.

Bu, Çinli grafik araştırmacılarının en temsili iki neslini——Meshy kurucusu Hu Yuanming ve Tong Xin——çoklu modlu dünya modelleri ve gerçek zamanlı etkileşim sistemlerinde atılımlar gerçekleştirmek üzere birlikte ilerletebileceği anlamına gelebilir.

Tong Xin, 25 yıl boyunca Microsoft Asia Research Institute'de çalıştı ve bu süre zarfında ağ grafikler grubunu yönetti ve küresel araştırma ortağı oldu.

Çalışma alanları bilgisayar grafikleri ve üç boyutlu bilgisayar görüşüne kadar uzanır; bunlar arasında malzeme yakalama ve modelleme, doku sentezi, üç boyutlu geometri işleme ve modelleme, ışık iletimi analizi ve simülasyonu, gerçekçi çizim, üç boyutlu yüz animasyonu yer alır.

△

Bilgisayar grafikleri, basitçe ifade edildiğinde, "üç boyutlu bir dünya nasıl oluşturulur, manipüle edilir ve sunulur?" sorusuna odaklanır.

Bu alan, oyun, sinema ve endüstriyel simülasyonlarda temel bir konuma sahiptir ve günümüzde artık AI algılama ve ifade altyapısının bir parçası haline gelmektedir.

Aslında üç boyutu anlamadıkça, AI gerçek fiziksel dünyayı anlamak ve içine girmekta zorlanır.

Ve Tong Xin, bu yönde en uzun süre köklüleşmiş ve en derin birikime sahip bilim insanlarından biridir.

1999 yılında, Tong Xin,清华'den doktorasını tamamladıktan hemen sonra, kurulduğu henüz bir yıldan az bir süre olan Microsoft Çin Araştırma Enstitüsü'ne, daha sonra "Çin bilim ve teknoloji dünyasının Huangpu Askeri Akademisi" olarak bilinen Microsoft Asya Araştırma Enstitüsü'ne girdi.

Yirmi yılın üzerinde bir süredir buradan, Çin'i ve hatta küresel bilgisayar araştırmaları yapısını etkileyen sayısız önemli kişi çıktı—ancak bu başka bir hikaye.

Çin Araştırma Enstitüsü'nün ilk araştırmacılarından biri olarak Tong Xin, 25 yıldır burada, araştırmacıdan başlayarak küresel araştırma ortağı ve ağ grafikleri grubu lideri pozisyonuna kadar yükseldi.

Çin bilgisayar grafiklerinin neredeyse tüm önemli anlarını gözlemledi.

△

Bu süre zarfında Tong Xin, önemli dergi ve konferanslarda birçok makale yayımladı ve Google Scholar alıntı sayısı 21.000'i geçti.

Bu teknik araştırmalar, Microsoft'a Xbox oyun geliştirme API'si, Xbox uyumlu yazılımı, Windows üç boyutlu yazıcı sürücüleri ve Direct3D grafik geliştirme paketi gibi birçok şey bırakmıştır.

Ayrıca Tong Xin, Yayan Enstitüsü Ağ Grafik Grubu'na, mevcut Çinli grafik bilim topluluğunu destekleyecek kadar güçlü bir ekip bıraktı.

25 yıl boyunca, burada bir dizi başarılı araştırmacıyla iş birliği yaptı, iletişim kurdu ve rehberlik etti.

Zhejiang Üniversitesi'nden Zhou Kun, ACM Fellow, IEEE Fellow, CAD&CG Ulusal Ana Laboratuvarı Müdürü, uzun yıllardır Tong Xin ile iş birliği yapmış ve 3D yazdırma, hesaplamalı tasarım üzerinden NeRF ve sinirsel görselleştirme alanlarına kadar ilerlemiştir;

Tsinghua Üniversitesi'nden Xu Kun, Tsinghua Üniversitesi Bilgisayar Mühendisliği Bölümü kalıcı doçent, Ulusal Üstün Yetenekli Genç Araştırmacı; doktora döneminde Tong Xin ile birlikte SIGGRAPH makaleleri yayımlamıştır;

Peking Üniversitesi'nden Wang Pengshuai, Peking Üniversitesi'nden Wang Xuan Enstitüsü'nde yardımcı doçent, stajyörden başlayarak üst düzey araştırmacıya kadar Tong Xin'ın altında çalıştı ve如今三维几何学习领域的代表学者……

Onunla birlikte çalışan kişilerin Çong Xin hakkındaki değerlendirmeleri genellikle şaşırtıcı derecede benzerdir:

Yakın, her zaman ön sahada, en ince teknik sorular üzerinde titiz bir şekilde tartışabilir ve karmaşık teknik konuları basit dille açıklayabilir.

Çünkü Tong Xin'e göre bilgisayar grafikleri, bir bilgisayar uygulama disiplinidir ve bu nedenle tüm araştırma sorunları gerçek ihtiyaçlardan ve yeni cihazların, yeni verilerin ortaya çıkmasından kaynaklanır.

Ayrıca, Tong Xin çok eğlenceli ve mizahlıdır; örneğin kendi araştırmasını şöyle tanımlar:

Ailem, yaptığım yemekleri dışındaki her şeyde, her gün ekran üzerindeki 3B çaydanlık ve tavşanlara hayranlıkla bakan beni alay eder, ancak yaptığım işin dünya durumunu değiştiremeyeceğini, halkın yaşam kalitesini artıramayacağını düşünürler ve başarı duygumun nereden geldiğini anlayamazlar.

△

Bu, grafik alanındaki herkes tarafından bilinen ve tanınan “Çocuk Teyze”dir, çok derin akademik bir yetkinliğe sahip olmakla birlikte çocuk gibi sıcak ve meraklıdır.

Bu da uygun.

Çinli bir grafikçiler topluluğunda bu seviyeye ulaşan童欣 ile eşleşebilecek yalnızca Meshy gibi bir yıldız kurumsal şirket olabilir.

Meshy, Hu Yuanming'in MIT'den doktora tamamladıktan sonra kurduğu ilk şirkettir ve amacı metin ve resimleri 3D modellere dönüştürmektir.

Şu anda Meshy, 12 milyon kullanıcıya sahiptir ve müşterileri, küresel piyasa değeri ve değerlemesi ilk onda yer alan şirketlerin yarısını kapsamaktadır.

Yılın Temmuz ayında, Meshy yaklaşık 4 milyar ABD doları değerinde B turu finansmanını tamamladı ve post-investasyon değeri 10 milyar Çin yuanını aştı.

Dünya çapında AI 3D alanında tek bir sermaye toplama turunun en büyük ölçeğini ve değerlemesini oluşturarak, bu alanda en yüksek değerlemeye sahip şirket oldu.

Ancak, daha hızlı büyüme hızı ya da daha yüksek değerleme, Meshy'nin vizyonuna kıyasla yine de çok spesifik.

Hu Yuanming, Meshy.ai kurucusu, Yangzhou Lisesi spor gününde 400 metre yarışının şampiyonu, Tsinghua Üniversitesi Yao Sınıfı şarkı yarışmasının ikincisi, MIT Bilgisayar Grafikleri doktoru, SIGGRAPH En İyi Doktora Tezi adayı, Taichi programlama dili ve derleyicisinin yazarı.

△

Biraz özel görünen bir hedef ortaya attı:

Eğlence için Yapay Zeka

Onun mantık zinciri şöyle.

Gelecekte, AGI birçok üretkenlik sorununu çözdükten sonra, insanlığın yalnızca bir temel sorunu kalacaktır.

Nasıl yaratır, ifade eder ve bağlanırız? En önemlisi, nasıl anlam kazanırız?

Kitap okumak, seyahat etmek, oyun oynamak, kısa diziler izlemek... Bunlar gerçekten bize mutluluk sağlayabilir, ancak böyle özgür zamanın bol olduğu bir dönemde, "daha yenilikçi ve daha etkili bir mutluluk ve anlamlılık oluşturma yolu arayacağız."

Bu yöntem, AI tarafından sürülecektir.

Yani, “Yapay zeka ile insana mutluluk ve anlam kazandırmak, önümüzdeki beş yılın en önemli sorularından biri olacak.”

Ancak Meshy, bu manzarada en kritik parçayı oluşturmaya istekli.

Hu Yuanming'in sözleriyle ifade edersek, yapmak istedikleri "üretken AI temelinde grafikleri yeniden şekillendirmek ve hayali somutlaştıran küresel en iyi çözümü bulmak."

Bu ne anlama geliyor?

Yani bugün, AI 3D, grafiklerin rehberliğinde AI'nın modelleme, textürleme ve işleme işlemlerini daha verimli hale getirmekten daha fazlasını yapmakta.

Uzun vadede, AI 3D'nin son hali, hayalin somutlaştırılması olabilir.

Bu ileriye dönük bakış açısı, Tongxin'in fikirleriyle oldukça uyumludur.

2016 yılında Tong Xin, herkesin ve her yerde görsel içerik oluşturmasını sağlamak için grafik içerik üretiminin everyone ve everywhere sorununu çözmeyi önerdi.

On yıl sonra, "herkes her yerde görsel içerik oluşturuyor" ifadesi, "herhangi birinin sadece bir cümleyle hayallerini girebilir ve etkileşimli bir dünya haline getirmesini" sağlıyor.

Bu kesinlikle çok büyük bir dilektir.

Bunu gerçekleştirmek için Meshy şu anda üç farklı düzeyde temel teknoloji araştırmaları yürütüyor:

Öncelikle ve en önemlisi: grafikleri yeniden icat etmek.

Bunun için, geçmişteki ağ grafiklerindeki grafik render hattının yerel optimum çözümünden çıkıp, GPU'nun üç boyutlu nesneleri render etmek için kullandığı en küçük birim olan "üçgen"e bağlı olmayan, AI ile yeniden tasarlanmış bir global optimum çözüm oluşturmak gerekir.

△

İkinci olarak, yönetic sistem kurun.

Yeni grafikler bir çekim ekibi gibi görünüyor ise, AI for Fun'u gerçekleştirmek için bir yönetmen sistemi gereklidir.

Bu yönlendirme sistemi, dünyanın çalışma mekanizmasını ve 3D iskeletini oluşturarak senaryonun gerçek zamanlı yazılmasını sağlar.

Son olarak altyapı.

Düşük gecikme, yüksek kalite ve düşük maliyetli üç boyutlu üretim ve oluşturma altyapısı gerekli çünkü AI for Fun deneyiminde en küçük bir kesinti binlerce katına çıkar.

Bunun için yüksek performanslı bir altyapı yeniden tasarlanmalıdır ve bu, Hu Yuanming'in doktora tezi ile Meshy'nin kurulma aşamasında geliştirdiği Taichi programlama dilinin temelini tamamen paylaşmaktadır.

Bu temel araştırmaların dışında, Meshy'nin yeni modeli, mevcut AI 3D alanındaki spesifik zorlukları aşmaya çalışıyor.

Örneğin, “kontrol edilebilirlik” sorunu, üretimi sonuçların girdi görüntüsüne ne kadar sadık kaldığıdır ve bu, genel oranların doğruluğu, uzaysal dağılımın makullüğü ve yüzey detaylarının geri kazanımı ile ortaya çıkar.

10 Ağustos 2023'te Meshy, Meshy-7'yi yayınladı ve geometrik hizalama (geometry alignment) yönünde büyük bir adım attı; özellikle:

Organik karakterlerde model, yüz ifadelerini, anatomik yapıları ve cilt katlarını detaylı şekilde geri oluşturabiliyor;

Sert yüzeyler ve mekanik parçalar açısından, her parça görüntünün belirtilen konumuna doğru şekilde düşüyor ve komşu parçalar birbirine yapışmıyor;

Metin ve desenler açısından, kazıılmış metinler ve kabartma desenler net ve temiz olup, lazer oyma gibi endüstriyel uygulamalarda doğrudan kullanılabilir.

Meshy'nin bu yönlerdeki araştırmaları, Tong Xin'in ilgi alanlarıyla örtüşmektedir ve son yıllarda çalışmaları 3D ve video üretiminin kesişim alanında yer almaktadır.

2024'te sunduğu klasik soru gibi: "Üç boyut, sadece video üretiminin bir özel durumu mu?"

Yani, bir video zaten bir nesneyi herhangi bir açıdan “görebiliyorsa”, bunun üç boyutlu modelini açıkça oluşturmak gerekli mi?

Cevap henüz belirsiz.

Ancak şu anda kesin olan, Tong Xin'in AI çok modlu eğitim alanında öncü araştırmaları ve mühendislik birikimlerinin Meshy'nin araştırmalarını daha da ileriye taşıyabileceğidir.

Makaleyi yazarken, Hu Yuanming, kendi微信 hesabında Meshy ekibinin yeni çalışmasını, Mora'yı yayınladı.

Mora, "Multimodal Open-world Real-time Architecture"ın kısaltmasıdır ve "Çok modlu Açık Dünya Gerçek Zamanlı Mimari" anlamına gelir.

Bu ilginç bir şey, onunla oluşturulan etkileşimli oyun demo'sunu deneyebilirsiniz.

Kısaca, üç parçadan oluşuyor:

Oyun dünyasının iskeletini ve çalıştırma kodunu oluşturmak için kodlama aracısı;

3D üretimi, yani Meshy'nin en önemli parçası, iskeleti zenginleştirmek ve video modeline kontrol sinyalleri sağlamak için kullanılabilir;

Video modeli, 3D sahne sinyallerini alır ve nihai görüntü ile ses efektlerini üretir.

Hu Yuanming, bunun bir "dünya modelini aşan" teknoloji olduğunu söyledi.

Çok büyük bir ses çıkartıyorsunuz, nasıl bir aşılma planı var?

Ocak ayında Google Genie 3'ün oynanabilir demo sürümünün piyasaya sürülmesini hatırlıyor musunuz? Bu model, "kullanıcıların metin kullanarak keşfedilebilir gerçek ortamlar oluşturmasına izin veren evrensel bir dünya modelidir" diye açıklanmıştı.

Bunun için Unity %24 düştü, Roblox %27 düştü, pazar çok heyecanlı: Gelecekte oyun yapmak için oyun motorlarına gerek yok, bir video model yeterli.

Ancak yedi ay geçtikten sonra, Hu Yuanming, piyasada mevcut tüm dünya modellerinin demolarını denedikten sonra, mevcut neredeyse tüm etkileşimli video modellerine sekiz büyük eksikliği vurguladı.

Düşük tutarlılık, basit etkileşim, zayıf fiziksel hesaplama kapasitesi, kısa deneyim süresi, senaryo ve karmaşık mantığı destekleyememe, tek oyunculu oyunlara odaklanma, Coding mekanizmasının üretim yeteneğinden yararlanamama, yüksek gecikme.

Kısacası, oynaması zor.

Ancak bu muhtemelen iyileştirmeyle çözülebilecek bir sorun değil.

Mevcut video modellerinin gerçek bir akıl yoktur, temelde bir render cihazıdır; bu yolda ilerlemek sonunda yalnızca yürüyüş simülatörleri yapmakla sonuçlanır.

Mora'nın yaklaşımı, video modellerinin 3D uzay tutarlığını çözememesi durumunda, kendilerinin yapmaları gerekeni iyi yapmalarını sağlamaktır.

Coding agent ile iskelet oluşturun, Meshy ile 3D nesneler üretin ve son olarak video modeliyle görüntüleri çıkarın; böylece uzay hem kararlı hem de ince olur, aynı zamanda eğlenceli olur.

Hü Bey'in gerçekten çok tutkulu bir eski oyuncu olduğu belli.

Ancak Mora 1 şu anda çok erken bir aşamada.

Bu, yalnızca bir çerçeve doğrulamak için kullanılır. Ardından bu çerçevede, ölçeklendirmeyle hedefe adım adım yaklaşılır.

Bu durumda, Çin Xin'in sorusuna geri dönersek, üç boyutlu sadece video üretiminin bir özel durumu mu?

Mora, ilk cevabı şöyle verdi: En azından şu anda, ikisi de birbirinin yerine geçmek zorunda değil; Coding agent üzerinden birlikte görev yapabilirler.

Bu cevap elbette henüz kesin değil, ancak buraya kadar gelinince soru da bulanıklaştı.

Bu his, Tong Xin için yabancılardı.

Yirmi ile otuz yıl arasında, o bir dizi teknolojik darbe yaşadı: Geçmişte 3D çizim tamamen elle yazılan kurallara dayanıyordu, ardından nöral rendering geldi ve AI fotoğraflardan ışık ve gölgeyi öğrendi; üretken AI geldi ve gerçekçi görüntüler artık 3D işlem hatlarına ihtiyaç duymadı; video modelleri geldi ve hatta dinamik dünyaları aniden ortaya çıkarabildi...

Yeni teknolojiler, geleneksel grafiklerin sınırlarını sürekli sorguluyor: Grafikler, nasıl bir biçimde varlığını sürdürmelidir?

Bu giderek daha acil hale gelen sorunla karşı karşıya kalan Tong Xin, bir kez daha yola çıktı.

O, bu neslin en yaratıcı gençleriyle birlikte yeni bir grafik oluşturmak istiyor.

Bu yazı, WeChat hesabından "Quantum Bit" tarafından yazılmıştır, yazar: Cheng Qian