ग्राफिक्स पायोनियर टॉंग शिन मेशी में शामिल हो गए हैं ताकि AI को मनोरंजन के लिए आगे बढ़ाया जा सके

AI के नवीनतम उच्च क्षेत्र, 3D जनरेशन की ओर झुक रहा है।

बहुमोडल जनरेशन, वर्ल्ड मॉडल, स्पेशल इंटेलिजेंस, एम्बॉडीड इंटेलिजेंस रोबोट्स तक...

3D, अगली पीढ़ी के AI का केंद्रीय इंजन बन रहा है।

और अब, ग्राफिक्स क्षेत्र के महान विद्वान और AI 3D सेक्टर की सबसे अधिक लोकप्रिय स्टार कंपनी ने मिलकर काम किया है।

नवीनतम समाचार:

Tong Xin ने हु युआनमिंग द्वारा स्थापित Meshy में शामिल हो लिया है।

अपडेटेड जानकारी के अनुसार, टोंग शिन को Meshy के मुख्य वैज्ञानिक के रूप में नियुक्त किया गया है, जिसका कार्य Meshy की दीर्घकालिक अनुसंधान रणनीति तैयार करना है।

यह संकेत दे सकता है कि चीनी कंप्यूटर ग्राफिक्स समुदाय के दो प्रमुख पीढ़ियों के शोधकर्ता—मेशी के संस्थापक हू युआनमिंग और टोंग शिन—मल्टीमॉडल वर्ल्ड मॉडल और रियल-टाइम इंटरैक्शन सिस्टम में क्रांति लाएंगे।

टोंग जिन ने पिछले 25 वर्षों तक माइक्रोसॉफ्ट एशिया रिसर्च इंस्टीट्यूट में काम किया, जिसके दौरान उन्होंने नेटवर्क ग्राफिक्स टीम का नेतृत्व किया और ग्लोबल रिसर्च पार्टनर के रूप में कार्य किया।

उनके शोध के क्षेत्र में कंप्यूटर ग्राफिक्स और त्रि-आयामी कंप्यूटर दृष्टि शामिल हैं, जिनमें विस्तार से शामिल हैं: पदार्थ अवलोकन और मॉडलिंग, टेक्सचर सिंथेसिस, त्रि-आयामी ज्यामिति प्रोसेसिंग और मॉडलिंग, प्रकाश ट्रांसमिशन विश्लेषण और सिमुलेशन, रियलिस्टिक रेंडरिंग, और त्रि-आयामी चेहरे की एनीमेशन।

△

कंप्यूटर ग्राफिक्स, सरल शब्दों में, "कैसे तीन आयामी दुनिया को कंप्यूटर में बनाया, संशोधित और प्रदर्शित किया जाए" पर ध्यान केंद्रित करता है।

यह क्षेत्र गेमिंग, फिल्मों और औद्योगिक अनुकरण में एक मूलभूत स्थिति रखता है, और वर्तमान में यह AI अनुभव और अभिव्यक्ति की बुनियादी ढांचे के रूप में और अधिक महत्वपूर्ण होता जा रहा है।

अंततः, त्रिआयामी को समझने के बिना, AI वास्तविक दुनिया को वास्तविक रूप से समझ और प्रवेश नहीं कर सकता।

और टोंग शिन, इस दिशा में सबसे लंबे समय तक जड़ें गहराई से बैठाने वाले और सबसे अधिक संचित ज्ञान रखने वाले विद्वानों में से एक हैं।

1999 में, टोंग शिन ने तुन्हुआ विश्वविद्यालय से अपना डॉक्टरेट पूरा करने के बाद, माइक्रोसॉफ्ट चाइना रिसर्च इंस्टीट्यूट में प्रवेश किया, जो केवल एक साल पुराना था और बाद में "चीनी विज्ञान और प्रौद्योगिकी का हुआंगपू सैन्य अकादमी" के नाम से जाना जाने लगा—माइक्रोसॉफ्ट एशिया रिसर्च इंस्टीट्यूट।

इसके दौरान अनेक ऐसे महत्वपूर्ण व्यक्ति निकले जिन्होंने चीन और विश्वभर के कंप्यूटर अनुसंधान के पैटर्न को प्रभावित किया—लेकिन वह कहानी अलग है।

चौन शिन, एशियाई अनुसंधान संस्थान के पहले शोधकर्ताओं में से एक, यहाँ 25 साल तक रहे, शोधकर्ता से लेकर वैश्विक शोध साझेदार और नेटवर्क ग्राफिक्स ग्रुप के प्रमुख तक पहुँचे।

लगभग चीनी कंप्यूटर ग्राफिक्स के सभी महत्वपूर्ण क्षणों को देखा है।

△

इस दौरान, टोंग जिन ने शीर्ष पत्रिकाओं और सम्मेलनों में कई पेपर प्रकाशित किए हैं, और उनके Google Scholar पर 21,000 से अधिक संदर्भ हैं।

इन तकनीकी अध्ययनों ने माइक्रोसॉफ्ट को एक्सबॉक्स गेम डेवलपमेंट API, एक्सबॉक्स संगत सॉफ्टवेयर, विंडोज 3D प्रिंटिंग ड्राइवर और डायरेक्ट3D ग्राफिक्स डेवलपमेंट किट जैसी कई चीजें छोड़ दीं।

इसके अलावा, टोंग जिन ने यान अकादमी नेटवर्क ग्राफिक्स टीम को एक और “संपत्ति” भी छोड़ी: एक ऐसा समूह जो वर्तमान चीनी ग्राफिक्स समुदाय के मुख्य बल को संभाल सकता है।

25 वर्षों तक, उन्होंने यहाँ एक-एक करके कई उत्कृष्ट शोधकर्ताओं के साथ सहयोग किया, बातचीत की और मार्गदर्शन किया।

ज़ेजियांग विश्वविद्यालय के ज़ोउ कुन, ACM Fellow, IEEE Fellow, CAD&CG राष्ट्रीय प्रमुख प्रयोगशाला के निदेशक, ने लंबे समय तक टोंग शिन के साथ सहयोग किया है, जिसमें 3D प्रिंटिंग और कंप्यूटेशनल डिज़ाइन से लेकर NeRF और न्यूरल रेंडरिंग तक की खोज शामिल है;

क्वान शिन, त्सिंहुआ विश्वविद्यालय, कंप्यूटर विज्ञान विभाग के स्थायी अध्यापक, राष्ट्रीय उत्कृष्टता पुरस्कार प्राप्तकर्ता, डॉक्टरेट के दौरान टोंग शिन के साथ कई बार SIGGRAPH पेपर प्रकाशित किए।

उत्तर पश्चिम विश्वविद्यालय के वांग पेंगशुआई, उत्तर पश्चिम विश्वविद्यालय के वांग शुआन संस्थान के सहायक प्रोफेसर, जो अपने अभ्यास से लेकर उच्च शोधकर्ता तक टोंग शिन के अधीन रहे हैं, अब त्रि-आयामी ज्यामितीय शिक्षण के क्षेत्र में प्रतिनिधि विद्वान हैं।

उन लोगों ने, जिनके साथ उसने काम किया है, टोंग शिन के बारे में अक्सर अद्भुत रूप से समान मूल्यांकन दिया है:

दोस्ताना, हमेशा सीधे काम पर लगे रहते हैं, सबसे छोटे तकनीकी सवालों पर कठोर चर्चा कर सकते हैं और जटिल तकनीकी मुद्दों को सरल भाषा में समझा सकते हैं।

चूंकि टोंग जिन के लिए कंप्यूटर ग्राफिक्स एक कंप्यूटर अनुप्रयोग विषय है, इसलिए सभी शोध समस्याएँ वास्तविक आवश्यकताओं और नए उपकरणों, नए डेटा के उदय से उत्पन्न होती हैं।

इसके अलावा, टोंग जिन बहुत मजेदार और हास्यपूर्ण भी हैं, उदाहरण के लिए, वह अपने शोध को इस तरह वर्णित करते हैं:

मेरे परिवार के अलावा, मेरे बनाए गए खाने को लेकर वे मुझे सराहते हैं, और अक्सर मजाक में कहते हैं कि मैं प्रतिदिन स्क्रीन पर तीन-आयामी चाय के बर्तन और खरगोश को देखकर खुश हो रहा हूँ, लेकिन ऐसा लगता है कि मेरा काम न तो विश्व की स्थिति बदल सकता है और न ही जनता के जीवन स्तर को बढ़ा सकता है, मुझे समझ में नहीं आता कि मेरी संतुष्टि कहाँ से आती है।

△

यह ग्राफिक्स समुदाय में सभी के द्वारा जानी जाने वाली "टोंग लाओ" है, जिसके पास अत्यधिक गहरी शैक्षणिक क्षमता है, लेकिन बच्चों जैसी आकर्षक और जिज्ञासु प्रकृति भी है।

That's also fitting.

कहा जा सकता है कि ग्राफिक्स विज्ञान के क्षेत्र में टोंग जिन के स्तर तक पहुंचने वाले केवल मेशी जैसे सितारे स्टार्टअप ही हैं।

मेशी, हु युआनमिंग द्वारा MIT से डॉक्टरेट के बाद स्थापित पहली कंपनी है, जिसका उद्देश्य सरल है: पाठ और चित्रों को 3D मॉडल में बदलना।

अभी, Meshy 1.2 करोड़ उपयोगकर्ताओं को एकत्रित कर चुका है, और इसके ग्राहक विश्व के बाजार मूल्य और अनुमानित मूल्य में शीर्ष दस कंपनियों में से आधे को कवर करते हैं।

इस वर्ष जुलाई में, मेशी ने लगभग 4 अरब डॉलर के B-चरण के निवेश को पूरा किया, जिसके बाद इसका आंकलन 100 अरब रुपये से अधिक हो गया।

इसने AI 3D क्षेत्र में एकल फंडिंग राशि और मूल्यांकन दोनों में वैश्विक रिकॉर्ड स्थापित किया और इस क्षेत्र की सबसे अधिक मूल्यांकित कंपनी बन गई।

हालांकि, चाहे तेज़ वृद्धि दर हो या अधिक अनुमानित मूल्यांकन, ये सब Meshy के दृष्टिकोण की तुलना में बहुत विशिष्ट हैं।

हू युआनमिंग, Meshy.ai के संस्थापक, यांगज़ौ मिडिल स्कूल एथलेटिक्स मीट 400 मीटर चैंपियन, त्सिंहुआ याओ क्लास गायन प्रतियोगिता द्वितीय पुरस्कार, MIT कंप्यूटर ग्राफिक्स डॉक्टरेट, SIGGRAPH बेस्ट डॉक्टरल थीसिस नामांकन, Taichi प्रोग्रामिंग भाषा और कंपाइलर के लेखक।

△

उन्होंने एक थोड़ा असामान्य लगने वाला लक्ष्य रखा:

मज़े के लिए AI।

उसका तर्क इस प्रकार है।

भविष्य में, जब AGI बहुत सारी उत्पादकता समस्याओं को हल कर देगा, तो मानवता के पास केवल एक केंद्रीय समस्या बचेगी।

हम कैसे बनाएं, व्यक्त करें, और जुड़ें? सबसे महत्वपूर्ण बात, हम कैसे अर्थ प्राप्त करेंगे?

पढ़ना, यात्रा करना, गेम खेलना, शॉर्ट ड्रामा देखना... इनसे वास्तव में हमें खुशी मिलती है, लेकिन एक ऐसे समय में जहाँ मुक्त समय बहुत अधिक है, हम "नए और अधिक प्रभावी तरीकों की ओर अवश्य बढ़ेंगे जो खुशी और अर्थ का निर्माण करें।"

ऐसा तरीका, AI द्वारा संचालित होने के लिए निर्धारित है।

इसलिए, "मानवता को खुशी और अर्थ का अनुभव देने के लिए AI का उपयोग करना, आने वाले पांच वर्षों में सबसे महत्वपूर्ण समस्याओं में से एक होगा।"

और मेशी, इस दृश्य में सबसे महत्वपूर्ण टुकड़ा बनना चाहता है।

हु युआनमिंग के शब्दों में, वे “जनरेटिव AI के आधार पर ग्राफिक्स को पुनर्परिभाषित करना और कल्पना को वास्तविकता में बदलने का वैश्विक आदर्श समाधान खोजना” चाहते हैं।

इसका क्या अर्थ है?

दूसरे शब्दों में, आज, AI 3D का काम केवल ग्राफिक्स के निर्देशों के तहत AI को मॉडलिंग, टेक्सचरिंग और रेंडरिंग को अधिक कुशलता से पूरा करना ही नहीं है।

दीर्घकालिक रूप से, AI 3D का अंतिम रूप कल्पना का भौतिकीकरण हो सकता है।

यह भविष्य की दृष्टि टोंग शिन के विचारों के साथ काफी मेल खाती है।

2016 में टोंग शिन ने यह प्रस्ताव रखा कि ग्राफिक कंटेंट उत्पादन की everyone और everywhere की समस्या को हल किया जाए, ताकि कोई भी कहीं भी विजुअल मीडिया कंटेंट बना सके।

आज, दस साल बाद, "everyone everywhere विजुअल मीडिया कंटेंट बनाते हैं" का मतलब है "किसी भी व्यक्ति को सिर्फ एक वाक्य के साथ अपनी कल्पना को एक एंटरएबल, इंटरएक्टिव दुनिया में बदलने की क्षमता देना".

यह निश्चित रूप से बहुत विशाल इच्छा है।

इसे प्राप्त करने के लिए, Meshy वर्तमान में तीन स्तरों पर मूलभूत तकनीकी शोध कर रहा है:

सबसे पहले, और सबसे महत्वपूर्ण — ग्राफिक्स का पुनर्आविष्कार करें।

इसके लिए, पिछले नेटवर्क ग्राफिक्स में ग्राफिक्स रेंडरिंग पाइपलाइन के स्थानीय उत्तम हल से बाहर निकलकर, AI का उपयोग करके एक ऐसा वैश्विक उत्तम हल बनाया जाना चाहिए जो "त्रिभुज" पर निर्भर न करे, जहां "त्रिभुज" GPU द्वारा त्रि-आयामी वस्तुओं को रेंडर करने की न्यूनतम इकाई है।

△

दूसरा, निर्देशक प्रणाली स्थापित करना होगा।

अगर नए ग्राफिक्स को एक फिल्मी टीम की तरह माना जाए, तो AI for Fun को साकार करने के लिए एक अनुरूप निर्देशक प्रणाली की आवश्यकता होगी।

यह निर्देशन प्रणाली दुनिया के कार्य तंत्र और 3D हड्डी की नींव तैयार करती है और पटकथा को वास्तविक समय में लिखती है।

अंत में बुनियादी ढांचा।

निम्न लेटेंसी, उच्च गुणवत्ता और कम लागत वाली 3D जनरेशन और रेंडरिंग बुनियादी ढांचा आवश्यक है, क्योंकि AI for Fun के अनुभव में एक क्षण की ठहराव भी सैकड़ों गुना बढ़ जाता है।

इसके लिए, एक उच्च-प्रदर्शन इन्फ्रास्ट्रक्चर को पुनः डिज़ाइन करने की आवश्यकता है, जो हु युआनमिंग की डॉक्टरेट की थीसिस और Meshy की शुरुआत में किए गए Taichi प्रोग्रामिंग भाषा के आधार से सीधे संबंधित है।

इन बुनियादी शोध के अलावा, मेशी का नया मॉडल AI 3D के क्षेत्र में वर्तमान में मौजूद विशिष्ट चुनौतियों को हल कर रहा है।

जैसे “नियंत्रणयोग्यता” की समस्या, अर्थात् उत्पादित परिणाम इनपुट छवि के प्रति कितना विश्वसनीय है, जो समग्र अनुपात की सटीकता, स्थानिक वितरण की तर्कसंगतता और सतही विवरणों की पुनर्निर्माण क्षमता के रूप में प्रकट होती है।

8 अगस्त, 2024 को, Meshy ने Meshy-7 लॉन्च किया, जिससे ज्यामितीय संरेखण (geometry alignment) की दिशा में एक बड़ी प्रगति हुई, विशेष रूप से:

ऑर्गैनिक रोल के संदर्भ में, मॉडल चेहरे के अभिव्यक्ति, शारीरिक संरचना और त्वचा के झुर्रियों जैसे विवरणों को पुनः बना सकता है;

कठोर सतह और यांत्रिक भागों के संदर्भ में, सभी घटक चित्र में निर्दिष्ट स्थान पर सटीकता से आते हैं और आसन्न घटक एक-दूसरे से चिपकते नहीं हैं;

Text and patterns are finely engraved and raised, with clean and sharp details suitable for direct use in industrial applications such as laser engraving.

यह कहा जा सकता है कि मेशी के इन दिशाओं में अनुसंधान का चिंतन टोंग शिन के ध्यान केंद्रित क्षेत्रों से मेल खाता है, और उनके पिछले कुछ वर्षों के अनुसंधान की दिशा 3D और वीडियो जनरेशन के क्रॉसओवर क्षेत्र में है।

जैसा कि उन्होंने 2024 में एक प्रसिद्ध प्रश्न पूछा था: "क्या त्रिआयामी केवल वीडियो जनरेशन का एक विशेष मामला है?"

अर्थात, यदि एक वीडियो पहले से ही किसी वस्तु को किसी भी कोण से "देखने" में सक्षम है, तो क्या हमें अभी भी इसका त्रिआयामी मॉडल स्पष्ट रूप से बनाने की आवश्यकता है?

Answer is not yet clear.

लेकिन वर्तमान में यह निश्चित है कि टोंग ज़िन के AI मल्टीमॉडल ट्रेनिंग के क्षेत्र में अग्रणी शोध और इंजीनियरिंग का संचय, Meshy की खोज को और आगे ले जा सकता है।

इस लेख के लिखे जाने के समय, हु युआनमिंग ने अपने वेबसाइट पर मेशी टीम का नया कार्य, मोरा, प्रकाशित किया।

Mora का अर्थ है "Multimodal Open-world Real-time Architecture", यानी "बहुमोडल ओपन-वर्ल्ड रियल-टाइम आर्किटेक्चर".

यह काफी दिलचस्प है, सभी लोग इसके द्वारा बनाए गए इंटरैक्टिव गेम डेमो का अनुभव कर सकते हैं।

सरल शब्दों में, यह तीन पहेलियों से बना है:

कोडिंग एजेंट, जो गेम वर्ल्ड की हड्डी और रनिंग कोड जेनरेट करता है;

3D जनरेशन, जो Meshy का सबसे महत्वपूर्ण टुकड़ा है, जोड़ों को समृद्ध करने और वीडियो मॉडल के लिए नियंत्रण सिग्नल आउटपुट करने के लिए उपयोग किया जा सकता है;

वीडियो मॉडल, 3D स्कीन सिग्नल को स्वीकार करता है, अंतिम दृश्य और ध्वनि निकास उत्पन्न करता है।

Hu Yuanming called this a technology that "goes beyond world models."

काफी बड़ी बातें कर रहे हैं, कैसे ओवरकम करेंगे?

क्या आपको याद है कि इस साल जनवरी में, Google Genie 3 एक इंटरएक्टिव डेमो के साथ लॉन्च हुआ था, जिसने दावा किया था कि "यह एक यूनिवर्सल वर्ल्ड मॉडल है, जो उपयोगकर्ताओं को पाठ का उपयोग करके एक्सप्लोर करने योग्य वास्तविक वातावरण बनाने की अनुमति देता है।"

इसके लिए Unity ने एक दिन में 24% की गिरावट दर्ज की, Roblox ने 27% की गिरावट दर्ज की, बाजार बहुत उत्साहित है: भविष्य में गेम बनाने के लिए गेम इंजन की आवश्यकता नहीं होगी, एक वीडियो मॉडल काफी है।

हालांकि, लगभग आठ महीने बाद, हु युआनमिंग ने बाजार में उपलब्ध सभी विश्व मॉडल डेमो का परीक्षण किया और वर्तमान में लगभग सभी इंटरैक्टिव वीडियो मॉडल के लिए आठ दोषों का उल्लेख किया।

अस्थिरता कम, इंटरैक्शन सरल, भौतिक सॉल्विंग क्षमता कम, अनुभव का समय छोटा, कहानी और जटिल तर्क का समर्थन नहीं, एकल खिलाड़ी खेल पर केंद्रित, Coding की मैकेनिज़्म जेनरेशन क्षमता का उपयोग नहीं किया जा सकता, लेटेंसी अधिक।

संक्षेप में, यह खेलने में कठिन है।

हालांकि यह एक ऐसी समस्या है जिसे अनुकूलन द्वारा हल नहीं किया जा सकता।

वर्तमान वीडियो मॉडल में वास्तविक बुद्धिमत्ता नहीं है, वे मूल रूप से केवल एक रेंडरर हैं, इस रास्ते पर आगे बढ़ने से अंततः केवल टहलने का सिमुलेटर ही बनेगा।

मोरा का रास्ता उल्टा है, चूंकि वीडियो मॉडल 3D स्पेस कंसिस्टेंसी को हल नहीं कर सकते, इसलिए इसे अपना काम अच्छी तरह से करने दें।

कोडिंग एजेंट को हड्डी बनाने दें, मेशी को 3D जनरेट करने दें, और अंत में वीडियो मॉडल को दृश्य बनाने दें, इससे स्पेस स्थिर, सुंदर और खेलने योग्य होगा।

स्पष्ट है कि हु बास्स वास्तव में एक बहुत ही उत्साही पुराने खिलाड़ी हैं।

हालांकि Mora 1 अभी बहुत शुरुआती चरण में है।

यह केवल एक ढांचे की पुष्टि के लिए उपयोग किया जाता है। फिर इस ढांचे के तहत, स्केलिंग के माध्यम से कदमदर कदम लक्ष्य की ओर बढ़ा जाता है।

इसलिए, चेंग्ज़िन के प्रश्न पर वापस आते हैं, क्या त्रिआयामी केवल वीडियो जनरेशन का एक विशेष मामला है?

मोरा ने एक प्रारंभिक उत्तर दिया: कम से कम वर्तमान में, दोनों को एक दूसरे का विकल्प होने की आवश्यकता नहीं है, और कोडिंग एजेंट के माध्यम से वे अपना-अपना कार्य कर सकते हैं।

यह उत्तर अभी भी बिल्कुल सटीक नहीं है, लेकिन इतना आगे बढ़ चुके होने पर, प्रश्न भी धुंधला हो चुका है।

यह महसूस करना चॉनग शिन के लिए अज्ञात नहीं है।

दो या तीन दशकों में, उन्होंने एक-एक करके तकनीकी झटकों को देखा: पहले 3D बनाने के लिए सिर्फ हाथ से नियम लिखे जाते थे, फिर न्यूरल रेंडरिंग आई, जिससे AI फोटो से प्रकाश और छाया सीखने लगा; फिर जनरेटिव AI आया, जिससे वास्तविक दृश्यों के लिए 3D पाइपलाइन की आवश्यकता नहीं रही; फिर वीडियो मॉडल आए, जिनसे गतिशील दुनिया को बिना किसी आधार के पैदा किया जा सकता है...

नई तकनीकें बार-बार पारंपरिक ग्राफिक्स की सीमाओं को चुनौती देती हैं: ग्राफिक्स को किस रूप में जीवित रहना चाहिए?

इस और अधिक तत्काल समस्या के सामने, टोंग जिन फिर से रवाना हुए।

वह इस पीढ़ी के सबसे कल्पनाशील युवाओं के साथ एक नया ग्राफिक्स बनाना चाहता है।

यह लेख वेइचेन ग्रुप "Quantum Bit" से आया है, लेखक: चेंग चियान