ली फेईफेई ने सबस्टैक पर एक लेख प्रकाशित किया, जिसमें वर्तमान एआई क्षेत्र में भ्रमपूर्ण "वर्ल्ड मॉडल" अवधारणा को व्यवस्थित रूप से स्पष्ट किया गया है।

लेखक, स्रोत: Substack

“दुनिया सभी घटनाओं का योग है।” — विटगेनस्टीन, लॉजिकल फिलोसोफिकल ट्रैक्टेट, 1921

दुनिया शब्दों से नहीं बनी है।

पिछले लेख में, हमने कहा था कि स्पेस इंटेलिजेंस AI की अगली सीमा है, और वर्ल्ड मॉडल इस तक पहुँचने का मार्ग हैं। यहाँ, World Labs टीम और मैं एक कदम आगे बढ़ना चाहते हैं: आज के समय में "वर्ल्ड मॉडल" के नाम से जाने जाने वाली अनेक चीजों में से, कौन से फंक्शनल मॉड्यूल वास्तव में इस क्षमता को बनाते हैं? और उनका प्रत्येक का उपयोग क्या है?

भाषा मॉडल मशीन को अवधारणाओं, शब्दों और तर्क के लिए एक शक्तिशाली नियंत्रण प्रदान करते हैं, लेकिन भौतिक दुनिया, चाहे वह आभासी हो या वास्तविक, पूरी तरह से अलग आधार पर काम करती है। भाषा मॉडल पाठ की सांख्यिकीय संरचना सीखते हैं, जबकि विश्व मॉडल अंतरिक्ष और समय की सांख्यिकीय संरचना सीखते हैं: प्रकाश कैसे किसी सतह पर पड़ता है, एक बगीचा एक ऐसे कोण से कैसा दिखता है जिसे कभी कैमरे ने पकड़ा नहीं है, और वस्तुएँ बलों के प्रति कैसे प्रतिक्रिया करती हैं और भौतिक कानूनों का पालन कैसे करती हैं।

इससे “वर्ल्ड मॉडल” एआई के क्षेत्र में सबसे महत्वपूर्ण, और साथ ही सबसे अधिक दुरुपयोग होने वाला शब्द बन गया है। कंप्यूटर विज़न, रोबोटिक्स, रीइनफोर्समेंट लर्निंग और जनरेटिव एआई सभी दावा करते हैं कि वे वर्ल्ड मॉडल बना रहे हैं, लेकिन वे सभी अलग-अलग चीज़ों का जिक्र कर रहे हैं। एक शानदार लेकिन भौतिक रूप से असंभव आग का वीडियो जनरेट करने वाला मॉडल, एक अचानक खेलने योग्य भाषा मॉडल, और एक जलने की प्रक्रिया का सटीक सिमुलेशन करने वाला फिजिक्स इंजन—सभी को एक ही नाम दिया जाता है।

प्राचीन यूनानी लोग यह सहमत नहीं हो सके कि दुनिया किससे बनी है—चाहे वह आग हो, पानी हो या अविभाज्य परमाणु—क्योंकि “दुनिया” कभी एकल चीज़ नहीं रही। यह हमेशा किसी दार्शनिक द्वारा किसी समग्रता की तर्कसंगतता के लिए उपयोग किए जाने वाले एक प्रतिस्थापन शब्द रही है। AI को यही समस्या विरासत में मिली है, और यह ठीक उसी समय हुआ है जब इस क्षेत्र में सबसे अधिक सटीकता की आवश्यकता है।

The闭环 behind the taxonomy

इस भ्रम को समझने के लिए, आप उपरोक्त सभी तकनीकों से भी पुरानी एक आकृति से शुरुआत कर सकते हैं। सभी रिइनफोर्समेंट लर्निंग पाठ्यपुस्तकें, जिनमें क्लासिक सटन और बार्टो भी शामिल हैं, दशकों से एजेंट कैसे दुनिया के साथ बातचीत करता है, इसे वर्णित करने के लिए एक ही आकृति के समान रूपों का उपयोग करती आई हैं। इस आकृति का औपचारिक नाम आंशिक रूप से पर्यवेक्षित मार्कोव निर्णय प्रक्रिया (POMDP) है, और "वर्ल्ड मॉडल" शब्द की मूल परिभाषा इसी परंपरा से संबंधित है।

एक एजेंट (जो एक व्यक्ति, रोबोट या सॉफ्टवेयर सिस्टम हो सकता है) क्रियाएँ करता है। ये क्रियाएँ दुनिया की स्थिति को बदल देती हैं। लेकिन एजेंट कभी भी स्थिति को सीधे नहीं देख सकता; इसे केवल प्रेक्षण मिलते हैं: रेटिना पर पड़ने वाले फोटॉन, सेंसर के पाठ्यांक, वीडियो फ्रेम में पिक्सल। नए प्रेक्षण नए क्रियाओं को निर्देशित करते हैं, और यह चक्र दोहराया जाता है।

शब्द “स्थिति” को अलग-अलग देखने की आवश्यकता है, क्योंकि विभिन्न क्षेत्रों में इसका अर्थ बदल जाता है। यहाँ रसायन विज्ञानी की स्थिति की बात नहीं है, जैसे कि ठोस, द्रव और गैसीय स्थिति का अंतर। यहाँ भौतिक विज्ञानी और रोबोटिक्स विशेषज्ञों की स्थिति है: किसी भी क्षण में दुनिया में हो रही हर चीज़ का पूर्ण वर्णन, जिसमें प्रत्येक वस्तु, प्रत्येक स्थिति, प्रत्येक वेग, प्रत्येक गुणशक्ति शामिल है। स्थिति दुनिया की मूलभूत वास्तविकता है, सिद्धांत रूप से पूर्ण है, लेकिन इसमें मौजूद किसी भी बुद्धिमान प्रणाली के लिए सीधे पर्यवेक्षण के लिए कभी उपलब्ध नहीं होती। पर्यवेक्षण बुद्धिमान प्रणाली का इस वास्तविकता का स्थानीय दृष्टिकोण है। क्रिया तब होती है, जब बुद्धिमान प्रणाली इस वास्तविकता के आधार पर प्रतिक्रिया करती है।

यह बंद चक्र (एजेंट → क्रिया → स्थिति → अवलोकन → एजेंट) ही “वर्ल्ड मॉडल” शब्द को उसका तकनीकी अर्थ देने वाली संरचना है। यह शब्द स्वयं अधिक पुराना है और 1943 में केनेथ क्रेक द्वारा प्रस्तावित विचार से उत्पन्न हुआ है, जिसमें उन्होंने सुझाव दिया कि मन वास्तविकता के “छोटे मॉडल” को चलाकर तर्क करता है, और 1980 के अंत और 1990 की शुरुआत में, यह अवधारणा न्यूरल नेटवर्क क्षेत्र में शामिल की गई। यह बंद चक्र आज लोगों द्वारा इस शब्द के उपयोग के अर्थ को समझाता है। अब “वर्ल्ड मॉडल” कहे जाने वाले विभिन्न चीजें, वास्तव में एक ही बंद चक्र के विभिन्न प्रक्षेप हैं, जिनमें से प्रत्येक चक्र के विभिन्न पहलुओं को उत्पन्न करती हैं।

वर्ल्ड मॉडल के तीन कार्य

पहला विश्व मॉडल रेंडरर है। रेंडरर निरीक्षण उत्पन्न करता है, विशेष रूप से मानव आँखों के लिए पिक्सेल, और सबसे महत्वपूर्ण गुणवत्ता सूचकांक दृश्य सत्यता है। एक टेक्स्ट प्रॉम्प्ट को सिनेमाई हवाई शॉट में बदलने वाला वीडियो मॉडल एक रेंडरर है; Google का Genie 3 या World Labs का RTFM जैसे इंटरएक्टिव सिस्टम भी रेंडरर हैं, जो उपयोगकर्ता के इनपुट के आधार पर वास्तविक समय में चित्र उत्पन्न करते हैं। इस प्रकार के मॉडल में त्रि-आयामी संरचना की स्पष्ट समझ नहीं होती है। यह वह चित्र उत्पन्न करता है जो दर्शक देखेंगे, न कि वस्तुओं का वास्तविक रूप। हवाई शॉट में इमारतें आकाश से देखने पर परफेक्ट लग सकती हैं, लेकिन कोशिश करें कि शहर के नीचे से गुजरें, तो वे ढह जाएंगी।

दूसरा सिमुलेटर है। सिमुलेटर एक ऐसी स्थिति उत्पन्न करता है जो ज्यामिति, भौतिकी या गतिकी के दृष्टिकोण से विश्व का विश्वसनीय प्रतिनिधित्व करती है, जिस पर मानव और कंप्यूटर प्रोग्राम दोनों गणना और अंतःक्रिया कर सकते हैं। रेंडरर का अनुबंध केवल दृश्य होता है, जबकि सिमुलेटर का अनुबंध संरचनात्मक होता है, जिसमें यह आवश्यक है कि ज्यामिति परीक्षण के लिए मजबूत हो, भौतिकी न्यूटन के नियमों का पालन करे, और गतिकी का व्यवहार भौतिक नियमों की अपेक्षाओं के अनुरूप हो। सिमुलेटर दोनों प्रकार के उपयोगकर्ताओं की सेवा करता है। वास्तुकार, डिजाइनर, फिल्मनिर्माता, गेम डेवलपर्स जैसे पेशेवर दृश्य संभवता से परे सटीकता की आवश्यकता रखते हैं। प्रवर्धित शिक्षण बुद्धिमान, रोबोट कंट्रोलर, स्वयंचालित वाहन जैसे कंप्यूटर प्रोग्राम सिमुलेटर को एक प्रशिक्षण मंच के रूप में उपयोग करते हैं, जहाँ वे विशाल पैमाने पर दुनिया के साथ अंतःक्रिया करते हैं, और ऐसे परिदृश्यों का परीक्षण करते हैं जो वास्तविक दुनिया में या तो खतरनाक, या महंगे, या संभवतः असंभव हैं।

तीसरा योजक है। योजक का आउटपुट कार्रवाई होती है। एक अवलोकन और एक लक्ष्य दिए जाने पर, योजक यह जवाब देता है: एजेंट को अगला क्या करना चाहिए? कई दृष्टिकोणों से, योजक रेंडरर का विपरीत प्रक्रिया है। रेंडरर कार्रवाई को इनपुट के रूप में लेता है और अवलोकन उत्पन्न करता है, जबकि योजक अवलोकन को इनपुट के रूप में लेता है और कार्रवाई उत्पन्न करता है, जिससे संवेदन-कार्रवाई लूप पूरा होता है। विजुअल-लैंग्वेज-एक्शन मॉडल (VLA), मॉडल-आधारित सिस्टम, और नए पीढ़ी के वर्ल्ड एक्शन मॉडल्स, सभी योजक के विभिन्न प्रयास हैं: ऐसा सिस्टम बनाना जो असंरचित दुनिया में रोबोट को क्या करना चाहिए, यह तय कर सके।

ऊपर तीन श्रेणियाँ वर्तमान में वास्तविक रूप से लागू हो रहे अधिकांश कार्यों को कवर करती हैं, और वे बीच का अंतर व्यावहारिक रूप से बहुत उपयोगी है। लेकिन ये तीनों श्रेणियाँ मूल रूप से एक-दूसरे से अलग नहीं हैं। इनमें दुनिया के काम करने के बारे में एक ही नींव का ज्ञान साझा किया जाता है: ज्यामिति, भौतिकी, गतिकी। एक मॉडल जो किसी भी कोण से एक कप को रेंडर कर सकता है, सिद्धांत रूप से कप को धकेलने के बाद क्या होगा, और उसे उठाने के लिए एक हाथ की योजना बना सकता है। अधिकांश सबसे दिलचस्प शोध, इन तीनों के बीच की सीमाओं को जानबूझकर मिला रहे हैं।

चित्र: तीन विश्व मॉडल (स्रोत: Substack)

क्योंकि सिमुलेशन महत्वपूर्ण हब है

तीन श्रेणियों में, सिमुलेटर को सबसे कम जनता का ध्यान मिला है, लेकिन यह तीनों में सबसे महत्वपूर्ण है। यह लेख इस असमानता को सुधारना चाहता है।

रेंडरर अभी तक सबसे अधिक व्यावसायिक रूप से विकसित हैं। बड़ी संख्या में चित्र या पाठ से वीडियो में बदलने वाले उत्पाद उपभोक्ता और उद्योग बाजार में तेजी से विस्तार कर रहे हैं। Google का Nano Banana मॉडल रेंडरर स्तर की चित्र उत्पादन क्षमता को संभवतः करोड़ों उपयोगकर्ताओं तक पहुँचा रहा है। तकनीक वास्तविक है, और बाजार भी वास्तविक है। हालाँकि, रेंडरर के अनुकूलन का लक्ष्य भौतिक सटीकता के बजाय दृश्य संभाव्यता है, और यह सीमा महत्वपूर्ण है। उनका आउटपुट सुंदर होता है, लेकिन आप इसका उपयोग किसी इमारत के डिज़ाइन या रोबोट के प्रशिक्षण के लिए नहीं कर सकते।

प्लानर सबसे रोमांचक और सबसे अपरिपक्व है, और यह त्वरित रूप से विकसित हो रहे रोबोट लर्निंग क्षेत्र से घनिष्ठ रूप से जुड़ा हुआ है। पिछले दो वर्षों में, इस क्षेत्र में कई ऐसे रोबोट प्रदर्शन बनाए गए हैं जो वीडियो में प्रभावशाली लगते हैं, लेकिन हमें सच्चाई के साथ सामना करना होगा कि ये प्रदर्शन वास्तव में क्या दिखा रहे हैं। लगभग सभी प्रदर्शन अत्यधिक सीमित प्रयोगशाला परिवेश में सीमित हैं, जहाँ वस्तुओं की संख्या कम होती है और कार्यों की अवधि बहुत छोटी होती है। कोई भी प्रदर्शन वास्तविक दुनिया में लगाने के लिए आवश्यक जटिलता, विविधता और सतत अवधि का परीक्षण नहीं किया गया है। एक प्रभावशाली प्रदर्शन वीडियो और एक ऐसे रोबोट के बीच, जो किचन, वेयरहाउस या सर्जिकल रूम में विश्वसनीयता से काम कर सके, अभी भी एक विशाल अंतर है।

फिर भी, व्यावसायिक जोखिम का पैमाना अभी भी उल्लेखनीय है। धन से समृद्ध नए प्रवेशकर्ता व्यापक योजना प्रणालियाँ लॉन्च करने के लिए आपस में प्रतिस्पर्धा कर रहे हैं, जबकि बड़े बुनियादी ढांचा खिलाड़ी योजना क्षमताओं को एक व्यापक सिमुलेशन स्टैक पर स्थापित कर रहे हैं।

सिमुलेशन दोनों के बीच का पुल है। यदि भाषा दुनिया का अमूर्तीकरण है और पिक्सेल दुनिया का प्रक्षेपण है, तो ज्यामिति, भौतिकी और गतिकी दुनिया स्वयं हैं। सिमुलेटर इस स्तर पर काम करना चाहिए: यह संरचनात्मक हड्डी है, जिससे दृश्य प्रदर्शन (रेंडरर के लिए) और कार्रवाई के परिणाम (योजनाकार के लिए) दोनों निकाले जा सकते हैं।

एक मॉडल जो सिमुलेशन को सीख लेता है, वह अपनी समझ को मानव उपभोग के लिए पिक्सेल के रूप में और शरीरयुक्त बुद्धिमान के लिए कार्रवाई के भविष्यवाणी के रूप में प्रक्षेपित कर सकता है। जबकि केवल रेंडरिंग या केवल प्लानिंग को ही सीखने वाले मॉडल दोनों इसे करने में असमर्थ हैं। यहाँ व्यापारिक क्षेत्र अत्यंत विशाल है। केवल NVIDIA के Omniverse के लिए ही, कंपनी के अनुमान के अनुसार, बाजार का आकार एक ट्रिलियन डॉलर से अधिक है, जिसमें कारखाने, गोदाम, सप्लाई चेन और डिजिटल ट्विन शामिल हैं। रोबोट प्रशिक्षण, स्वयंचालित वाहन परीक्षण, भवन विजुअलाइजेशन, इंजीनियरिंग डिजाइन, औषधि खोज—सभी कुछ किसी न किसी रूप में सिमुलेशन पर निर्भर करते हैं।

इस क्षेत्र के सबसे कठिन खुले प्रश्न यहीं केंद्रित हैं। स्पष्ट ज्यामिति, सामग्री गुण और भौतिक अंकन वाला त्रि-आयामी डेटा, रेंडरर प्रशिक्षण के लिए उपयोग किए जाने वाले इंटरनेट वीडियो की तुलना में कई क्रम बड़े पैमाने पर कम है। sim-to-real अंतर (अनुकरण में वस्तुओं का व्यवहार और वास्तविक दुनिया में व्यवहार के बीच का अंतर) अभी भी मौजूद है। जनरेटिव सिमुलेटर इस पर नए जोखिम भी जोड़ता है: AI द्वारा उत्पन्न ज्यामिति सही दिख सकती है, लेकिन वास्तव में स्वयं-प्रतिच्छेदन या गलत अनुपात की समस्याएँ शामिल हो सकती हैं, जिससे भौतिक अनुकरण अवास्तविक परिणाम देता है। बड़े पैमाने पर बहु-भौतिक अनुकरण (ठोस वस्तुएँ, लचीली वस्तुएँ, द्रव, कपड़ा सभी एक साथ परस्पर क्रिया करते हैं) की गणना लागत अभी भी एकल क्षेत्र के अनुकरण से कई क्रम अधिक है।

वर्ल्ड लैब्स में, मार्बल हमारा इस दिशा में पहला कदम है। यह बहुआयामी इनपुट (टेक्स्ट, छवि, वीडियो या स्पेशल स्केच) को स्वीकार करता है, एक एक्सप्लोरेबल 3D वातावरण उत्पन्न करता है, और विजुअल एक्सप्लोरेशन के लिए गॉसियन स्प्लैट्स और फिजिक्स इंजन के लिए कॉलिजन मेश आउटपुट करता है। लेकिन मार्बल केवल एक लंबे चाप का पहला अध्याय है। जैसे-जैसे रेंडरिंग, सिमुलेशन और प्लानिंग के बीच की सीमाएं धुंधली होने लगती हैं, पूरा क्षेत्र इस कहानी को लिख रहा है।

सीमाएँ लुप्त हो रही हैं, और अगला क्या होगा

इस क्षेत्र में वर्तमान में सबसे महत्वपूर्ण बात यह है कि तीन श्रेणियाँ एकजुट होने लगी हैं। पीछे की सहमति यह है कि एक दुनिया को रेंडर करने, उसे सिमुलेट करने और उसमें कार्रवाई करने के लिए आवश्यक ज्ञान बहुत अधिक समान है। पिछले उदाहरण का पालन करते हुए, एक ऐसा मॉडल जो समझता है कि एक कप कैसे मेज पर रखा जाता है (इसकी ज्यामिति, सामग्री के गुण, बलों के प्रति प्रतिक्रिया आदि), उसे किसी भी कोण से कप को रेंडर करना चाहिए, कप को धक्का देने पर क्या होगा, इसका सिमुलेशन करना चाहिए, और एक हाथ को इसे उठाने की योजना बनानी चाहिए। तीनों श्रेणियाँ एक ही मूलभूत समझ की तीन प्रक्षेपण हैं।

उदाहरण के लिए, हाल के समय में विभिन्न रोबोटिक प्रयोगशालाओं से कुछ, लेकिन बढ़ती हुई मात्रा में कार्य आया है, जिन्होंने एक ऐसी संभावना को दर्शाया है जो कम से कम अवधारणात्मक रूप से मान्य है: एक पूर्व-प्रशिक्षित वीडियो रेंडरर को संयुक्त विश्व भविष्यवाणी और कार्रवाई भविष्यवाणी के लिए एक बैकबोन नेटवर्क के रूप में उपयोग किया जा सकता है, जिससे एकल मॉडल एक साथ "क्या होगा" और "क्या करना है" की कल्पना कर सके, इस प्रकार रेंडरर और प्लानर के बीच एक पुल बनाए। World Labs का Marble पहले से ही एकल मॉडल से गॉसियन स्प्लैश और कॉलिजन मेश दोनों का उत्पादन कर सकता है, जिससे रेंडरर और सिमुलेटर के बीच की सीमा समाप्त हो गई है। प्रत्येक स्तर पर प्रतिक्रियात्मक आउटपुट से इंटरएक्टिव सिस्टम की ओर जाने की प्रक्रिया चल रही है: रेंडरर क्रिया-आधारित प्रतिक्रिया करने लगे हैं, सिमुलेटर द्वारा उत्पन्न दुनिया अधिक नियंत्रणीय और संपादनीय हो गई है, और प्लानर केवल प्रतिक्रिया करने के बजाय सावधानीपूर्वक तर्क करना शुरू कर रहे हैं।

एक समान विश्व मॉडल को तर्कसंगत अंत बनाया जाता है: एक बेस मॉडल जो फोटो-रियलिस्टिक दृश्य बना सके, भौतिक रूप से सटीक संरचनाएँ उत्पन्न कर सके, क्रिया अनुक्रमों की योजना बना सके, और निचले स्तर के उपयोगकर्ताओं की आवश्यकताओं के आधार पर विभिन्न आउटपुट मोड्स के बीच स्विच कर सके। हम अभी भी कई कठिन चुनौतियों का सामना करेंगे। डेटा का पैटर्न असमान है: रेंडरर के पास इंटरनेट वीडियो का विशाल मात्रा है, जबकि सिमुलेटर और प्लानर को 3D संसाधनों और रोबोट प्रदर्शन डेटा की गंभीर कमी का सामना करना पड़ रहा है। दृश्य सौंदर्य के लिए अनुकूलन करने से रोबोटिक्स या हाई-फाइडेलिटी सिमुलेशन के लिए आवश्यक सटीकता प्रभावित हो सकती है। एकल आर्किटेक्चर में इन तनावों को समायोजित करना, वर्तमान विश्व मॉडल अनुसंधान की मुख्य खुली समस्या है, और World Labs, Marble के निरंतर विकास के दौरान, इसे हल करने पर केंद्रित है।

(स्रोत: Substack)

लेकिन बड़ी दिशा स्पष्ट है। 1980 के अंत से आज तक, इस क्षेत्र में हमेशा एक ही जुआ लगाया गया है: जब तक विश्व मॉडल पर्याप्त रूप से समृद्ध है, तब तक एजेंट को दुनिया को देखने, दुनिया का निर्माण करने और उसमें कार्रवाई करने के लिए सब कुछ अंतर्निहित है। यह जुआ आज एक पीढ़ी के अनुसंधान को चला रहा है। और इसे वास्तविकता में मजबूत करने वाली बात यह है कि पहले से ही हो रहा संगम: रेंडरिंग, सिमुलेशन और प्लानिंग—ये तीनों पंक्तियाँ, प्रत्येक अलग-अलग दसों अरब डॉलर के उद्योग को संभाल चुकी हैं, जो प्रारंभ में स्वतंत्र अनुसंधान क्षेत्र थीं, लेकिन अब एक साथ मिलने लगी हैं। जब सीमाएँ गायब हो जाती हैं, तो इन तीनों का संगम मशीनी बुद्धिमत्ता और उसके आवास के भौतिक विश्व के बीच के संबंध को पुनः परिभाषित करेगा—अर्थात् स्थानिक बुद्धिमत्ता की दीर्घकालिक दिशा।

भाषा ने मशीन को इस दुनिया के बारे में बात करने का तरीका दिया। विश्व मॉडल, तो मशीन के लिए अंतिम रूप से समझने, कल्पना करने, तर्क करने और इसके साथ बातचीत करने का माध्यम हैं।