नया कागजात एक्सप्लोरेटिव मॉडलिंग के माध्यम से जनरेटिव मॉडल्स के लिए एंड-टू-एंड ट्रेनिंग प्रस्तावित करता है

2012 में, AlexNet ने एक युग को दबाने वाली जीत के साथ समाप्त कर दिया। इससे पहले, छवि पहचान के लिए मनुष्य द्वारा हाथ से डिज़ाइन किए गए चरणबद्ध विशेषता निकालने की प्रक्रियाओं का उपयोग किया जाता था; AlexNet ने एक ऐसी बात को साबित किया जिसे बाद में बार-बार सत्यापित किया गया: पूरे कार्य को एक साथ मॉडल पर सौंप देना, लगभग हमेशा मानव द्वारा सावधानी से डिज़ाइन किए गए चरणबद्ध प्रवाह से बेहतर प्रदर्शन करता है।

चित्र वर्गीकरण से लेकर वस्तु संसाधन और फिर चित्र विभाजन तक, गहरी शिक्षा की प्रत्येक कूद के पीछे एक ही बात है: इसे खुद ही एक साथ सीखने दें।

केवल एक क्षेत्र हमेशा अपवाद है: जनरेटिव मॉडल।

आज का सबसे शक्तिशाली और सबसे अधिक स्केलेबल जनरेटिव मॉडल (चाहे वह ऑटोरिग्रेसिव हो या डिफ्यूजन मॉडल) एंड-टू-एंड नहीं हैं।

उन्हें प्रशिक्षण के दौरान केवल एक "छोटा कदम" भविष्यवाणी करना सिखाया गया था, लेकिन निष्कर्ष निकालते समय उन्हें इस एक कदम को लगभग सैकड़ों या हजारों बार चक्रीय नेटवर्क की तरह दोहराना पड़ता है।

ट्रेनिंग और इन्फरेंस के लिए अलग-अलग सैंपलिंग विधियाँ उपयोग की जाती हैं। यह अंतर एक पुरानी समस्या को उत्पन्न करता है: प्रत्येक कदम की त्रुटि अगले कदम में सम्मिलित हो जाती है, जिससे इनपुट धीरे-धीरे ट्रेनिंग के दौरान देखे गए वितरण से विचलित होने लगता है और त्रुटियाँ स्तरबद्ध रूप से जमा होती जाती हैं। इसे शैक्षणिक रूप से "एक्सपोजर बायस" (exposure bias) कहा जाता है।

दूसरे शब्दों में, डीप लर्निंग का सबसे मूलभूत अनुभव, "एंड-टू-एंड बेहतर होता है", पिछले दो दशकों से वास्तव में जनरेटिव मॉडल्स पर लागू नहीं हुआ है।

और हाल ही में, एक अध्ययन जो UIUC और हार्वर्ड विश्वविद्यालय से आया है, इस अंतिम पहेली के टुकड़े को पूरा करने का प्रयास कर रहा है।

लेखक ने इस नए परिप्रेक्ष्य का नाम एक्सप्लोरेटिव मॉडलिंग (Explorative Modeling) रखा है, जिसे संक्षेप में XM कहा जाता है। इसका विचार इतना सरल है कि लगता है यह निर्मम है, लेकिन यह एक साहसी निष्कर्ष की ओर इशारा करता है: जनरेटिव मॉडल्स के पैरामीटर और डेटा के अलावा, एक तीसरा ऐसा अक्ष है जिसे बढ़ाया जा सकता है।

प्रोजेक्ट वेबसाइट: https://explorative-modeling.github.io

पेपर का लिंक: https://arxiv.org/abs/2607.27372

कोड रिपॉजिटरी: https://github.com/alexiglad/XM

इस पेपर के द्वारा क्या हल किया जा रहा है, इसे समझने के लिए, यह समझना आवश्यक है कि जनरेशन वास्तव में क्यों कठिन है।

सामान्य नियंत्रित शिक्षण (जैसे वर्गीकरण) में प्रत्येक इनपुट का लगभग एक ही सही उत्तर होता है, और मॉडल को केवल एक निश्चित मैपिंग सीखनी पर्याप्त होती है।

लेकिन उत्पादन अलग होता है। आप मॉडल को "एक कुत्ता उत्पन्न करो" कहते हैं, तो सही उत्तर अनंत रूप से अधिक हो सकता है। ये वैध आउटपुट, डेटा वितरण में अलग-अलग मोड (अर्थात् वितरण के अलग-अलग स्वतंत्र शिखर) होते हैं। उत्पादन कठिन है, क्योंकि इतने सारे मोड को एक साथ पकड़ना होता है।

समस्या यह है कि प्रमुख जनरेटिव मॉडल्स के प्रशिक्षण में पुनर्निर्माण हानि (जैसे वर्ग त्रुटि) का उपयोग किया जाता है। जब एक इनपुट को अनेक वैध लक्ष्यों के साथ यादृच्छिक रूप से जोड़ा जाता है, तो पुनर्निर्माण हानि द्वारा दिया गया आदर्श समाधान इन लक्ष्यों का औसत होता है। और अधिकांश डेटा के लिए, औसत डेटा मैनिफोल्ड पर नहीं, बल्कि कई मोड के बीच में पड़ता है, जो किसी के भी समान नहीं होता।

पेपर में वह चित्र बहुत स्पष्ट है: बिना किसी ट्रिक के मॉडल को सीधे एंड-टू-एंड रिग्रेशन करने दें, तो तीन बिंदुओं के समूह को यह बीच में एक बिंदु के रूप में पूर्वानुमान लगाएगा, एक कुत्ते की तस्वीर एक धुंधली गुच्छे में बदल जाएगी, और एक वाक्य 'the' को अंत तक दोहरा देगा। यही 'मोड ब्लरिंग' है, जिसमें आदर्श हल वास्तविक डेटा के सबसे कम मिलता-जुलता उत्तर होता है।

पिछले मॉडल इसे कैसे बायपास करते हैं? जवाब है कि "जनरेट" करने की प्रक्रिया को छोटे-छोटे टुकड़ों में तोड़ देना। स्वयं-पुनर्निर्मित एक बार में केवल एक तत्व का भविष्यवाणी करता है, डिफ्यूजन एक बार में केवल थोड़ा शोर हटाता है, और प्रत्येक छोटे कदम का लक्ष्य लगभग केवल एकल मोड तक सीमित हो जाता है, इसलिए पुनर्निर्माण हानि औसत नहीं लेती।

यह "विभाजन उत्पादन प्रक्रिया" ही वह कारण है जिससे डिफ्यूजन और स्वयं-पुनर्क्रमित मॉडल उच्च गुणवत्ता वाले नमूने बना पाते हैं, लेकिन यही कारण है कि मॉडल एंड-टू-एंड नहीं हो सकता।

लेखक इससे एक महत्वपूर्ण प्रश्न उठाता है: एक जनरेटिव मॉडल में केवल दो चीजें ही विभाजित की जा सकती हैं—एक तो यह कि यह कैसे जनरेट करता है, और दूसरा यह कि यह कैसे ट्रेन किया जाता है।

अगर इस रास्ते को अलग करने से एंड-टू-एंड खराब हो जाएगा, तो ट्रेनिंग को क्यों नहीं अलग किया जाता?

एक्सप्लोरेटिव मॉडलिंग ट्रेनिंग साइकिल को ही तोड़ती है।

इसका तंत्र एक वाक्य में समझाया जा सकता है: प्रत्येक प्रशिक्षण चरण में, मॉडल केवल एक ही नमूना उत्पन्न नहीं करता जिसे लक्ष्य के लिए मजबूरी से फिट किया जाए, बल्कि K उम्मीदवार उत्पन्न करता है, और फिर वास्तविक डेटा के सबसे करीबी एक को चुनकर प्रशिक्षण और ग्रेडिएंट प्रतिगमन किया जाता है। इसे पेपर में 3 से 5 पंक्तियों के एक for लूप के रूप में लागू किया गया है, जो इतना सरल है कि इस पर संदेह हो सकता है (एल्गोरिथम 1)।

ऐसा करने से mode की अस्पष्टता क्यों दूर हो जाती है?

जीवन के एक अलग परिदृश्य को देखें: डार्ट के प्रभाव स्थान का अनुमान लगाएं। अगर आपको केवल एक बार अनुमान लगाने की अनुमति है, तो आपकी उत्तम रणनीति सभी डार्ट्स के औसत स्थान का अनुमान लगाना होगा, लेकिन यह अक्सर उस स्थान पर होता है जहाँ वास्तव में कोई डार्ट नहीं लगा होता। हालाँकि, अगर आपको K बार अनुमान लगाने की अनुमति है और केवल सबसे निकटतम अनुमान को ही स्कोर के रूप में गिना जाए, तो उत्तम रणनीति तुरंत बदल जाती है: आप इन K अनुमानों को फैला देंगे, ताकि प्रत्येक अनुमान अलग-अलग प्रभाव समूहों को कवर करे।

मॉडल के लिए भी यही बात है। जब इसे K उम्मीदवारों का पता लगाने की अनुमति दी जाती है, तो विभिन्न इनपुट शोर प्रत्येक अलग मोड को "अपना" बना लेते हैं, बजाय इसके कि सभी केंद्र में औसत ले लें। जितनी बार खोज की जाती है, मॉडल उतने ही मोड को स्थिरता से पकड़ पाता है।

लेखक ने इस लंबे समय तक नजरअंदाज की गई क्षमता का नाम जनरेटिव एक्सप्रेसिविटी (generative expressivity) रखा है और बताया है कि यह प्रशिक्षण लक्ष्य द्वारा निर्धारित होता है, चाहे आप पैरामीटर और डेटा कितने भी बड़े मात्रा में जमा करें, यह स्वयं नहीं बढ़ेगा।

यह एक ऐसी अजीब घटना को भी समझाता है जिसे उद्योग पहले से ही देख रहा था: आज के सबसे अच्छे मॉडल क्यों 'गाइडेंस' (guidance) तकनीक पर इतने निर्भर हैं।

अनुवर्ती निर्देशन का अर्थ है कि भविष्यवाणी को उस अस्पष्ट औसत से दूर धकेलना। लेकिन अगर मॉडल खुद ही अस्पष्ट नहीं है, तो इसे धकेलने की क्या आवश्यकता? निर्देशन तभी उपयोगी होता है, जब mode की अस्पष्टता के कारण यह समस्या बनी रहती है।

पेपर ने दो खोज दिशाएँ—Forward और Reverse—प्रस्तुत की हैं: पहली में एक वास्तविक लक्ष्य को स्थिर रखा जाता है और अपने निर्मित मानों में सबसे निकटतम को ढूंढा जाता है, जो 'पूर्णता' (सभी mode को कवर करना) की ओर झुका हुआ है; दूसरी में एक निर्मित मान को स्थिर रखा जाता है और वास्तविक डेटा में सबसे निकटतम को ढूंढा जाता है, जो 'शुद्धता' की ओर झुका हुआ है और लगभग कोई गणना लागत नहीं बढ़ाता, लेकिन इसकी कीमत यह है कि यह कुछ ही mode पर संकुचित हो सकता है। दोनों परस्पर पूरक हैं और संयुक्त रूप से उपयोग किए जा सकते हैं।

इस पेपर का सबसे महत्वपूर्ण निष्कर्ष यह है कि इसने "खोज" को एक वास्तविक स्केलिंग अक्ष के रूप में साबित कर दिया है।

लेखक ने डिफ्यूजन/फ्लो मॉडल, जंपी मॉडल और मास्क्ड डिफ्यूजन भाषा मॉडल पर खोज को शामिल किया, जिससे चित्र, वीडियो और भाषा तीनों मोडल में समान रूप से प्रदर्शन में एक निरंतर सुधार देखा गया। और अधिक महत्वपूर्ण बात यह है कि स्केल के साथ लाभ का प्रवाह: जितना बड़ा किया जाता है, उतना ही तीव्र होता है।

दिए गए आंकड़े हैं: डेटा आकार बढ़ने के साथ, अन्वेषण से प्राप्त लाभ 7% से बढ़कर 36% हो गया; मॉडल के बड़े होने के साथ, यह 13% से बढ़कर 23% हो गया; जब कैलकुलेशन क्षमता तीन गुना हो गई, तो कुशलता में वृद्धि दोगुनी से अधिक हो गई।

दक्षता के संदर्भ में, इसने FLOP दक्षता को 4.1 गुना, नमूना दक्षता को 6.2 गुना और पैरामीटर दक्षता को 47% बढ़ाया। चित्र उत्पादन में, इसने वर्तमान सबसे शक्तिशाली RAE रेसिपी को ImageNet पर अनुपदेशित 1.43 FID तक आगे बढ़ाया, जो उद्योग के सर्वश्रेष्ठ स्तर के करीब पहुँच गया।

एक 5 मोड की जांच करने वाला बड़ा मॉडल, जो 47% अधिक पैरामीटर वाले लेकिन जांच न करने वाले एक्सलार्ज मॉडल को हरा सकता है।

इस दिशा का महत्व छोटा नहीं है। लेखक का तर्क है: छोटे पैमाने पर, मॉडल मुख्य रूप से पैरामीटर और डेटा के कारण सीमित होता है, और उत्पादन की अभिव्यक्तिशीलता अभी बाधक नहीं है; लेकिन जब पैरामीटर और डेटा को इतना बढ़ाया जाता है कि वे अब सीमा नहीं रहते, तो उत्पादन की अभिव्यक्तिशीलता धीरे-धीरे वास्तविक बाधक बन जाती है। और यही वह चीज है जिसका सीधे विस्तार किया जा सकता है।

चूंकि वर्तमान में वास्तविक बेस मॉडल ट्रेनिंग के लिए उपयोग किए जाने वाले कैलकुलेशन की मात्रा, इस पेपर के सबसे बड़े प्रयोग से लगभग चार घातांक अधिक है, इसलिए लेखक मानते हैं कि पेपर में दर्ज ये संख्याएँ, बड़े पैमाने पर लाभ की संभावित न्यूनतम सीमा हो सकती हैं।

अगर खोज को सीमा तक ले जाया जाए, तो क्या होगा? उत्तर प्रारंभिक रहस्य पर लौट आता है: जनरेटिव मॉडल अंतिम रूप से एंड-टू-एंड हो गए हैं।

लेखक ने XM को एक स्वतंत्र एंड-टू-एंड मॉडल के रूप में लिया और इसे रोबोट नियंत्रण कार्यों के लिए उपयोग किया। व्यवहार अनुकरण (Behavior Cloning) पर, उनकी Explorative Policy ने केवल एक ही नेटवर्क फॉरवर्ड के साथ 100 फॉरवर्ड की आवश्यकता वाले Diffusion Policy को बराबर या उससे बेहतर प्रदर्शन किया; लक्ष्य-आधारित विश्व मॉडलिंग पर, Explorative World Model ने Diffuser की तुलना में 16 से 256 गुना कम निष्कर्षण गणना शक्ति का उपयोग करते हुए बेहतर औसत प्रदर्शन प्राप्त किया।

इस अंतर का स्रोत स्पष्ट है: डिफ्यूजन मॉडल अभिव्यक्ति के लिए निष्कर्षण के दौरान सैकड़ों कदमों का उपयोग करते हैं, जबकि एंड-टू-एंड XM इस लागत को प्रशिक्षण के दौरान अन्वेषण पर स्थानांतरित कर देता है, जिससे निष्कर्षण केवल एक फॉरवर्ड पास की आवश्यकता होती है। 'बहु-मोड को संभालना' यही एक ही बात है, या तो निष्कर्षण के दौरान धीरे-धीरे विभाजित किया जाता है, या प्रशिक्षण के दौरान एक ही बार में पूरी तरह से अन्वेषण किया जाता है; इस पेपर ने बाद का विकल्प चुना है।

इस पेपर के प्रथम लेखक एलेक्सी ग्लैडस्टोन परिचित चेहरा नहीं हैं। जुलाई 2025 में, उनके द्वारा निर्देशित एनर्जी-बेस्ड ट्रांसफॉर्मर्स (EBT) सोशल मीडिया पर काफी चर्चा का विषय बने थे।

उस कार्य ने दावा किया कि इसने पहली बार कई आयामों पर मानक फीडफॉरवर्ड Transformer की विस्तार वक्र को «पीछे छोड़» दिया है और «सिस्टम 2 सोच» को किसी भी मोड में लागू करने का प्रयास किया है। मशीन ज़िन की रिपोर्ट «नया पैटर्न आ गया! नया एनर्जी मॉडल Transformer++ की विस्तार सीमा को तोड़ता है, ट्रेनिंग विस्तार दर 35% तेज» को देखें।

एक्सप्लोरेटिव मॉडलिंग उसकी सदैव की दृष्टिकोण से जुड़ी है: दोनों ही प्रश्न करते हैं कि "क्या मॉडल किसी खोज या अन्वेषण के माध्यम से एकल फॉरवर्ड पास से असमर्थ कार्य कर सकता है?" और यह पेपर उनके सहयोगियों (यिलुन डू और हेंग जी) के एक अन्य सिद्धांत, मोड फोर्सिंग, पर आधारित है। पेपर में स्वीकार किया गया है कि चूंकि उस सिद्धांत का पहले से अस्तित्व था, XM के अधिकांश परिणाम पहले सिद्धांत द्वारा पूर्वानुमानित हुए और फिर प्रयोगों द्वारा सत्यापित हुए, जो "प्रयोग पूरे करने के बाद व्याख्या करना" के सामान्य प्रचलन के संदर्भ में गहन शिक्षण के क्षेत्र में दुर्लभ है।

लेखक ने सीमाओं को भी स्पष्ट रूप से स्वीकार किया: best-of-K विचार स्वयं नया नहीं है, पहले भी इसे कई बार किया जा चुका है; उनका वास्तविक योगदान यह है कि उन्होंने समझा कि यह सरल चक्र वास्तव में क्या कर रहा है: यह उत्पादन प्रक्रिया को विभाजित किए बिना, सीधे उत्पादन की अभिव्यक्ति को बढ़ाता है।

इसके अलावा, स्वानुक्रमिक भाषा मॉडल अभी भी सबसे कठिन समस्याएँ हैं, और शुद्ध एंड-टू-एंड फॉरवर्ड XM अत्यधिक बहु-मोड वितरण (जैसे चित्र उत्पादन) पर अभी भी बहुत महंगा है, जिन्हें भविष्य के कार्यों के लिए छोड़ दिया गया है।

दशकों से, हमने जनरेटिव मॉडल को नियंत्रित करने के लिए दो नियंत्रणों का उपयोग करना शुरू कर दिया है: इसे बड़ा बनाएं और इसे अधिक डेटा दें।

इस पेपर में प्रस्तावित तीसरा नियंत्रण काफी सरल है: मॉडल को कई बार अनुमान लगाने दें और केवल सबसे अच्छा अनुमान ही रखें। लेकिन अगर यह प्रवृत्ति सच साबित होती है, तो जैसे-जैसे मापक बढ़ता जाएगा, पहले दो नियंत्रण जल्द ही अपनी सीमा पर पहुँच जाएंगे, जबकि तीसरा अभी शुरू हुआ है।

रेफरेंस लिंक

https://x.com/AlexiGlad/status/2083230922196107288

यह लेख वेचेन ग्रुप "मशीन इंटेलिजेंस" (ID: almosthuman2014) से आया है, लेखक: Panda