बड़ा परिणाम, शरीरिक बुद्धिमत्ता का, आने वाला है!!!
पिछले हफ्ते Generalist द्वारा 3 से 12 सेकंड की गतिविधियों को सीखने में सक्षम शरीरिक ब्रेन Gen 1.5 जारी होने के बाद~
अभी-अभी, उत्तरी अमेरिकी एम्बॉडिड स्टार्टअप Skild AI ने नया रोबोट बेस मॉडल S1 जारी किया, जिसने सीधे रोबोट के कॉन्टेक्स्ट लर्निंग के कार्य की अवधि 10 मिनट से अधिक तक बढ़ा दी।
इस S1 की प्रमुख विशेषता संदर्भ-आधारित अधिगम (in-context learning, ICL) है:
नए ऑपरेशन डेटा को ट्रेनिंग के बाद सीखने की आवश्यकता नहीं है, केवल एक मानव डेमो वीडियो देखकर, वह अभी तक अनदेखी जटिल ऑपरेशन प्रक्रिया को सीधे पूरा कर सकता है।
ऑफिशियल डेमो में, रोबोट ने पैनकेक बनाना, कॉफी बनाना, पौधों को बर्तन बदलना और उपकरण स्थापित करना जैसी लंबी दूरी की कार्यप्रणालियाँ पूरी कीं। और अज्ञात कार्यों पर, सफलता की दर को 66% तक पहुँचाया, जो भाषा-आधारित प्रॉम्प्ट पर आधारित VLA (केवल 9%) से काफी अधिक है।
इसके अलावा, यदि आप पारंपरिक पोस्ट-ट्रेनिंग फाइन-ट्यूनिंग के रास्ते पर जाते हैं, तो S1 के एक बार के डेमो के प्रदर्शन को प्राप्त करने के लिए लगभग 380 बार के कार्य डेमो की आवश्यकता होगी।
बहुत अद्भुत!
कहा जा सकता है कि हाल के संदर्भ अधिगम पर केंद्रित इस लहर ने कई लोगों में शरीरिक बुद्धिमत्ता के प्रति फिर से आशा की ज्वाला जला दी है।
एक ट्विटर उपयोगकर्ता ने कहा कि सामान्य रोबोट दो वर्षों के भीतर आ सकते हैं, न कि सात वर्षों में।
अन्य उपयोगकर्ताओं ने भी बताया कि रोडा से लेकर पिछले सप्ताह के जनरलिस्ट और अब स्किल्ड S1 के 10 मिनट के कार्य तक, रोबोट का वास्तविक GPT क्षण आने वाला है।
क्योंकि जब यह क्षमता वास्तव में सामान्यीकृत हो जाएगी, तो भविष्य में रोबोट कौशल विकसित करना वास्तव में ChatGPT के लिए प्रॉम्प्ट लिखने जैसा हो सकता है।
क्या यह इतना अद्भुत है? आइए एक साथ देखते हैं।
BERT के युग से GPT के युग की ओर
S1 इस बार वास्तव में कैसे सीख रहा है, इसे समझने के लिए, हमें पहले देखना चाहिए कि पारंपरिक रोबोट एक नए कौशल को कैसे सीखते हैं।
पारंपरिक पाइपलाइन में, रोबोट लर्निंग वास्तव में बड़े मॉडल के लगभग समान है:
पहले बड़े पैमाने पर डेटा पर प्री-ट्रेन करें, ताकि बुनियादी क्षमताएं सीख सकें; फिर विशिष्ट परिदृश्य में, किसी विशिष्ट कार्य के लिए डेटा इकट्ठा करें और पोस्ट-ट्रेनिंग के माध्यम से रोबोट को विशिष्ट कौशल सिखाएं।
केवल समस्या यह है कि रोबोट और बड़े मॉडल एक जैसी प्रक्रिया का उपयोग करते हैं, लेकिन डेटा लागत पूरी तरह से अलग है।
बड़े मॉडल के प्री-ट्रेनिंग डेटा का बड़ा हिस्सा इंटरनेट से आता है; यहां तक कि प्रोग्रामिंग, एजेंट जैसे विशिष्ट स्थितियों में भी, कई पोस्ट-ट्रेनिंग डेटा ऑनलाइन तेजी से प्राप्त किए जा सकते हैं, यहां तक कि स्वयं उत्पन्न किए जा सकते हैं।
लेकिन रोबोट की हालत बहुत बुरी है। प्री-ट्रेनिंग डेटा को वास्तविक दुनिया से इकट्ठा करना पड़ता है, और पोस्ट-ट्रेनिंग डेटा भी वास्तविक दुनिया से ही इकट्ठा करना पड़ता है।
इसलिए, तकनीकी ब्लॉग में, Skild AI ने सीधे बात शुरू कर दी:
अगर एक रोबोट बेस मॉडल को हर नए कार्य को सीखने के लिए फिर से डेकेड या सैकड़ों घंटे के वास्तविक डेटा की आवश्यकता होती है, तो मैं पूछना चाहूंगा, इस "बेस मॉडल" की बुनियादी बात क्या है?
उन्होंने पहले किए गए अध्ययनों का हवाला देते हुए बताया कि यदि एक नए कार्य के लिए पर्याप्त डेटा उपलब्ध है, तो शून्य से प्रशिक्षित मॉडल भी पूर्व-प्रशिक्षित और सूक्ष्म-समायोजित आधार मॉडल के समान प्रदर्शन कर सकते हैं।
तो, एम्बॉडिड प्री-ट्रेनिंग का महत्व क्या है?
इसके लिए, Skild का उत्तर है: कॉन्टेक्स्ट लर्निंग।
एक संदर्भ बिंदु के लिए, स्किल्ड ने बड़े मॉडल के विकास के मार्ग को संदर्भ के रूप में लाया।
शुरुआती BERT पहले से ही बहुत शक्तिशाली है, लेकिन हर नए कार्य के साथ, अक्सर डेटा को फिर से तैयार करना और फिर से फाइन-ट्यून करना पड़ता है।
वास्तविक खेल बदलने वाली बात बाद में GPT-3 के बाद धीरे-धीरे सामने आई निर्देश अधिगम क्षमता थी:
मॉडल वेट्स को बदले बिना, सिर्फ प्रॉम्प्ट में कुछ उदाहरण देकर, मॉडल एक नया कार्य अस्थायी रूप से "सीख" सकता है।
इसके आधार पर, स्किल्ड का मानना है कि अभी रोबोट अभी भी BERT के समान समय में फंसे हुए हैं, और उनका वास्तविक लक्ष्य यह है कि रोबोट भी इसी प्रकार का परिवर्तन पूरा करें।
That is, the real value of pre-training should not merely be reducing the amount of data needed for post-training, but enabling the bot to ultimately gain the ability to "learn directly from context."
कॉन्टेक्स्ट लर्निंग
तो, S1 इस बार संदर्भ से क्या सीखा?
स्किल्ड का मानना है कि रोबोट की संदर्भ-आधारित सीखने की क्षमता का वास्तविक परीक्षण केवल दो आयामों से होता है:
एक यह है कि क्या वह ऐसे नए कौशल सीख सकता है जिन्हें प्रशिक्षण के दौरान कभी नहीं देखा गया हो; दूसरा यह है कि क्या वह मौजूदा कौशलों को पुनः संयोजित करके एक लंबे और बहुत जटिल नए कार्य को पूरा कर सकता है।
उदाहरण के लिए, रोबोट को बस एक पैनकेक उलटने का वीडियो देखना पड़ता है, ताकि वह पैनकेक बनाना सीख सके—
हालांकि यह कौशल पहले कभी इसके प्रशिक्षण डेटा में नहीं आया था।
इसी बीच, पिछले हफ्ते Gen-1.5 द्वारा प्रदर्शित सेकंड-स्तरीय वीडियो की तुलना में, S1 ने इस बार संदर्भ अधिगम को अधिकतम 10 मिनट तक बढ़ा दिया है।
पौधों को बर्तन बदलने जैसे कार्यों में, प्रत्येक कार्य को दर्जनों लगातार कदमों को पूरा करना होता है। इन दीर्घ अवधि के कार्यों के प्रदर्शन में, रोबोट को सिर्फ नकल करना ही नहीं, बल्कि यह भी जानना होता है:
मैं अभी किस चरण पर हूँ, अगला कदम क्या है, कौन से कौशल को कैसे जोड़ें, और अगर बीच में कुछ बिगड़ गया तो कैसे आगे बढ़ें।
That is, the robot needs to truly understand the intent of tasks and actions in the video demonstration, respond appropriately and adapt on the fly, rather than just simple behavior cloning.
इसके अलावा, पौधों को बर्तन बदलने के कार्य में, डेमो शुरू करने से लेकर रोबोट खुद काम करने लगने तक केवल 11 मिनट लगे, जिससे सीधे रूप से कार्यक्षमता के मामले में पारंपरिक अनुकूलन को पीछे छोड़ दिया गया।
अंत में, पूरी प्रक्रिया के दौरान, S1 ने फाइन-ट्यूनिंग नहीं की और न ही पोस्ट-ट्रेनिंग की, मॉडल वेट्स पूरी तरह से अपरिवर्तित रहे, और एक ही सेट के वेट्स का उपयोग करके ब्लॉग में प्रदर्शित सभी कार्य पूरे किए गए।
इसने बर्ट को विशिष्ट स्थितियों के लिए फाइन-ट्यून करने की आवश्यकता से लेकर GPT-3 जैसे मॉडल तक का अंतर समाप्त कर दिया, जो केवल उदाहरण देखकर ही OOD कार्य पूरा कर सकते हैं।
एकमात्र अंतर यह है कि प्रॉम्प्ट के रूप में भाषा का उपयोग नहीं, बल्कि निचले कार्यों के साथ बेहतर समायोजित करने वाले एक्शन वीडियो का उपयोग किया गया है।
प्रयोग: क्या ICL वास्तव में अधिक स्केल हो सकता है?
प्रयोगात्मक भाग में, स्किल्ड ने (प्रशिक्षण डेटा) में देखे गए कार्यों और अनदेखे कार्यों पर ICL वीडियो प्रॉम्प्ट और पारंपरिक भाषाई प्रॉम्प्ट VLA की तुलना की।
परीक्षण परिणामों से पता चलता है कि जब प्रशिक्षण डेटा केवल 1000 घंटे होता है, तो भाषा प्रॉम्प्ट बेहतर परिणाम देता है, जबकि डेटा स्केल बढ़ने के साथ, ICL शुरू हो जाता है।
10 लाख घंटे के बाद, ट्रेनिंग के दौरान देखे गए कार्यों पर: ICL 96%, भाषा प्रॉम्प्ट 89%।
और वास्तविक महत्वपूर्ण OOD कार्यों पर: ICL 66%, भाषा प्रॉम्प्ट केवल 9%, जिससे 7 गुना से अधिक का अंतर आ जाता है।
S1 की सामान्यीकरण की पुष्टि के लिए, Skild ने विभिन्न प्रयोगात्मक परिस्थितियों में परीक्षण किया।
परिणाम दर्शाते हैं कि भाषा Prompt VLA का प्रदर्शन, ICL की तुलना में अधिकतम तीन गुना तक गिर सकता है।
इसका मतलब है कि ICL सिर्फ निश्चित परिदृश्यों में कार्रवाइयों की पुनरावृत्ति नहीं सीखता, बल्कि वर्तमान परिवेश के अनुसार फिर से योजना बनाना सीखता है।
अंत में, वन शॉट लर्निंग के संदर्भ में।
S1 ने नए कार्य पर पोस्ट-ट्रेनिंग नहीं की, केवल एक वीडियो डेमो देखकर ही सफलता की दर 66% हासिल की।
इसके विपरीत, पारंपरिक VLA को इसी स्तर तक पहुँचने के लिए लगभग 380 बार प्रदर्शन के बाद की प्रशिक्षण की आवश्यकता होती है।
जब तक 2000 डेमो के बाद पारंपरिक पोस्ट-ट्रेनिंग को जारी रखा जाता है, तब तक यह अंततः 86% तक पहुँच सकता है।
इसलिए निष्कर्ष संभवतः "भविष्य में रोबोट को प्रशिक्षित नहीं किया जाएगा" नहीं है, बल्कि:
पहले एक नया कौशल सिखाने के लिए सैकड़ों बार पढ़ाना पड़ता था, अब बस एक बार देखकर ही आप 60-70 अंक प्राप्त कर सकते हैं।
यह स्किल्ड का कहना है कि ICL स्केलिंग नियम है:
जितना अधिक डेटा, मॉडल केवल अधिक कौशल नहीं सीखेगा, बल्कि "प्रदर्शन से कौशल सीखने" में और बेहतर होता जाएगा।
Skild AI कौन है?
Skild की स्थापना 2023 में हुई थी, जिसके पीछे CMU रोबोटिक्स समुदाय के दो पुराने लोग हैं: डीपाक पाथक और अभिनव गुप्ता।
दोनों कार्नेगी मेलन विश्वविद्यालय के रोबोटिक्स इंस्टीट्यूट के प्रोफेसर हैं, डीपाक का मुख्य अनुसंधान क्षेत्र रोबोटिक लर्निंग, रिइनफोर्समेंट लर्निंग और कंप्यूटर विजन है, जबकि अभिनव कंप्यूटर विजन और सेल्फ-सुपरवाइज्ड लर्निंग के क्षेत्र में एक विशेषज्ञ हैं।
2022 में ही दोनों ने WHIRL पर सहयोग किया था, जिसमें रोबोट्स मानव वीडियो देखकर one-shot imitation करते थे, इसलिए S1 का यह रास्ता अचानक पत्थर के दरार से निकला नहीं है।
उत्तरी अमेरिकी एम्बुडिड सर्कल की सितारा कंपनी के रूप में, 2024 में स्किल्ड ने अपने अदृश्य चरण को छोड़ते हुए 3 बिलियन डॉलर का ए-राउंड फंडिंग और 15 बिलियन डॉलर का आकलन प्राप्त किया;
इस साल जनवरी तक, 14 अरब डॉलर की C-श्रेणी की फंडिंग पूरी हुई, जिससे इसका आकलन 140 अरब डॉलर से अधिक हो गया, जिसमें SoftBank नेतृत्व किया और NVIDIA, Bezos आदि ने भी निवेश जारी रखा। दो साल से अधिक के समय में, इसका आकलन लगभग 10 गुना हो गया।
क्षैतिज तुलना के अनुसार, स्किल्ड की उत्तरी अमेरिकी एम्बुडिड कम्युनिटी में स्थिति भी काफी विशिष्ट है।
PI की तुलना में अधिक "रोबोट GPT" जैसा लगने वाला, Generalist हाल ही में one-shot learner और Genesis AI, Sunday के हालिया स्टैक-व्यापी प्रगति पर जोर दे रहा है, जबकि Skild हमेशा एक वाक्य पर जोर देता रहा है: Any robot, any task, one brain।
यह विभिन्न शरीरों, जैसे मैनिपुलेटर, क्वाड्रपेड और मानवरूपी, पर एक ही Skild Brain को चलाने पर अधिक जोर देता है।
बस इतना कहना है कि रोबोट युग का एंड्रॉइड बनना चाहते हैं: एक स्मार्ट लेयर, जिसे विभिन्न शरीरों में फिट किया जा सके।
इसलिए स्किल्ड की डेटा रणनीति यह है: सब कुछ।
Skild रोबोट डेटा को हार्डवेयर प्रॉक्सिमिटी, विविधता और स्केलेबिलिटी के तीन आयामों के रूप में देखता है:
रियल-वर्ल्ड रिमोट कंट्रोल हार्डवेयर के सबसे करीब है, लेकिन महंगा है; पहले दृश्य मानव वीडियो को स्केल करना सबसे आसान है, लेकिन रोबोट के शरीर से बहुत दूर है; सिमुलेशन सस्ता है और तेजी से बनाया जा सकता है, लेकिन sim-to-real अंतर है।
तो उन्होंने रोबोट टेलीप, UMI, एगोसेंट्रिक वीडियो, सिमुलेशन के लिए लगभग सब कुछ शामिल करने की रणनीति अपनाई है।
और S1 का ICL, वास्तव में इस रास्ते का प्राकृतिक विस्तार है:
2025 की सितंबर में LocoFormer → 2026 के फरवरी में पहली बार In-Domain ICL → मई में पहली बार फ्लिप पैनकेक → अगस्त में S1 लॉन्च, जिसने सीधे संदर्भ अधिगम को लंबे समय तक 10 मिनट के OOD लंबी दूरी के कार्यों तक ले गया।
तो अब वास्तव में ध्यान देने योग्य प्रश्न, शायद यह नहीं है कि रोबोट और अधिक कौशल सीख सकते हैं या नहीं, बल्कि:
एक रोबोट को एक नया कौशल सीखने की लागत को क्या सचमुच "सैकड़ों बार सिखाने" से "आप एक बार करें, यह एक बार देखे" में बदला जा सकता है?
अगर यह स्केलिंग नियम अभी भी लागू रहता है, तो रोबोट्स का GPT मोमेंट सिर्फ एक और मार्केटिंग जोक नहीं हो सकता।
संदर्भ लिंक: [1] https://www.skild.ai/blogs/s1
यह लेख वेचेन ग्रुप "Quantum Bit" से है, लेखक: henry