पूर्व OpenAI के कोर शोधकर्ता: मानव AI शोध को दो वर्षों के भीतर प्रतिस्थापित कर दिया जा सकता है

अरे, क्या आपने सुना है?

मानव शोधकर्ताओं के अच्छे दिन केवल दो साल बचे हैं।

दो साल बाद, मानव द्वारा AI शोध करना, आज की तरह अंतरराष्ट्रीय शतरंज खेलने जैसा होगा।

आप निश्चित रूप से अभी भी ऑर्डर दे सकते हैं, लेकिन किसी को आपके ऑर्डर के बारे में कोई फर्क नहीं पड़ता।

यह पूर्व OpenAI निष्कर्ष मॉडल नंबर वन Jerry Tworek द्वारा उठाया गया नवीनतम विवादास्पद बयान है।

उसने 2019 में OpenAI में प्रवेश किया और सात साल तक रहा। उस समय रिइनफोर्समेंट लर्निंग को स्केल करना संभव नहीं था, लेकिन उसने इसे जोर से आगे बढ़ाया, और o1 और o3 दोनों पीढ़ियों के बड़े हथियार उसने खुद नेतृत्व किया।

"हम AGI बनाना चाहते हैं।" यह 2019 में जब वह OpenAI में शामिल हुआ था, तब Ilya ने सभी कर्मचारियों की बैठक में अपनी पूरी रास्ता योजना प्रस्तुत की थी। सात साल बाद, उसने अपने आप को अलग कर लिया।

अधिक डरावनी बात यह है कि यह बात उसके अलावा किसी और की नहीं है। अभी AI शोधकर्ताओं के बीच सबसे लोकप्रिय आंतरिक मजाक ऐसा है—

हमारे पास केवल कुछ दिन बचे हैं, अभी जब तक काम करने का मौका है, उसे कर लें, फिर सब मिलकर सेवानिवृत्ति पर चले जाएँ।

लोग इसे एक काला हास्य समझकर दोहराते हैं। लेकिन हर व्यक्ति जो जोक सुनाता है, उसके मन में सब कुछ स्पष्ट होता है।

यह मजाक अधिकांशतः वास्तविकता है।

और यह तो सिर्फ एक अपेटाइज़र है। पूरी इंटरव्यू में, वह एक के बाद एक ऐसी बातें करता रहा:

एजेंट वास्तव में रचनात्मक है, लेकिन यह एक अत्यंत खराब, भारी मात्रा में जमा की गई रचनात्मकता है, जिसमें विचार विविध हैं और सामान्य रूप से बहुत खराब हैं।
एक अग्रणी मॉडल को ट्रेनिंग से लेकर डिप्लॉयमेंट तक वास्तव में संभालने वाले लोगों की संख्या शायद केवल तीस से पचास ही होगी, बाकी सभी उनकी सहायता कर रहे हैं।
यह मानना कि ट्रांसफॉर्मर उत्तम हल है, लगभग असंभव है
OpenAI में अपने सात वर्षों के दौरान, नींव की बुनियादी संरचना को बदलने की वास्तविक और गंभीर कोशिशें केवल तीन से चार बार हुईं।
दुनिया को हमारे काम करने पर ही निर्भर रहना पड़ता है, यह पूर्वधारणा ही अमान्य है

यहाँ संशोधित संस्करण है, आनंद लें।

आधा काम, अब कोई नहीं कर रहा

यह संख्या दो वर्षों की है, यह रनिंग स्कोर से नहीं और न ही कैलकुलेशन क्षमता से संबंधित है।

वह इस अध्ययन में शेष कितने कार्य मनुष्य द्वारा किए जा रहे हैं, यह गिन रहा है।

And this job was long ago split into two parts.

एक भाग सोचने का है, यह समझने के लिए कि आपको कहाँ जाना है। दूसरा भाग काम करने का है, विचारों को चलने योग्य कोड में बदलना और फिर डेटा वापस प्राप्त करना।

और काम करने वाले भाग को अब लगभग एजेंट ही संभाल रहा है।

Tworek ने इस साल अप्रैल में Core Automation नाम की कंपनी शुरू की, जिसका नारा है कि वह दुनिया का सबसे अधिक स्वचालित AI प्रयोगशाला बनाएगा।

उनके पास, एक प्रयोग का पूरा चक्र सीधे एक महीने से घटकर एक दिन हो गया। कुशलता में तीस गुना की वृद्धि!

हालांकि, इस अनुभाग के लिए सुझाव देने के लिए, एजेंट अभी तक स्वीकार नहीं कर सकता। कारण यह है कि—

They absolutely belong to the highly creative species.

लेकिन वे अत्यंत कमजोर, भारी मात्रा में बिखेरे गए तरीके से रचनात्मकता का दुरुपयोग कर रहे हैं। विचार वास्तव में विविध हैं, लेकिन विचार सामान्य रूप से बहुत खराब हैं।

दुनिया भर में केवल तीस से पचास लोग ही हैं

इसे सुनकर लगता है कि सलाह देने वाला हिस्सा अभी भी स्थिर है।

वास्तव में कोई सलाह देने वाले बचे नहीं हैं।

साक्षात्कार में होस्ट ने खुलासा किया कि एक OpenAI आंतरिक शोधकर्ता ने उसे बताया था—

दुनिया भर में वास्तव में एक अग्रणी मॉडल को कैसे ट्रेन करें और कैसे डिप्लॉय करें, इसे एंड-टू-एंड समझने वाले लोगों की संख्या केवल तीस से पचास हो सकती है।

शेष सभी इन कुछ दर्जन दिमागों की सेवा कर रहे हैं, जिसमें सबसे बड़ी कंपनी के अधिकांश स्थायी कर्मचारी भी शामिल हैं।

Tworek ने विरोध नहीं किया।

उसे भी लगता है कि कोई भी शीर्ष टीम इसी तरह काम करती है। कुछ ही लोग दिशा तय करते हैं, और उनके पीछे एक पूरी गर्जन करती हुई कार्यान्वयन मशीन खींची जाती है।

To know how in-demand these dozens of people are, just look at his own hiring list.

Core Automation के सह-संस्थापक Rohan Anil, Anthropic से, जो पहले Google DeepMind में थे।

DeepMind में Gemini पर काम करने वाले अनमोल गुलाटी को भी ले लिया गया है। यहाँ तक कि OpenAI के पूर्व मानव संसाधन प्रमुख जूलिया विलाग्रा भी वहाँ चले गए हैं।

सभी प्रयोगशालाएँ एक ही तालाब से लोगों को निकाल रही हैं। और इस तालाब में केवल कुछ दर्जन मछलियाँ ही हैं।

इसलिए यह संख्या दो वर्षों के लिए मानवता से कोई संबंध नहीं रखती।

ये दर्जनों लोग और कितने समय तक टिक पाएंगे।

सात साल, आर्किटेक्चर केवल कुछ चार या पांच बार ही गंभीरता से बदला गया है

चूंकि केवल कुछ दर्जन लोग बचे हैं, तो AI के सामने अंतिम दीवार क्या है?

ट्वोरेक का उत्तर केवल एक शब्द है, ट्रांसफॉर्मर।

उसके लिए, यह लगभग असंभव है कि यह आदर्श समाधान हो।

सबसे पहले, मॉडल को डिप्लॉय करने के बाद सीखने की अनुमति नहीं है। आप इससे कितना भी बात करें, यह मजबूत नहीं होगा, अगली बातचीत में यह वही पुराना मॉडल होगा। कॉन्टेक्स्ट विंडो भी सहन नहीं कर पाती; वह कहता है कि कोडेक्स का उपयोग करके लगभग बीस मिनट बाद उसे संपीड़ित करना पड़ता है।

दूसरा, अगर आप लगातार सूक्ष्म समायोजन के माध्यम से भरपाई करना चाहते हैं, तो आप पाएंगे कि यह न केवल अत्यंत कम दक्ष है, बल्कि भयानक भूलने की समस्या भी होती है—नया सीखने पर पुराना भूल जाता है।

इसलिए पिछले कुछ वर्षों में पूरे उद्योग द्वारा Transformer पर किए गए अधिकांश कार्य वास्तव में इसे सस्ता बनाने पर केंद्रित रहे हैं, और बहुत कम लोग इसे अधिक शक्तिशाली बनाने में लगे हैं।

लेकिन ट्वोरेक जो वास्तव में चाहता है, वह वास्तव में आर्किटेक्चर में नहीं है।

वह एक ऐसा मॉडल चाहता है जो test time पर भी सीख सके, एक ऐसा मॉडल जो उपयोगकर्ता इंटरैक्शन और उपयोगकर्ता डेटा से लगातार विकसित हो सके। आर्किटेक्चर बदलना केवल उस चीज तक पहुँचने का साधन है।

इन बातों को उद्योग में कोई भी नहीं नहीं जानता। लेकिन इतने साल बीत जाने के बाद, फिर भी Transformer क्यों स्थिर बना हुआ है?

पीछे का कारण इतना सरल है कि यह हास्यास्पद लगता है—बिल्कुल भी कोशिश नहीं की गई।

OpenAI के सात वर्षों के दौरान, नींव की बुनियादी संरचना को बदलने की वास्तविक और गंभीर कोशिशें केवल तीन से चार बार हुईं।

प्रक्रिया इस प्रकार है।

शोधकर्ता पहले एक छोटे पैमाने का प्रमाणीकरण प्रयोग लिखता है, और कम से कम तीन महीने तक चलाता है। केवल तभी वह परिणामों को अच्छा मानकर इसे बढ़ाता है।

और जिसे बढ़ावा देना कहा जाता है, वह यह है कि आपको लगभग दस ऐसे लोगों को, जिनके पास जीवन-मरण का अधिकार है, अपनी बात समझानी होगी, और फिर ये दस लोग अपने तीन से छह महीने आपके इस अनंत गड्ढे में लगा देंगे।

या तो ट्रांसफॉर्मर द्वारा पहले से ही बर्फ की गेंद के रूप में बन चुके उस गतिज ऊर्जा से चिकना दिया जाएगा, या आंशिक रूप से अवशोषित कर लिया जाएगा और इसका एक स्क्रू बन जाएगा।

सात साल, तीन या चार बार। यही दुनिया के सबसे शक्तिशाली AI प्रयोगशाला की आर्किटेक्चर इनोवेशन पर कुल क्षमता है।

"जारे, इन कैलकुलेशन शक्तियों को जला दो"

उसने खुद OpenAI में एक बार बिल्कुल वही अटकाव अनुभव किया था। और इसे खोलने वाली एक वाक्यांश थी।

उस समय उन आधे मरे हुए प्रयोगों ने कुछ «जीवन के संकेत» दिखाए। यह अच्छा नहीं था, लेकिन कम से कम एक शुरुआत हुई।

इसी बिंदु पर, बाद में OpenAI के मुख्य वैज्ञानिक बने जाकुब पैचोकी ने उनसे संपर्क किया।

"जारे, ये सारे GPU तुम्हें मिल गए, देखो कि क्या तुम अपने परिणामों को और बड़ा और ज्यादा तीव्र बना सकते हो।"

अब आपके पास ये GPU हैं।" जब उसने यह वाक्य दोहराया, तब o1 का कोई नाम नहीं था

इस वाक्य ने उसे एक विरोधाभास से बाहर निकाल दिया—

आपको पहले परिणाम देना होगा, तभी आपको कैलकुलेशन पावर के लिए योग्य होगा।
But you must first have that computing power to get the result.

ट्वोरेक कहते हैं कि अधिकांश अग्रणी दिशाएँ इस विरोधाभास में फंसी हुई हैं। प्रयोगशाला में गणना शक्ति के लिए लड़ी जा रही गुप्त लड़ाइयाँ, अंततः एक बाहर का रास्ता ढूंढने की कोशिश हैं।

और निर्यात, कभी-कभी नेतृत्व के एक छोटे से हिस्से से होता है Click Confidence.

जब तक कोई ऊपर से कहे कि मुझे आशा है कि आपके पास एक अच्छी कैपेसिटी की कोटा होगी जिससे आप इसे जोर से कर सकें। यही काफी है।

जब दरवाजा खुल जाता है, तो बाद में रोका नहीं जा सकता।

Reinforcement learning has crossed several orders of magnitude from this node.

फिर o1 का बाहर आना, जिस रास्ते को असंख्य लोगों ने मृत्युदंड दे दिया था, उसे उसने जीवित कर दिया।

One hundred thousand dollars, worth an expert

और इस बार, उसे किसी के बोलने का इंतजार नहीं करना पड़ रहा है।

सभी चेन पर सबसे अधिक पैसा खर्च होने वाला चरण, अमूर्त विचारों को वास्तविक रूप से चलने वाले कोड में बदलना है। और यही वह काम है जो आज के Agent सबसे अच्छे से कर रहे हैं।

उदाहरण के लिए, कोर ऑटोमेशन ने इस रणनीति का उपयोग GPU कोर को हल करने के लिए किया था।

विशेष रूप से, उन्होंने एक QR विघटन कोर को प्रोग्रामिंग एजेंट को चलाने के लिए दिया, जिसने चार सप्ताह तक लगभग दस लाख डॉलर की कॉल लागत खर्च की और अंततः इस कोर की गति को मूल से छिहत्तर गुना तक बढ़ा दिया।

यह कार्य निम्न स्तरीय प्रदर्शन इंजीनियरिंग का हिस्सा है, जिसमें एक मैट्रिक्स गणना को जीपीयू पर कैसे तेज़ी से चलाया जाए, इस पर निर्भर करता है, और आमतौर पर इसके लिए कुछ ही विशेषज्ञ एक-एक करके कोड में हाथ से समायोजन करते हैं।

ऐसे विशेषज्ञ दुनिया भर में कुछ ही हैं।

अब दस लाख डॉलर की जगह एक ही चीज़ ले सकते हैं। इसे बहलाने की जरूरत नहीं है, और तीन से छह महीने का इंतजार भी नहीं करना पड़ता।

सात साल तक अटकी वह बाधा, अब इस तरह टूट गई।

उसके बाद हम क्या कर सकते हैं?

जब सबसे कठिन ढांचा भी ढीला पड़ गया, तो दर्जनों लोगों के हाथों में स्टीयरिंग व्हील जल्द ही नहीं रह पाएगा।

अंत में, होस्ट ने इस बात को स्पष्ट करते हुए पूछा कि जब यह दिन आ जाएगा, तो इंसान के पास क्या करने को बचेगा।

इसके लिए, ट्वोरेक ने दो चित्रों का वर्णन किया।

पहली तस्वीर प्राचीन यूनान की है।

लोग चौक पर इकट्ठे होते हैं, पूरा दिन धीरे-धीरे दर्शन पर बात करते हैं, फिर व्यायाम करने जाते हैं, जैतून खाते हैं और शराब पीते हैं।

उसने खुद को बनाते ही हंस दिया और स्वीकार कर लिया कि यह शायद केवल उसकी अपनी इच्छाओं का प्रक्षेपण था।

"हम चौक पर मिलते हैं, फिर बात करते हैं।" उसने AGI के बाद के मानव दैनिक जीवन का वर्णन किया, और खुद हंस पड़ा

दूसरी चित्र उच्च विद्यालय, या विश्वविद्यालय है।

उसे लगता है कि लोगों को 'उत्कृष्टता' के प्रति अपनी भावना बनाए रखनी चाहिए। नए चीजों को लालच से सीखते रहें, और अपने शरीर और मस्तिष्क को मार डालें।

यह थोड़ा व्यावसायिक खेल की तरह है, जहाँ कोई आर्थिक कारण नहीं है कि आपको पसीना और खून बहाना ही पड़े, लेकिन मनुष्य के अंदर की गर्व की भावना वहाँ जाने के लिए मजबूर करती है जहाँ 'महानता' का नाम है।

हमें इस काम को करने के लिए विभिन्न तरीके ढूंढने होंगे।

क्योंकि अगली दुनिया में, ऐसी कोई बात नहीं होगी जिसमें "अगर तुम यह नहीं करोगे, तो यह दुनिया ढह जाएगी"। दुनिया हमारे द्वारा पहले ही बनाए गए बुनियादी ढांचे पर आगे बढ़ती रहेगी।

"हमें हमेशा सीखते रहना चाहिए।" उसने इसे एक मनोरंजन की बजाय एक कर्तव्य की तरह बयान किया।

फिर उसने शांति से अपनी कार्ड उजागर कर दी।

हमें काम करना होगा, तभी यह दुनिया चल सकती है। यह धारणा, बिल्कुल भी आवश्यक नहीं है।

"बहुत से लोगों की आत्म-मूल्य उनके काम से आती है।" उन्होंने स्वीकार किया कि यह सबसे कठिन बाधा है, जिसे पार करना है, जिसमें उनके लिए भी शामिल है।

वह खुद इस सूची में है

To be honest, after listening to the whole thing, what was most unsettling wasn't the two years.

वह खुद भी जानता है कि वह इस गिनती को तेज कर रहा है।

वह जिस चीज़ को बनाना चाहता है, उसकी परिभाषा यह है कि वह खुद सीख सके, खुद मजबूत हो सके, और किसी को बगैर पास बैठाए खिलाने की जरूरत न पड़े। जब यह बन जाएगा, तो उन पचास लोगों की नौकरियाँ और तेज़ी से गायब हो जाएँगी।

और उसके पास एक और भी कठोर बात है, जिसमें पहला दंड उसी को मिलेगा।

अगर आप सबसे भयानक कैलकुलेशन क्षमता और सबसे बड़े लैब के बराबर नहीं हैं, तो आपका बहुत बुरा अंत होगा।

इस बात को कहते समय, कोर ऑटोमेशन केवल चार महीने पुराना था और इसकी बही में आय शून्य थी।

उसने कहा कि उसके उद्यम शुरू होने के बाद से, लगभग हर हफ्ते कोई न कोई आता और कहता, "जारे, बहुत देर हो चुकी है, वह आकाश को छूने वाली सीढ़ी पहले ही ऊपर खींच ली गई है।"

उसकी प्रतिक्रिया केवल अपना एक वाक्यांश थी।

हमारी कंपनी के लोग सबसे ज्यादा कहते हैं, कि सब कुछ skill issue है।

अंत में विफलता का दोष बाहरी परिस्थितियों पर मत डालो, अपनी कमजोर तकनीक पर दोष डालो।

आप बात न करें, यह वाक्य इस साक्षात्कार में वास्तव में थोड़ा ऐसा लगता है।

फिर से शुरुआती वाक्य पर नज़र डालें।

हमारे पास केवल कुछ दिन बचे हैं, अभी जब तक काम करने का मौका है, उसे फायदा उठाएं।

उस अंदाज़ में वास्तव में उत्साह है या दुःख? हम इसे नहीं जान सकते।

क्योंकि इस बात को कहने वाले के लिए, वे दोनों भावनाएँ मूल रूप से एक ही बात हैं।

Tworek ने कहा कि इस पंक्ति का ताल बहुत थका देता है, इतने सालों तक काम करने के बाद, यह वास्तव में बहुत बहुत थकान देता है।