ओपनएआई शोधकर्ता का दावा है कि शीर्ष एआई प्रयोगशालाएँ अब पेपर नहीं पढ़तीं

क्या फ्रंटियर लैब के लोग अब पेपर नहीं पढ़ते?

एक ओपनएआई शोधकर्ता ने तीन प्रमुख कॉन्फ्रेंसेस पर एक ही टिप्पणी की: बहुत सारे अतिशयोक्तिपूर्ण और झूठे दावे!

कारण एक ऐसी ICLR पेपर थी, जिसका प्रभाव इतना अच्छा था कि इसे समझना मुश्किल था, लेकिन ऑनलाइन उपयोगकर्ताओं ने इसकी "चाल" की जांच की।

क्या टॉप कॉन्फ्रेंस में पेपर प्रकाशित करना इतना विकसित हो गया है?

पहले यह देखें कि कोड ओपन सोर्स है या नहीं, फिर प्रयोगात्मक विधि में कोई "अवैध तरीके" छिपे हुए हैं या नहीं, और तीसरे क्रम में यह जांचें कि प्राप्त परिणाम क्या मूल निष्कर्ष का समर्थन करते हैं—इन स्तरों की जांच के बाद, टॉप कॉन्फ्रेंस पेपर्स में से कितने परीक्षण के लिए तैयार हैं?

कुछ लोगों ने वास्तव में ऐसा किया।

इस साल जुलाई में, चिकागो विश्वविद्यालय के कंप्यूटर विज्ञान और डेटा विज्ञान के सहायक प्रोफेसर तान चेनहाओ द्वारा सह-स्थापित SAI ने एक बड़े पैमाने पर "प्रयोगात्मक समीक्षा" की घोषणा की।

उनके द्वारा चुने गए, ICML 2026 की सभी 168 मौखिक पेपर्स हैं।

इस वर्ष ICML में 23,918 अनुरोध प्राप्त हुए, जिनमें से केवल 168 को ही Oral का दर्जा प्राप्त हुआ, जो लगभग 0.7% है।

दूसरे शब्दों में, SAI ने 20,000 से अधिक सबमिशन में से सबसे शीर्ष को चुना है।

SAI Review केवल पेपर को पढ़ने, प्रयोग डिजाइन और परिणामों की जांच करने के अलावा, कोड, मॉडल और डेटा डाउनलोड करता है, वातावरण कॉन्फ़िगर करता है और प्रयोग चलाता है, और अंत में चलाए गए परिणामों की तुलना पेपर के मूल पाठ के साथ करता है।

SAI ने सभी 168 ओरल प्रस्तुतियों की समीक्षा की, जिनमें से केवल 104 पेपर्स के कोड ओपन सोर्स थे, और अंततः 105 पूर्ण पुनरुत्पादन पूरे किए गए।

इनमें से केवल 34 अध्ययनों ने 40% से अधिक दावों की पुनर्प्राप्ति की; 80% से अधिक पुनर्प्राप्ति वाले केवल 8 अध्ययन शेष रह गए।

चाहे प्रत्येक पेपर में कम से कम 1, 3 या 5 वैधीकरण योग्य दावे हों, पुनर्निर्माण स्कोर की माध्यिका हमेशा 28%–30% के बीच रही है और समग्र वितरण में कोई बड़ा बदलाव नहीं हुआ है।

अनुकूलन नहीं किए गए, पहले ही बंद किए गए या हार्डवेयर क्षमता से अधिक के प्रयोगों को हटाने के बाद, पुनर्उत्पादन स्कोर की माध्यिका अभी भी केवल 42%–50% है; जब प्रत्येक शोध पत्र में कम से कम 3 जांचने योग्य दावे होते हैं, तो माध्यिका 42% पर स्थिर हो जाती है।

सबसे आम समस्याएँ जो पुनरुत्पादन में आती हैं: कोड चल नहीं पाता, फाइलें गायब हैं, निर्देश अपूर्ण हैं, निर्भरताएँ क्षतिग्रस्त हैं, या कोड द्वारा प्राप्त परिणाम पेपर के साथ मेल नहीं खाते।

चार अन्य पेपर्स पहले से बंद मॉडल्स पर निर्भर करते हैं। भविष्य के शोधकर्ता चाहे कितना भी पैसा या समय खर्च करें, उनके द्वारा समान परिणाम प्राप्त करना संभव नहीं होगा।

SAI ने दो और विशिष्ट उदाहरण भी दिए।

एक पेपर ने "केवल बेस मॉडल के 0.77% पैरामीटर्स को ट्रेन करना" को मुख्य बिक्री बिंदु के रूप में लिखा, जबकि वास्तविक रूप से जारी चेकपॉइंट में 6.31% पैरामीटर्स को ट्रेन किया गया था, जो दावा किए गए अंक के लगभग 8 गुना है।

एक अन्य पेपर में एक विश्वसनीयता तालिका दी गई है जिसे एक क्रिकेट मॉडल द्वारा स्कोर किया गया है, लेकिन ओपन-सोर्स कोड में इस क्रिकेट मॉडल को नहीं मिलता है, और तालिका में संख्याओं की गणना के लिए कोई स्क्रिप्ट भी नहीं है।

SAI के पुनरुत्पादन परिणाम काफी खराब हैं।

अधिक खराब बात यह है कि यहाँ पाए गए समस्याएँ केवल "शर्तों के अधीन पाई जा सकने वाली" समस्याएँ हैं।

जिन पत्रों में कोड नहीं है, वे सीधे ही 'अजेय' होते हैं।

और भले ही कोड पूरी तरह से खुला हो, एक शोध पत्र की पुष्टि करने में लगने वाला समय, ऊर्जा और धन विशाल होता है, और अंतिम परिणाम उम्मीद के अनुसार नहीं होता, जिससे कितना निराश होना पड़ता है।

SAI द्वारा Google Cloud के पब्लिक ऑन-डिमांड प्राइसिंग के आधार पर किए गए अनुमान के अनुसार, एक ICML Oral पेपर को पूरी तरह से दोहराने की लागत का माध्यमिक मूल्य लगभग 8,900 डॉलर है। 105 पेपर्स में से, 17 पेपर्स की लागत 10 लाख डॉलर से अधिक है, और सबसे महंगा पेपर लगभग 220 लाख डॉलर का है।

जितना अधिक शोध पत्र बड़े पैमाने की कैलकुलेशन पावर पर निर्भर करता है, उतना ही स्वतंत्र रूप से पुनर्निर्माण करना कठिन होता है।

बिना कोड के, कोई भी जांच नहीं कर सकता; कोड होने पर भी, शायद कोई इस लागत को वहन नहीं कर सके।

इसलिए, एक ऐसा शोध पत्र जिसमें समस्याएँ हों, पूरी तरह से समीक्षा से गुजर सकता है, संदर्भित किया जा सकता है, और फिर अपने रिज्यूमे में शामिल किया जा सकता है, जिससे प्रवेश, शिक्षक की नौकरी या बड़े प्रयोगशाला के अवसर प्राप्त हो सकते हैं।

कभी-कभी किसी को पता चलता है कि परिणाम मेल नहीं खाते, मीटिंग्स भी कम ही पुनर्विचार करती हैं, और पेपर को वापस नहीं भी ले लिया जाता है।

यही टिप्पणी अनुभाग में कहा जा रहा है कि "खराब शोध करने से लाभ मिलता है, लेकिन लगभग कोई लागत नहीं होती।"

बड़े मॉडल क्षेत्र में, वास्तव में कई वास्तविक रूप से महत्वपूर्ण प्रगतियाँ अब पेपर के रूप में नहीं आ रही हैं।

OpenAI के इंजीनियर के रूप में, उद्योग के अग्रभाग पर खड़े होकर, ऐसा महसूस करना समझना आसान है। अंततः अधिक गणना क्षमता, तेज़ प्रयोग प्रतिक्रिया और बहुत सारे गैर-सार्वजनिक आंतरिक परिणाम होने के कारण, "पेपर न पढ़ने" का आत्मविश्वास होता है।

लेकिन इसे इस तरह कहना कुछ हद तक सूक्ष्म है।

एक टिप्पणी ने टेक कंपनियों के लोगों के इस व्यवहार को “उतरने के बाद सीढ़ियाँ हटा देना” कहा: वे विश्वविद्यालयों से शोधकर्ताओं को निकाल लेते हैं, शैक्षणिक समुदाय द्वारा खुले तरीके से इकट्ठा किए गए परिणामों पर आधारित होते हैं, अधिक महंगे मूल्य पर लोगों और GPU को ले जाते हैं, खुद कम से कम समकक्ष समीक्षा करते हैं, और अंत में शैक्षणिक शोध को “मुख्यतः धोखा” घोषित कर देते हैं।

थोड़ा कठोर, लेकिन वास्तव में सही है।

इन अग्रणी प्रयोगशालाओं के लोग "पेपर नहीं पढ़ सकते", लेकिन प्रवेश करने वालों को पहले पेपर भेजना होगा।

उद्योग के अनुभव विहीन छात्रों और युवा शोधकर्ताओं के लिए, शीर्ष सम्मेलन पेपर अभी भी शोध क्षमता को साबित करने का सबसे सीधा साधन है।

डॉक्टरेट के लिए आवेदन करने, शिक्षण की नौकरी ढूंढने या OpenAI जैसे अग्रणी प्रयोगशालाओं में शामिल होने के लिए शोध पत्रों के माध्यम से ध्यान आकर्षित करना आवश्यक है।

उद्योग के लोग बड़े प्रयोगशालाओं में प्रवेश करने के बाद पेपर को हल्के में लेते हैं, लेकिन फिर भी बाहर खड़े लोगों को चुनने के लिए पेपर की संख्या, सम्मेलन के स्तर और उद्धरण के परिणामों का उपयोग करते हैं।

इस प्रकार, शोध पत्र एक अजीब स्थिति में फंस जाता है: इसकी ज्ञान प्रसार में विश्वसनीयता पर सवाल उठाए जाते हैं, लेकिन प्रतिस्पर्धी पात्रता में इसका मूल्य पूरी तरह से नहीं गया है।

इसलिए, "बड़ा प्रयोगशाला अब पेपर नहीं पढ़ता" थोड़ा अहंकारी और ऊँचा लगता है। क्योंकि वास्तव में पेपर नहीं पढ़ने का अधिकार रखने वाले लोग, अक्सर पेपर के माध्यम से उस सीमा को पार कर चुके होते हैं।

Of course, not all students are meticulously crafted academic villains.

एक उच्च शिक्षा संस्थान के शोधकर्ता ने मजाक में कहा कि वह चाहते हैं कि उनके छात्र पहले से ही अतिशयोक्तिपूर्ण या झूठी पेपर लिखने की क्षमता रखते हों।

कुछ लोग "शैक्षणिक धोखेबाज़ बनने के लिए प्रतिस्पर्धा कर रहे हैं", जबकि कुछ लोग लेटेक्स में फंसे हुए हैं।

रेफरेंस लिंक:

https://x.com/MathewShen42/status/2084465434506768867

https://x.com/kellerjordan0/status/2084721463089902074

https://sai.science/blog/how-much-science-is-verifiable

https://x.com/mengyer/status/2085134204786921886

यह लेख वेचेन ग्रुप "मशीन इंटेलिजेंस" (ID: almosthuman2014) से आया है, लेखक: मशीन इंटेलिजेंस