Thinking Machines ने Inkling-Small ओपन सोर्स मॉडल जारी किया है, जिसमें कुल 2760 अरब पैरामीटर और 120 अरब सक्रिय पैरामीटर हैं, जो MoE आर्किटेक्चर और नेटिव मल्टीमॉडल डिज़ाइन का उपयोग करता है। यह मॉडल केवल एक-चौथाई साइज़ के साथ मैथमेटिक्स, रीजनिंग और एजेंट कोडिंग जैसे बेंचमार्क पर पहली पीढ़ी के Inkling को पार कर गया है। इस प्रदर्शन को डिस्टिलेशन और दो सप्ताह के रिइनफोर्समेंट लर्निंग प्रशिक्षण के माध्यम से प्राप्त किया गया है, जिससे रीजनिंग की सीमा काफी कम हो गई है और मध्यम टीमें मॉडल कस्टमाइज़ करने में सक्षम हो गई हैं। हालाँकि छह संस्थापकों में से चार चले गए हैं, टीम अस्थिरता के बावजूद उच्च आवृत्ति पर प्रकाशन जारी रख रही है।लेखक, स्रोत: 36Kr
Thinking Machines ने प्रारंभिक मॉडल को पीछे छोड़ते हुए ओपन सोर्स मॉडल Inkling-Small जारी किया
Inkling के पहले मॉडल के लॉन्च के बाद, नया AI फिर से सोशल मीडिया पर वायरल हो गया!
आज, Thinking Machines ने अपना दूसरा प्रमुख मॉडल — Inkling-Small का आधिकारिक रूप से लॉन्च किया।
276B कुल पैरामीटर, 12B सक्रिय पैरामीटर, नेटिव मल्टीमॉडल, 100 लाख टोकन कंटेक्स्ट
पिछले दो हफ्तों से, पहला ओपन-सोर्स 975B Inkling लॉन्च हुआ, जिसने AI दुनिया में बड़ा धमाका किया।
Inkling-Small ने केवल एक चौथाई मात्रा का उपयोग करके सीधे "ट्रिलियन बड़े भाई" की प्रदर्शन क्षमता को पार कर लिया।
ARC-AGI-2 पर, Inkling-Small ने ओपन सोर्स SOTA को अपडेट किया
इन दिनों Thinking Machines के बारे में देखने पर, कहानी बेहद रोमांचक रही।
लियांगचुआंग वें ली ने केवल दो दिन पहले अपनी निकासी की घोषणा की, और अब OpenAI ने उनकी वापसी की पुष्टि कर दी है — 'रिकर्सिव सेल्फ-इम्प्रूवमेंट' (RSI) पर काम करने के लिए।
तीसरे दिन, जिस कंपनी को एक महत्वपूर्ण टीम सदस्य का नुकसान हुआ था, उसने तुरंत नए मॉडल के "फुल वेट्स" को जारी कर दिया।
नया Inkling-Small लॉन्च, 276B ट्रिलियन को हराता है
ऑफिशियल ब्लॉग में, Inkling-Small एक MoE आर्किटेक्चर का मॉडल है, जिसकी कुल पैरामीटर संख्या 2760 अरब है और प्रत्येक इन्फरेंस के दौरान 120 अरब पैरामीटर सक्रिय होते हैं।
पहली पीढ़ी के Inkling की तुलना में, आकार सीधे चौथाई में संकुचित हो गया।
जैसा कि PyTorch के महान विशेषज्ञ होरेस ही ने कहा, "Inkling-Small के लिए पूरे गाँव की मदद की आवश्यकता नहीं है, बस पिछली पीढ़ी की तकनीक का ही उपयोग करें।"
सबसे अधिक असली बात यह है कि जबकि आकार छोटा हो गया है, समग्र क्षमता में उल्लेखनीय वृद्धि हुई है।
गणित, तर्क, एजेंट कोडिंग और मल्टीमॉडल बेंचमार्क में, Inkling-Small Inkling और DeepSeek V4 Flash के बराबर या उससे बेहतर है।
HLE, Terminal-Bench, IFBench इन तीन मुख्य सूचकांकों पर — Inkling-Small प्रति FLOP का प्रदर्शन Inkling से अधिक है।
देखा जा सकता है कि Inkling-Small का वक्र पूरी तरह Inkling के नीचे रहा है।
मल्टीमॉडल ओर भी लगभग पीछे नहीं रहा, चार्ट समझ, दृश्य तर्क, ध्वनि समझ, लंबे ऑडियो तर्क, Inkling-Small मूल संस्करण के "करीब" है, लेकिन इसकी कीमत काफी कम है।
अन्य परीक्षण परिणाम निम्नलिखित हैं:
एक मॉडल जिसका आकार केवल एक चौथाई है, उसने अपने बड़े भाई को रीजनिंग और एजेंट कार्यों में जमीन पर दबा दिया।
Post-training details, fully disclosed
कैसे करें, इसके लिए आधिकारिक तौर पर विधि को बहुत विस्तार से लिखा गया है, मुख्य बात दो कदम हैं।
इंकलिंग-स्मॉल की ट्रेनिंग इंकलिंग की तुलना में देर से शुरू हुई, इसलिए उसने पिछले चरण में उठाए गए सभी खाई में कूद लिए—
प्री-ट्रेनिंग डेटा अनुपात बदल दिया गया है, मशीन लर्निंग रेसिपी को फिर से बेहतर बनाया गया है।
अधिक महत्वपूर्ण बात यह है कि दो कदमों की आवश्यकता है।
पहला कदम, Inkling का उपयोग करके on-policy डिस्टिलेशन करें, एक प्रीव्यू चेकपॉइंट बनाएं।
दूसरा कदम, इस चेकपॉइंट से शुरू होकर पूरे दो हफ्ते तक एजेंट कोडिंग के लिए रीइनफोर्समेंट लर्निंग चलाई गई। इससे "छात्र ने शिक्षक को पार कर दिया" का परिणाम मिला।
केवल दो हफ्तों में, उन्होंने अंतर को पूरा कर लिया और आगे निकल गए।
इसका अर्थ है कि Thinking Machines ने एक ऐसी उत्पादन लाइन सीधे चला ली है जो बार-बार मॉडल उत्पन्न कर सकती है। पहला मॉडल एक कृति है, दूसरा मॉडल उत्पादन क्षमता का प्रमाण है।
120 अरब सक्रियण, वास्तविक जलविभाजक है
अधिकांश डेवलपर्स के लिए, वास्तविक चिंता यह है कि क्या वे इसे उपयोग कर सकते हैं?
Original Inkling की सीमा बहुत अधिक है, BF16 चेकपॉइंट के लिए न्यूनतम आवश्यकता 2TB संग्रहीत वीडियो मेमोरी है—
उदाहरण के लिए, 8 B300 या 16 H200; यहां तक कि NVFP4 क्वांटाइज्ड संस्करण पर भी, 600GB से शुरू होता है।
Inkling-Small ने इस बाधा को पूरी तरह से काफी नीचे खींच लिया।
LMSYS का कहना है: 276B कुल पैरामीटर्स के साथ 12B एक्टिवेटेड, रिइनफोर्समेंट लर्निंग के लिए आदर्श बिंदु है, जहाँ LoRA और फुल-पैरामीटर ट्रेनिंग दोनों "पहुँचने योग्य" हो जाते हैं।
पहले केवल बड़ी कंपनियाँ ही मॉडल कस्टमाइज़ कर सकती थीं, अब एक मध्यम आकार की टीम के पास भी इसे अपना खुद का बनाने का मौका है।
वास्तविक परीक्षण दर्शाता है कि 8 B200, TP8, NVFP4, batch size 1 के एक ही वातावरण में, SGLang के साथ Inkling-Small चलाने पर, DSpar को चालू करने से 648 tok/s की डिकोडिंग दर प्राप्त होती है, और बिना चालू किए 288 tok/s।
छह संस्थापकों में से चार चले गए, मॉडल तेजी से आगे बढ़ रहा है
पिछले फरवरी में, थिंकिंग मशीन्स ने एक 'OpenAI की सपनों की टीम' के छह सदस्यों की सूची के साथ शानदार शुरुआत की:
मिरा मुराती, जॉन शुलमैन, बैरेट जोफ, वें ली, एंड्रयू टुलोच, लूक मेट्ज।
उस समय, उन्होंने 20 बिलियन डॉलर की बीज फंडिंग और 120 बिलियन डॉलर के मूल्यांकन का अद्भुत स्क्रिप्ट अपनाया।
कौन सोच सकता था कि इस साल जनवरी में 50 अरब डॉलर के आकलन के साथ फंडिंग की यह लहर अंततः असफल हो जाएगी, जो मोड़ की शुरुआत बन गई।
अब, सिर्फ मुराती और शुलमैन ही छह सदस्यीय टीम में बचे हैं।
अधिक दिलचस्प बात यह है कि चारों में से दो, ज़ोफ और मेट्ज़, बाद में OpenAI में वापस आ गए, और अब वेंग ली तीसरे हैं।
एक कंपनी जिसे OpenAI के "विद्रोही" ने बनाया, लेकिन मुख्य टीम अंततः OpenAI के गुरुत्वाकर्षण क्षेत्र से बच नहीं पाई।
लेकिन वास्तविक रूप से नाटकीय बात यह है कि टीम अस्थिरता के समय कैसे प्रतिक्रिया करती है।
15 जुलाई को, 17 महीनों के शांत रहने के बाद, Thinking Machines ने अपना पहला बड़ा मॉडल Inkling पेश किया।
दो हफ्ते से कम समय में, वें ली ने अपना पद छोड़ दिया; केवल तीन दिन बाद, दूसरा पूर्ण वजन वाला ओपन-सोर्स मॉडल लॉन्च हो गया।
प्रतिभाएँ तेजी से भाग रही हैं, मॉडल तेजी से आगे बढ़ रहे हैं।
ये दो विपरीत वक्र, AI उद्योग की सबसे प्रतिनिधित्वपूर्ण झलक बन गए।
शायद यही ASI तक का एकमात्र मार्ग है: चाहे जितने भी लोग बच जाएँ, मशीन का पहिया बस और तेज़ घूमता जाएगा।
Thinking Machines ने Inkling-Small ओपन सोर्स मॉडल जारी किया है, जिसमें कुल 2760 अरब पैरामीटर और 120 अरब सक्रिय पैरामीटर हैं, जो MoE आर्किटेक्चर और नेटिव मल्टीमॉडल डिज़ाइन का उपयोग करता है। यह मॉडल केवल एक-चौथाई साइज़ के साथ मैथमेटिक्स, रीजनिंग और एजेंट कोडिंग जैसे बेंचमार्क पर पहली पीढ़ी के Inkling को पार कर गया है। इस प्रदर्शन को डिस्टिलेशन और दो सप्ताह के रिइनफोर्समेंट लर्निंग प्रशिक्षण के माध्यम से प्राप्त किया गया है, जिससे रीजनिंग की सीमा काफी कम हो गई है और मध्यम टीमें मॉडल कस्टमाइज़ करने में सक्षम हो गई हैं। हालाँकि छह संस्थापकों में से चार चले गए हैं, टीम अस्थिरता के बावजूद उच्च आवृत्ति पर प्रकाशन जारी रख रही है।स्रोत: नई बुद्धि