जनवरी 2025 में, एक क्षण के लिए, ओपन-वेट AI मॉडल्स ने अपने क्लोज्ड-सोर्स प्रतिद्वंद्वियों के साथ बराबरी कर ली। एरेना के लोक-संग्रहित लीडरबोर्ड पर एलो रेटिंग अंतर शून्य हो गया। समानता।
वह क्षण खत्म हो चुका है। सितंबर 2026 तक, सर्वश्रेष्ठ बंद सीमांत मॉडल और उनके शीर्ष खुले वजन वाले प्रतिद्वंद्वी के बीच का अंतर, एरेना AI के मूल्यांकन डेटा के अनुसार, 29 एलो पॉइंट्स तक पहुँच गया है। क्लॉड ओपस 5 मैक्स का रेटिंग 1505 है, जबकि मूनशॉट AI का किमी K3 मैक्स, सबसे मजबूत खुले वजन वाला प्रतिद्वंद्वी, लगभग 30 पॉइंट्स पीछे है। पीटर गोस्टेव, एरेना के AI क्षमता नेता, इस अंतर को ट्रैक करने और दृश्यमान बनाने के केंद्र में रहे हैं।
संख्याएँ वास्तव में क्या दर्शाती हैं
ट्रैजेक्टरी किसी भी एकल स्नैपशॉट से अधिक दिलचस्प कहानी बताती है। जनवरी 2025 में शून्य से लेकर सितंबर 2026 में 29 बिंदुओं तक, ट्रेंड लाइन ओपन-वेट समर्थकों के लिए गलत दिशा में बढ़ रही है। एपोक AI का विश्लेषण इस चित्र को एक अलग कोण से मजबूत करता है: ओपन-वेट मॉडल अब सबसे चुनौतीपूर्ण कार्यों पर अपने बंद समकक्षों से लगभग चार महीने पीछे हैं। यह लगभग तीन महीने का अंतर है, जो 2025 के अंत तक देखा गया था।
एरेना प्रति महीने 10 मिलियन से अधिक मूल्यांकन करता है, जो नकली बेंचमार्क के बजाय वास्तविक उपयोगकर्ता इंटरैक्शन के विशाल समूह पर आधारित है। जब लाखों अज्ञात उपयोगकर्ता एक मॉडल के आउटपुट को दूसरे की तुलना में लगातार पसंद करते हैं, तो यह संकेत नज़रअंदाज़ करना मुश्किल हो जाता है।
एआई को मापने का व्यवसाय
एरीना खुद एक दिलचस्प व्यावसायिक कहानी बन गया है। 2023 में यूसी बर्कले के अनुसंधान प्रोजेक्ट के रूप में शुरू हुआ यह अब एक ऐसा उद्यम बन गया है जो वार्षिक $100 मिलियन की आय कमा रहा है। इसने पेड मूल्यांकन सेवाएं लॉन्च करने के केवल आठ महीनों में इस आय की दर हासिल कर ली।
गोस्टेव का विशिष्ट योगदान मॉडल की कमजोरियों को स्पष्ट करने पर केंद्रित रहा है। उनका कार्य मॉडल के प्रदर्शन में उस तनाव को उजागर करता है जो डोमेन विशेषज्ञों द्वारा मूल्यांकन किए जाने पर और सामान्य उपयोगकर्ताओं द्वारा मूल्यांकन किए जाने पर उत्पन्न होता है, जो उद्यम लागूकरण के लिए अत्यंत महत्वपूर्ण है।
खुले मॉडल्स की भूराजनीति
सबसे अधिक सक्रिय ओपन-वेट मॉडल विकास भारतीय लैब्स की ओर भारी रूप से विस्थापित हो गया है। मूनशॉट AI की किमी श्रृंखला, ज़िपु का GLM, डीपसीक और अलीबाबा का Qwen सार्वजनिक रूप से उपलब्ध चीजों की सीमा का प्रतिनिधित्व करते हैं। हालाँकि, अंतर बना हुआ है। एंथ्रोपिक, ओपनएआई और गूगल डीपमाइंड अपने बंद मॉडल्स को आगे और तेज़ी से आगे बढ़ाते रहते हैं।