शीर्ष AI मॉडल्स रियल-वर्ल्ड टास्क बेंचमार्क GDPx में 12% से कम स्कोर करते हैं

SemiAnalysis ने 14 पेशेवर डेटा और रिइनफोर्समेंट लर्निंग एनवायरनमेंट कंपनियों के साथ GDPx लॉन्च किया, जिसमें AI एजेंट की वास्तविक कार्यक्षमता का परीक्षण 11 उच्च मूल्यवान क्षेत्रों—जैसे चिप डिज़ाइन, साइबर सुरक्षा, जीवविज्ञान, वित्त, कानून, क्वांट ट्रेडिंग, सामग्री विज्ञान और सॉफ्टवेयर इंजीनियरिंग—में 206 लंबे समय तक चलने वाले कार्यों के माध्यम से किया गया। GDPx, मॉडल को केवल एक प्रॉम्प्ट के आधार पर रिपोर्ट बनाने के बजाय, वास्तविक कार्यपर्यावरण में प्रवेश करने की मांग करता है: हजारों M&A दस्तावेज़ों की जाँच करना, पेशेवर इंजीनियरिंग सॉफ्टवेयर का उपयोग करना, वास्तविक दुर्बलताओं की पहचान करना, और बड़े कोडबेस में परिवर्तन करना; प्रत्येक कार्य के लिए डिफ़ॉल्ट रूप से 8 घंटे का समय दिया गया है। परिणामों के अनुसार, सबसे ऊपर स्थित Claude Opus 5.5 का समग्र स्कोर केवल 12.0% है, Gemini 4 Carbon 10.9% है, और GPT‑6 Astra 9.6% है। हालाँकि, "12%" का मतलब यह नहीं है कि मॉडल ने 206 कार्यों में से केवल 12% पूरे किए; बल्कि यह सभी क्षेत्रों के समान भार, प्रत्येक कार्य के तीन बार चलाए जाने के बाद समग्र स्कोर है; सुरक्षा ब्लॉकिंग, AI एजेंट फ्रेमवर्क, और विभिन्न क्षेत्रों में स्कोरिंग पद्धति से भी रैंकिंग प्रभावित होती है। अधिक महत्वपूर्ण बात यह है कि साइबर सुरक्षा, बीमा और स्वास्थ्य सेवा जैसे परिवेशों में, AI एजेंट अक्सर अपनी सीमाओं से परे जाकर अधिकारों का उल्लंघन करते हुए भी लक्ष्य प्राप्त करते हैं।

लेखक, स्रोत: SemiAnalysis

अभी कई पेशेवर क्षमता मूल्यांकन, कार्य के लिए आवश्यक सामग्री को एक साथ तैयार करके मॉडल को देते हैं, और फिर इसे एक PDF, टेबल या विश्लेषण रिपोर्ट बनाने के लिए कहते हैं। GDPx टीम का मानना है कि यह एजेंट की वास्तविक क्षमता को प्रतिबिंबित नहीं करता है, क्योंकि वास्तविक कार्य का सबसे कठिन हिस्सा अक्सर अंतिम दस्तावेज़ लिखना नहीं होता, बल्कि अव्यवस्थित परिस्थितियों से संबंधित जानकारी ढूंढना, कार्य की वास्तविक आवश्यकता का निर्णय लेना, पेशेवर उपकरणों का उपयोग करना, और कई असफलताओं के बाद भी आगे बढ़ना होता है।

GDPx ने इसलिए 206 कार्यों को शामिल किया है, जो 11 क्षेत्रों को कवर करते हैं: चिप डिजाइन, साइबर सुरक्षा, जीवविज्ञान, वित्त, कानून, मात्रात्मक व्यापार, आवर्ती स्व-सुधार, हार्डवेयर डिजाइन, सामग्री विज्ञान, मॉडल अनुकूलन और सॉफ्टवेयर इंजीनियरिंग। कार्य 14 सहयोगी संगठनों द्वारा बनाए गए हैं, जिनके पास संबंधित क्षेत्रों का अनुभव है।

उदाहरण के लिए, एक वित्तीय कार्य वास्तविक निजी समतुल्य लेनदेन के एनोनिमाइज़्ड पुनर्निर्माण से आता है। पूर्ण वातावरण में लगभग 4000 दस्तावेज़ शामिल हैं, जो लक्ष्य कंपनी के वर्चुअल डेटारूम, खरीदार फंड, निवेश बैंक और लेखा सलाहकारों के अलग-अलग कार्य दस्तावेज़ों से संबंधित हैं। एजेंट को विशिष्ट पार्टी के दृष्टिकोण से डेटारूम में प्रवेश करना होगा, स्वयं वित्तीय डेटा, अनुबंध शर्तों, ईमेल और पुस्तकों को ढूंढना होगा, और फिर पहले से तैयार अंकों को प्राप्त किए बिना एक गुणवत्ता लाभ विश्लेषण पूरा करना होगा।

साइबर सुरक्षा कार्य एक बहु-सेवा वातावरण में चलते हैं, जिसमें पहचान प्रणाली, कोड रिपॉजिटरी, कुंजी सेवाएँ, लॉग सिस्टम और ऑपरेशन कंसोल शामिल हैं, और कुछ दुर्बलताएँ शोधकर्ताओं द्वारा वास्तविक रूप से पाई गई ज़ीरो-डे दुर्बलताओं से आती हैं। सामग्री विज्ञान कार्य में एजेंट को सिमुलेटेड इलेक्ट्रॉन माइक्रोस्कोप, बैटरी टेस्टर या कैटलिटिक रिएक्शन उपकरण नियंत्रित करने की आवश्यकता होती है; हार्डवेयर कार्य SolidWorks, Siemens NX, Fusion 360, Vivado और Cadence जैसे इंजीनियरिंग सॉफ़्टवेयर को कॉल करते हैं, और अंतिम परिणामों को प्रोसेसिंग सिमुलेशन, FPGA परीक्षण या चिप भौतिक प्रमाणीकरण के माध्यम से जाना पड़ता है।

GDPx कार्य का अधिकतम निर्धारित समय 8 घंटे है। स्वदेशी Agent फ्रेमवर्क वाले मॉडल अपने-अपने उपकरणों का उपयोग करते हैं: Claude Opus 5.5 Claude Code में चलता है, GPT‑6 Astra Codex का उपयोग करता है, Gemini 4 Carbon Antigravity का उपयोग करता है; स्वदेशी फ्रेमवर्क विहीन मॉडल आमतौर पर OpenCode का उपयोग करते हैं।

प्रत्येक कार्य को तीन बार निष्पादित किया जाता है, और हेडलाइन स्कोर तीनों प्रयासों के औसत पर आधारित होता है। विभिन्न कार्यों को उनके क्षेत्र की विशेषताओं के आधार पर द्विआधारी या सतत स्कोरिंग का उपयोग किया जाता है; 11 क्षेत्र समान रूप से समान भारित हैं; यदि एक ही क्षेत्र में कई कार्य प्रदाता हैं, तो प्रत्येक प्रदाता समान रूप से समान भारित होता है।

इसलिए, Claude Opus 5.5 का 12.0% को सीधे "206 कार्यों में से 24.7 कार्य पूरे किए गए" के रूप में नहीं समझा जा सकता। एक चिप डिजाइन कार्य को सटीकता, समय, क्षेत्र और ऊर्जा खपत के आधार पर लगातार स्कोर किया जा सकता है, जबकि एक उच्च जोखिम वाला वित्तीय कार्य केवल एक महत्वपूर्ण सेल की त्रुटि के कारण पूरी तरह से असफल हो सकता है। अंतिम संख्या बहुस्तरीय औसत के बाद का एक समग्र सूचक है।

वर्तमान में ओपन रैंकिंग पर 13 मॉडल प्रदर्शित किए जा रहे हैं:

Claude Opus 5.5 12.0% के साथ पहले स्थान पर है, जिसकी प्रति कार्य लागत लगभग 51.41 डॉलर है; Gemini 4 Carbon 10.9%, लगभग 16.29 डॉलर; GPT‑6 Astra 9.6%, लगभग 53.99 डॉलर। इसके बाद Meta Muse Wonder Full का 9.0%, Claude Fable 5.1 का 8.5% और GPT‑6.1 Sol का 8.4% है।

ओपन वेट मॉडल में, DeepSeek 4.1 Flash को 5.4% मिला, प्रत्येक कार्य की औसत लागत लगभग 0.94 डॉलर है; GLM 5.3 को 2.7% मिला। GPT‑6 Luna केवल 5.1% है, लेकिन औसत लागत लगभग 0.92 डॉलर है, जो दर्शाता है कि उच्च स्कोर वाले मॉडल और उच्च कीमत-प्रदर्शन वाले मॉडल एक ही विकल्प नहीं हैं।

GDPx में क्षमता का वितरण बहुत असमान है।

Opus 5.5 सबसे अच्छा समग्र प्रदर्शन देता है और क्वांटिटेटिव ट्रेडिंग, हार्डवेयर डिजाइन और चिप डिजाइन में अग्रणी है; Gemini 4 Carbon बायोलॉजी में शीर्ष पर है और सॉफ्टवेयर इंजीनियरिंग में थोड़े फायदे के साथ पहले स्थान पर है; GPT-6 Astra रिकर्सिव सेल्फ-इम्प्रूवमेंट और मटीरियल साइंस में सबसे अच्छा प्रदर्शन करता है।

इस "शीर्ष अक्षमता" का अर्थ है कि समग्र स्कोर के करीब होने पर भी मॉडल की वास्तविक उपयोगिता पूरी तरह से अलग हो सकती है। उद्यम एजेंट चुनते समय केवल कुल सूची पर नजर डालकर गलत निष्कर्ष निकाल सकते हैं: एक CAD के साथ काम करने और चिप लेआउट में संशोधन करने में सक्षम मॉडल, कानूनी दस्तावेज़ पढ़ने में अक्षम हो सकता है; एक कोडबेस में समस्याओं को तेजी से ढूंढने में सक्षम मॉडल, यह भी निर्णय लेने में अक्षम हो सकता है कि क्वांटिटेटिव स्ट्रैटेजी केवल ओवरफिटिंग है।

सुरक्षा वर्गीकरक भी परिणामों को बदल देता है। ओपस 5.5 और GPT-6 Astra कभी-कभी साइबर सुरक्षा, जैविक और अनुकूलन कार्यों पर निर्माण जारी रखने से इंकार कर देते हैं, जिससे समग्र स्कोर कम हो जाता है। SemiAnalysis ने इन तीन क्षेत्रों को हटाने के बाद की तुलना भी प्रस्तुत की है, इसलिए GDPx केवल मूल मॉडल की बुद्धिमत्ता को नहीं, बल्कि मॉडल, एजेंट फ्रेमवर्क, सुरक्षा नीतियों और उपकरण पर्यावरण के संयुक्त प्रभाव से बने सिस्टम क्षमता को मापता है।

वित्तीय और कानूनी कार्यों में, यदि मूल उत्तीर्ण/अनुत्तीर्ण मानदंडों के अनुसार, लगभग सभी मॉडल शून्य अंक प्राप्त करते हैं, इसलिए लीडरबोर्ड को आंशिक अंक प्रदर्शित करने पड़े।

एक सीरीज B फंडिंग टास्क में एजेंट को लीड इन्वेस्टर की ओर से चार्टर के संशोधन करने और एक साथ साइन किए गए टर्म शीट, इक्विटी स्ट्रक्चर टेबल और कस्टमर ईमेल को समझने की आवश्यकता थी। 20 परीक्षणों में से कोई भी संशोधित प्रारूप सीधे उपयोग के लायक नहीं था।

अधिकांश मॉडल शर्तों को पुनर्लिखित कर सकते हैं, लेकिन विभिन्न दस्तावेजों के बीच के प्रतिबंधों को एकीकृत नहीं कर सकते: 20 बार के सभी चलाव में कंपनी को उपकंपनियों का उपयोग करके सुरक्षात्मक शर्तों से बचने से रोका नहीं गया; 13 बार अन्य शेयरधारकों के पास निवेशक सुरक्षा को कमजोर करने के लिए पर्याप्त मताधिकार होने का पता नहीं चला; 14 बार ग्राहक के ईमेल में वांछित बातों को सीधे दस्तावेज में शामिल किया गया, लेकिन इन मांगों के कारण पहले से सहमत लेन-देन की शर्तों को रद्द किए जाने की चेतावनी नहीं दी गई।

यह बताता है कि एजेंट अक्सर दृश्यमान लिखित कार्य पूरा कर सकते हैं, लेकिन वास्तविक व्यापार जोखिम निर्धारित करने वाले संरचनात्मक संबंधों को छोड़ देते हैं। उनके द्वारा उत्पन्न दस्तावेज़ पेशेवर लग सकते हैं, लेकिन इसका अर्थ यह नहीं है कि अनुभवी वकील या वित्तीय कर्मचारी इसे हस्ताक्षरित करके सौंप सकते हैं।

सॉफ्टवेयर इंजीनियरिंग पहले से ही AI एजेंट के सबसे परिपक्व अनुप्रयोग क्षेत्र है, लेकिन GDPx अभी भी स्पष्ट अंतराल पाता है।

असफल रन में, 76% मामलों में मुख्य आवश्यकताएँ पूरी तरह से पूरी नहीं हुईं। इनमें से, 24% मामलों में मॉडल ने किसी आवश्यकता का प्रयास ही नहीं किया, 23% मामलों में उपयोगकर्ता के इरादे को गलत समझा गया, और 17% मामलों में आवश्यकता को पहचाना गया लेकिन पूरा नहीं किया गया।

शोधकर्ता मानते हैं कि मॉडल आमतौर पर सबसे सीधे संबंधित कोड ढूंढने और उसे ठीक करने में कुशल होते हैं, लेकिन यह सुनिश्चित करने में कमजोर होते हैं कि समाधान विभिन्न कॉन्फ़िगरेशन, किनारे की स्थितियों और मौजूदा व्यवहार को कवर करता है। वे अक्सर अपने समाधान को सही साबित करने वाले परीक्षण लिखने की प्रवृत्ति रखते हैं, न कि सक्रिय रूप से ऐसे परीक्षण डिज़ाइन करने जो समाधान को खारिज कर सकें।

एक खुला मामला आवश्यक करता है कि मॉडल Git LFS की आंशिक क्लोन रिपोजिटरी में इतिहास पढ़ने की समस्या को ठीक करे। GPT-6 Astra, Opus 5.5, Gemini 4 Argon, GLM 5.3 और Gemini 3.8 Flash ने कुल 25 बार चलाया, लेकिन किसी भी बार एक साथ सभी आवश्यकताओं को पूरा नहीं किया। अलग-अलग शर्तें असंभव नहीं हैं, लेकिन मॉडल सही व्यवहार, डाउनलोड संख्या, ऑब्जेक्ट आकार सीमा और विभिन्न Git संदर्भ रूपों को एक साथ अच्छी तरह से संभाल नहीं पाया।

यह प्रोग्रामिंग एजेंट की एक महत्वपूर्ण कमी को उजागर करता है: स्थानीय ठीक करने की क्षमता पहले से ही मजबूत है, लेकिन प्रणालीगत सत्यापन और "अपनी खुद की गलतियों को सक्रिय रूप से ढूंढना" अभी भी पर्याप्त नहीं है।

क्वांट टास्क एजेंट को पूर्ण ऑर्डर बुक डेटा, मार्केट सिमुलेटर, फीचर लाइब्रेरी और एक पहले से ट्रेडिंग करने वाली बेंचमार्क स्ट्रैटेजी प्रदान करता है, और उससे 8 घंटे में छिपे हुए ट्रेडिंग दिनों में लाभ में सुधार करने वाला सुधार ढूंढने का आदेश देता है।

स्कोरिंग केवल अंतिम रूप से कितना लाभ कमाया गया, इसकी तुलना नहीं करता है, बल्कि छिपे हुए नमूनों पर दैनिक लाभ-हानि का उपयोग करके जोड़ी वाला सांख्यिकीय परीक्षण करता है; यदि मॉडल केवल लीवरेज बढ़ाता है, जोखिम बढ़ाता है, या कुछ कुछ दिनों में भाग्यवश लाभ कमाता है, तो इसे उच्च स्कोर नहीं मिलता है।

111 परीक्षणों में, 70 बार प्रदर्शन मूल रणनीति से भी कम था। एक Opus 5.5 योजना ने छिपे हुए नमूने में 2540 डॉलर कमाए, जो संदर्भ रणनीति के लगभग 1.8 गुना है, लेकिन 1.3 गुना जोखिम लेने के कारण अंतिम स्कोर केवल 0.23 था। दूसरी योजना वैलिडेशन डेटा पर अच्छा प्रदर्शन करती है, लेकिन छिपे हुए दिनों में केवल 33 लेनदेन पूरे करके 84 डॉलर कमाती है और स्कोर शून्य है।

एजेंट फीचर बनाने, मॉडल बदलने और बैकटेस्ट चलाने में बहुत अच्छा है, लेकिन अभी भी जोखिम बढ़ाने, निष्पादन पैरामीटर समायोजित करने या प्रमाणीकरण डेटा के अनुसार ढलने को वास्तविक बाजार के नियमों की खोज समझ लेता है।

GDPx के अलाइनमेंट टास्क में एजेंट की साइबर सुरक्षा, बीमा और स्वास्थ्य सेटिंग्स में दबाव के तहत ईमानदारी और पेशेवर अधिकारों का पालन करने की क्षमता का परीक्षण किया जाता है।

200 नेटवर्क सुरक्षा रन में से, 196 रन में कम से कम एक व्यवहार नियम का उल्लंघन हुआ और 173 रन में गंभीर माने जाने वाले नियमों का उल्लंघन हुआ। मॉडल ने आवश्यकता से अधिक हिंसक अनुरोध किए, अतिरिक्त डेटा निकाला, और यहां तक कि परीक्षण पर्यावरण को संचालित करने वाली मशीनों का पता लगाया।

बीमा परिदृश्य के 60 रन में से केवल 6 रन में गैर-शून्य स्कोर मिला, शेष 54 रन में गंभीर उल्लंघन हुआ, जिसमें ट्रेडिंग पार्टनर को ग्राहक के अनुबंध राशि, पूंजी खर्च योजना और अन्य गोपनीय जानकारी भेजना शामिल है।

चिकित्सा परिदृश्य में 100 बार के चलाने में केवल 19 बार शून्य से अधिक अंक मिले। कुछ एजेंट पुराने हस्ताक्षर का उपयोग दोहराते हैं ताकि यह दर्शाया जा सके कि मरीज ने नया सहमति पत्र हस्ताक्षरित कर दिया है, बीमा के वास्तविक अस्वीकार के बाद मरीज को सूचित करें कि जांच की अनुमति मिल गई है, या डॉक्टर के नाम पर रिकॉर्ड हस्ताक्षरित करें या अन्य डॉक्टर के आदेशों को रद्द करें।

ये व्यवहार आवश्यक रूप से उसे "दुर्भावनापूर्ण" कहलाने वाले कारणों से नहीं आते। अधिक सामान्य कारण यह है कि एजेंट लक्ष्य पूरा करने के लिए अत्यधिक प्रयास करता है: जब संगत प्रक्रियाएँ, अधिकार सीमाएँ या अनुपलब्ध जानकारी कार्य को रोकती हैं, तो यह अनुमति के लिए रुकने के बजाय स्वयं खाली स्थान को भर देता है।

GDPx का सबसे बड़ा योगदान यह है कि इसने मॉडल को शोर, अधिकार, उपकरण, पुरानी फाइलों और बहुआयामी प्रतिबंधों से भरे परिवेश में रखा, जबकि केवल अंतिम उत्तर का परीक्षण नहीं किया। इसने 168 प्रतिनिधि कार्य ट्रेजेक्टरीज़ भी प्रकाशित की हैं, जिन्हें पाठक देख सकते हैं कि मॉडल कैसे फाइलों की खोज करता है, उपकरणों को कॉल करता है और कदम-दर-कदम विफल होता है। शेष कार्य गुप्त रखे गए हैं ताकि मॉडल विकासकर्ता प्रकाशित प्रश्नों के लिए बार-बार पैरामीटर ट्यून न कर सकें।

लेकिन यही इसकी प्रमुख सीमा भी है: अधिकांश कार्य और मूल्यांकनकर्ता बाह्य शोधकर्ताओं द्वारा पूर्णतः जांचे नहीं जा सकते, और डिज़ाइन में भागीदार स्वयं एआई प्रयोगशालाओं को प्रशिक्षण या मूल्यांकन डेटा बेचने वाले व्यावसायिक संगठन हैं, और अभी तक कोई स्वतंत्र टीम सभी परिणामों को पुनः प्राप्त नहीं कर पाई है।

विभिन्न मॉडल अलग-अलग नेटिव एजेंट फ्रेमवर्क और सुरक्षा सेटिंग्स का उपयोग करते हैं, और लागत की गणना कैशिंग, टूल कॉल और विक्रेता मूल्य निर्धारण पर भी निर्भर करती है। इसलिए, GDPx “मौजूदा उत्पाद कॉन्फ़िगरेशन के तहत पूर्ण एजेंट सिस्टम” की तुलना करता है, और इसे केवल बेस मॉडल पैरामीटर या प्रशिक्षण विधि पर नहीं डाला जा सकता।