11 नवंबर, 2023 को, माइक्रोसॉफ्ट ने एजेंट निष्पादन प्रणाली के बारे में एक तकनीकी व्हाइट पेपर जारी किया, जिसमें कुछ अप्रत्याशित परीक्षण परिणाम शामिल हैं: समान Claude Opus 4.8 का उपयोग करते हुए, केवल Copilot Studio के पीछे के Harness को बदलने से, जटिल कार्यों की सफलता दर 22.1 प्रतिशत बढ़ गई। नई प्रणाली प्रत्येक कार्य के लिए मॉडल को लगभग दोगुनी बार कॉल करती है, लेकिन इसके परिणामस्वरूप इनपुट Token की खपत 21% कम हो जाती है।
दस दिन पहले, माइक्रोसॉफ्ट ने अपने कई उत्पादों में एकीकृत Copilot Harness को लागू करने और क्लाउड प्लेटफॉर्म के माध्यम से डेवलपर्स को होस्टेड सेवाएं बेचने की घोषणा की।
5 नवंबर को, मून ऑफ द डार्क साइड ने किमी होस्टेड एजेंट्स का लॉन्च किया और आधिकारिक रूप से हार्नेस एज ए सर्विस का प्रस्ताव रखा। अगस्त में, डीपसीक ने अपना हार्नेस ओपन सोर्स किया; ओपनएआई और एंथ्रोपिक ने पहले ही अपने आंतरिक संचालन प्रणाली को डेवलपर्स के लिए कॉल करने योग्य सेवा में बदल दिया है।
उस बड़े मॉडल के पीछे का "ऑपरेटिंग सिस्टम", मॉडल कंपनियों के लिए कुंजी पात्र बनने लगा है।
चित्र AI द्वारा उत्पन्न
01 हैरनेस पर धावा बोलें
Harness को बड़े मॉडल के चारों ओर एक Agent रनिंग सिस्टम के रूप में समझा जा सकता है। यह मॉडल को बाहरी उपकरणों का उपयोग करने, बहु-चरणीय कार्यों को निरंतर निष्पादित करने और निष्पादन परिणामों के आधार पर भविष्य की कार्रवाइयों को समायोजित करने की अनुमति देता है। लंबे समय तक चलने वाले Agents के लिए, Harness कार्य की स्थिति को सहेजने का भी प्रबंधन करता है, ताकि कार्य विघटन के बाद जारी रखा जा सके।
यह AI अनुप्रयोगों के अलग स्तर पर है। उदाहरण के लिए, Claude Code, WorkBuddy आदि उत्पाद सीधे उपयोगकर्ताओं के लिए हैं, जबकि निचले स्तर का Harness विभिन्न अनुप्रयोगों द्वारा पुनः उपयोग किया जा सकता है या विकासकों को एक स्वतंत्र सेवा के रूप में प्रदान किया जा सकता है। जैसे-जैसे Agent द्वारा संभाले जाने वाले कार्य अधिक जटिल होते जा रहे हैं, Harness धीरे-धीरे कार्य सफलता, कार्यान्वयन दक्षता और संचालन लागत पर प्रभाव डालने वाला महत्वपूर्ण कारक बनता जा रहा है।
Anthropic एक ऐसी मॉडल कंपनी है जिसने Harness के विकास में शुरुआती अवधि में निवेश किया, जिसका मुख्य उद्देश्य Claude Code द्वारा लंबे समय तक चलने वाले प्रोग्रामिंग कार्यों में आने वाली समस्याओं को हल करना था।
2025 के अंत तक, Anthropic ने पाया कि जब Claude का कॉन्टेक्स्ट विंडो समाप्त हो जाता है, तो अगली बार की बातचीत अक्सर पिछले कार्य को जारी नहीं रख पाती। इंजीनियर्स ने इसलिए Claude Code के पीछे के Harness में सुधार किया, ताकि Agent प्रत्येक चरण के अंत से पहले प्रगति सहेज सके और अगली बार इन रिकॉर्ड्स को पढ़कर अधूरे कार्य को जारी रख सके। इससे, भले ही एक मॉडल सत्र समाप्त हो जाए, पूरा प्रोग्रामिंग कार्य आगे बढ़ता रह सकता है।
इस वर्ष अप्रैल में, Anthropic ने Managed Agents को लॉन्च किया, जिससे डेवलपर्स को बादल सेवा के रूप में इस Agent चलाने की क्षमता प्रदान की गई। व्यवसायों को Agent को लंबे समय तक, स्थिर रूप से चलाने में सक्षम बनाने के लिए, Anthropic ने नींव की संरचना को भी समायोजित किया: Harness कार्यों के निष्पादन को आगे बढ़ाता है, इतिहास को अलग से सहेजा जा सकता है, और AI निष्पादन सैंडबॉक्स को किसी भी समय बदला जा सकता है। यहां तक कि अगर सैंडबॉक्स खराब हो जाए, तो Agent पिछला कार्य पुनः प्राप्त कर सकता है।
एंथ्रोपिक ने क्लॉड कोड के आंतरिक रनटाइम सिस्टम से लेकर बाहरी डेवलपर्स के लिए होस्टेड सेवाओं तक, अपने वर्षों के हार्नेस क्षमता को एक स्वतंत्र उत्पाद में बदल दिया है।
OpenAI ने भी Codex के पीछे के Harness को अधिक डेवलपर्स के लिए खोल दिया है। इस वर्ष फरवरी में, OpenAI ने घोषणा की कि Codex की वेब संस्करण, कमांड लाइन और IDE प्लगइन वास्तव में एक ही Agent रनटाइम सिस्टम का उपयोग करते हैं। अगस्त में, Codex को एक खुला Harness प्लेटफॉर्म के रूप में स्थापित किया गया, जिससे तीसरे पक्ष के ऐप सीधे जुड़ सकते हैं। सितंबर में लॉन्च किए गए Agents API द्वारा, OpenAI ने इस सिस्टम का होस्टिंग और रखरखाव किया, जिससे डेवलपर सीधे Agent के रनटाइम वातावरण में प्रवेश कर सकते हैं।
यह रास्ता OpenAI को Codex के माध्यम से सीधे उपयोगकर्ताओं को सेवा प्रदान करने के साथ-साथ अन्य सॉफ्टवेयर कंपनियों को निचले स्तर की कार्यान्वयन क्षमता प्रदान करने देता है। डेवलपर अपने उत्पाद इंटरफ़ेस और व्यावसायिक प्रक्रियाओं को बनाए रख सकते हैं, जबकि Codex पीछे से विशिष्ट कार्यों को पूरा करता है।
DeepSeek ने 13 अगस्त को MIT लाइसेंस के तहत Harness का पूरा फ्रेमवर्क कोड खोल दिया, जिसने "Everything is a Plugin" की अवधारणा पेश की, जिसमें पूरा Agent रनटाइम सिस्टम स्वतंत्र रूप से संयोजित किए जा सकने वाले प्लगइन्स में विभाजित कर दिया गया। डेवलपर्स केवल मॉडल और बाहरी उपकरणों को बदलने के बजाय, Agent द्वारा मॉडल को कॉल करने और कार्यों को निष्पादित करने के तरीकों में भी परिवर्तन कर सकते हैं, और यहां तक कि Agent को नए प्लगइन्स को स्वयं लिखने और स्थापित करने की अनुमति दे सकते हैं।
Cordis पर आधारित इस आर्किटेक्चर का उद्देश्य विकासकों को अपनी आवश्यकताओं के अनुसार विभिन्न प्रकार के एजेंट विकसित करने की अनुमति देना है, बिना रनिंग सिस्टम को शुरू से बनाए।
5 नवंबर को, Kimi ने घोषणा की कि Hosted Agents पूर्ण दिन-रात के क्लाउड वातावरण प्रदान करता है, जिससे उद्यम अपने आंतरिक प्रणालियों में Agent शामिल कर सकते हैं या बाहरी बिक्री उत्पादों में एम्बेड कर सकते हैं, और स्पष्ट रूप से Harness as a service का उल्लेख किया।
02 हार्नेस विकास
वास्तव में, हैरनेस की लोकप्रियता मॉडल कंपनियों द्वारा शुरू नहीं हुई।
इस साल की शुरुआत में, OpenClaw की लोकप्रियता ने उद्योग को दिखाया कि एक ऐसी कंपनी, जिसके पास बेस मॉडल नहीं है, भी Agent रनिंग सिस्टम के माध्यम से बड़ी संख्या में उपयोगकर्ताओं को आकर्षित कर सकती है। फरवरी में, OpenAI ने OpenClaw के संस्थापक पीटर स्टेनबर्गर को अगली पीढ़ी के व्यक्तिगत Agent के विकास में शामिल किया।
इसके बाद, Nous Research ने Hermes Agent को लॉन्च किया, जिसमें एजेंट अपने कार्य में जमा की गई अनुभव को पुन: उपयोग के लिए कौशल के रूप में सहेजने और भविष्य के कार्यों में लगातार सुधार करने का प्रयास किया गया।
मार्च के अंत में, स्टैनफोर्ड विश्वविद्यालय जैसे संस्थानों ने मेटा-हारनेस प्रस्तुत किया, जिससे AI विफलता के रिकॉर्ड के आधार पर हारनेस कोड को सीधे संशोधित कर सकता है और परिणाम की पुष्टि के लिए परीक्षण कर सकता है। एक टेक्स्ट वर्गीकरण प्रयोग में, सटीकता में 7.7% की वृद्धि हुई और संदर्भ टोकन का उपयोग मूल का एक चौथाई हो गया।
इन खोजों के लिए मॉडल कंपनियों को निवेश करने का क्या महत्व है? अक्टूबर में, सिंगापुर के नान्यांग टेक्नोलॉजिकल यूनिवर्सिटी ने 66 मॉडल और Harness के संयोजन का परीक्षण किया और पाया कि Harness बदलने से मॉडलों के बीच प्रदर्शन रैंकिंग तक बदल सकती है।
FrontierHarness Eval ने भी पाया कि एक ही Kimi K3 का उपयोग करते हुए, Codex के साथ कार्य पास दर 66.7% है, DeepSeek Harness Creator के साथ 63.3% है, और Kimi Code के साथ 56.7% है।
बेस मॉडल कंपनियों के लिए, मॉडल के प्रदर्शन में सुधार के लिए, मॉडल को बेहतर बनाने के अलावा, हारनेस के डिज़ाइन और अनुकूलन पर भी बढ़ती हुई निर्भरता है।
शोधकर्ता अभी भी हारनेस द्वारा एकत्रित अनुभव का उपयोग मॉडल प्रशिक्षण के लिए करने की कोशिश कर रहे हैं। जुलाई में पेश किया गया Co-Harness, विफलता रिकॉर्ड के माध्यम से हारनेस में सुधार करता है, और फिर अनुकूलित किए गए निष्पादन डेटा का उपयोग मॉडल को प्रशिक्षित करने के लिए करता है। नवंबर में घोषित HarnessFlow ने बेहतर हारनेस डिज़ाइन की स्वचालित खोज की कोशिश की, जिसने छह प्रकार के कार्यों में औसत स्कोर में 10.89 प्रतिशत की वृद्धि की।
हालांकि, स्वचालित अनुकूलन के जोखिम भी हैं। नवंबर के शुरू में एक अध्ययन में पाया गया कि एक प्रयोग में, एक Harness को नए कार्य के लिए अनुकूलित करने के बाद, SWE-bench पर इसका पहले का स्कोर 94% से घटकर 32% हो गया। मॉडल अपग्रेड से पहले प्रभावी डिज़ाइन भी अक्षम हो सकते हैं।
इसका अर्थ है कि हैरनेस की तकनीकी निकाय को एक बार में हल करना मुश्किल है। विभिन्न कार्यों की स्थिरता को लगातार सुधार के दौरान कैसे बनाए रखा जाए, अभी तक एक अनसुलझी समस्या है।
एक उद्योग विशेषज्ञ ने कहा कि यह ओपन सोर्स मॉडल के डिप्लॉयमेंट का एक बड़ा चुनौतीपूर्ण पहलू भी है। इसलिए, मॉडल कंपनियाँ हारनेस सेवाएँ बेचना शुरू कर चुकी हैं। ओपन सोर्स फ्रेमवर्क मुफ्त में उपलब्ध हैं, लेकिन व्यवसायों को एजेंट को लंबे समय तक स्थिर रूप से चलाए रखने के लिए अभी भी डिप्लॉयमेंट और रखरखाव लागत का भुगतान करना पड़ता है। किमी, एंथ्रोपिक आदि कंपनियों ने इन कार्यों को संभालने का मौका देखा है और हारनेस को एक स्वतंत्र व्यवसाय बना दिया है, लेकिन विभिन्न कंपनियों के दृष्टिकोण में काफी अंतर है।
03 हार्नेस का छिपा हुआ मूल्य
Harness अब एक अलग शुल्क वाली सेवा बन गया है, लेकिन वर्तमान में मॉडल निष्पादन ही मुख्य शुल्क स्रोत है।
Anthropic के मैनेज्ड एजेंट्स प्रति सक्रिय सेशन घंटे 0.08 डॉलर शुल्क लेते हैं, और टोकन अलग से, आधिकारिक रूप से प्रकाशित एक घंटे के प्रोग्रामिंग कार्य के उदाहरण के अनुसार, कुल शुल्क 0.58 डॉलर है, जिसमें मैनेज्ड रनिंग शुल्क केवल लगभग 14% है।
किमी के शुल्क मॉडल टोकन, सैंडबॉक्स रन और पेड प्लगइन्स पर आधारित हैं। इसने एक निवेश बैंकिंग कानूनी विश्लेषण कार्य की लागत लगभग 30 युआन के अनुमानित स्तर पर घोषित की है, जबकि सैंडबॉक्स शुल्क 0.1 युआन से कम है। OpenAI Agents API के पब्लिक बीटा अवधि के दौरान अतिरिक्त सेवा शुल्क नहीं लेता है और मुख्य रूप से मॉडल और टूल के उपयोग के आधार पर शुल्क लेता है। DeepSeek ने Harness को MIT लाइसेंस के तहत ओपन सोर्स कर दिया है और इसका कोई सीधा शुल्क लोजिक नहीं है।
इसलिए, मॉडल कंपनियाँ वर्तमान में हार्नेस से प्राप्त सीधी आय नगण्य हो सकती है।
तो, फिर भी बड़े पैमाने पर अनुसंधान और विकास संसाधन क्यों लगाए जाएँ?
एक महत्वपूर्ण कारण यह है कि जब व्यवसाय वास्तविक रूप से एजेंट को लागू करते हैं, तो किसी विशिष्ट मॉडल की तुलना में हारनेस की आवश्यकता अधिक स्थिर हो सकती है।
अमेरिकी लीगल सर्विसेज कंपनी ABC Legal ने मूल रूप से एजेंट को कर्मचारियों के कंप्यूटर पर डिप्लॉय किया था और टाइमर टास्क के माध्यम से चलाया था। उपयोग के विस्तार के साथ, CTO Brandon Fuller ने इन एजेंट्स को एकीकृत रूप से प्रबंधित करने के लिए एक प्लेटफॉर्म ढूंढना शुरू कर दिया। उन्होंने कई समाधानों की तुलना की और अंततः Anthropic के Managed Agents का चयन किया, क्योंकि कंपनी विखंडित रनटाइम वातावरण को जारी रखना नहीं चाहती थी।
एंथ्रोपिक के अनुसार, ABC Legal ने एक महीने में 50 से अधिक एजेंट्स को उत्पादन में शामिल कर लिया है, और लगभग 310 कर्मचारी रोजाना क्लॉड का उपयोग करते हैं। कर्मचारियों को सॉफ्टवेयर डेवलपमेंट का ज्ञान होना आवश्यक नहीं है, वे कॉन्फ़िगरेशन के माध्यम से नए एजेंट्स बना सकते हैं।
यह बताता है कि हारनेस के होस्टिंग की आकर्षकता वास्तविक उद्यमिक आवश्यकताओं से आती है। व्यवसाय अपने बिजनेस के लिए इंजीनियरिंग संसाधनों को केंद्रित करने के लिए, शुरू से डिप्लॉयमेंट और लंबे समय तक सिस्टम के रखरखाव के स्थान पर पहले से तैयार सेवाएं खरीदना पसंद कर सकते हैं।
लेकिन उद्यमी इसके लिए एक मॉडल कंपनी से बंधे नहीं होना चाहते हैं।
इस साल अगस्त में, वेंचरबीट ने 107 कंपनियों के सर्वेक्षण का प्रकाशन किया। 85% उत्तरदाता कंपनियाँ दो या अधिक एजेंट ऑर्केस्ट्रेशन प्लेटफॉर्म एक साथ उपयोग कर रही हैं। प्लेटफॉर्म चुनने में, 29% कंपनियाँ मॉडल और टूल की लचीलापन को सबसे महत्वपूर्ण मानती हैं, जबकि केवल 10% कंपनियाँ किसी प्रमुख मॉडल के साथ मूल समायोजन को प्राथमिकता देती हैं। हालाँकि नमूना बड़ी तकनीकी कंपनियों की ओर झुका हुआ है, लेकिन यह एक खरीदारी प्रवृत्ति को दर्शाता है: ग्राहक मॉडल बदलने की स्वतंत्रता बनाए रखना चाहते हैं।
यह हैरनस के प्रतिस्पर्धी व्यावसायिक तर्क का एक अन्य पहलू प्रदान करता है। यदि उद्यम एक निरंतर ऑपरेटिंग सिस्टम का दीर्घकालिक उपयोग करने को तैयार है, तो प्रदाता चाहे मॉडल कॉल पर अकेला न हो सके, तब भी होस्टिंग, रखरखाव और उद्यम विकास सेवाओं से लगातार आय प्राप्त कर सकता है और ग्राहक के साथ अधिक स्थिर सहयोग स्थापित कर सकता है।
इस तरह, Harness कंपनियों के वास्तविक कार्य प्रक्रियाओं तक पहुँच सकता है। केवल मॉडल API के विपरीत, Harness एक कार्य की शुरुआत से लेकर पूर्णता तक की प्रक्रिया को रिकॉर्ड कर सकता है, जिसमें मॉडल कॉल, टूल निष्पादन, विफलता पर पुनः प्रयास और अंतिम परिणाम शामिल हैं। ये रिकॉर्ड कंपनियों को समस्याओं का निदान करने में मदद करते हैं और मॉडल विकास के लिए मूल्यवान प्रतिक्रिया प्रदान करते हैं।
यदि मॉडल कंपनियाँ लगातार सत्यापित वास्तविक कार्य प्रतिक्रिया प्राप्त कर सकती हैं, तो वे उत्पादन पर्यावरण में मॉडल की समस्याओं को तेजी से पहचानने का अवसर प्राप्त कर सकती हैं। हालाँकि, इस लाभ को डेटा अधिकारों द्वारा स्पष्ट रूप से सीमित किया जाएगा।
यह मॉडल कंपनियों के लिए एक नया प्रश्न उठाता है: यदि उद्यमी स्वयं के डेटा को नियंत्रित रखते हुए नींव के मॉडल को आज़ादी से बदल सकते हैं, तो हारनेस कितना लंबे समय तक लाभ प्राप्त कर सकता है?
मॉडल कंपनियों के लिए, हैरनेस सीधे शुल्क की तुलना में अधिक दीर्घकालिक मूल्य ला सकता है। जब उद्यम अपने बड़े हिस्से को एजेंट पर सौंपते हैं, तो जो व्यक्ति विश्वसनीय संचालन प्रणाली प्रदान करता है, वह मॉडल के चयन और AI के वास्तविक व्यापार में शामिल होने के तरीके पर प्रभाव डालने का अवसर प्राप्त करता है।
एक परिचित और पुराना शब्द: एंट्री।
लेकिन, इंटरनेट युग में गहराई से जड़े इस शब्द को एआई युग की प्रतिस्पर्धा की संवेदनशील नसों को छू जाता है। अब, हैरनेस इस उम्मीद और कल्पना को किसी न किसी रूप में संभाल रहा है।
ट्विटर: https://twitter.com/BitpushNewsCN
बिटपुश टेलीग्राम समुदाय: https://t.me/BitPushCommunity
बिटपुश टेलीग्राम सब्सक्रिप्शन: https://t.me/bitpush