दो महीने पहले, स्वतंत्र मूल्यांकन संस्थाएँ ट्रिलियन डॉलर के आर्टिफिशियल इंटेलिजेंस उद्योग के अपेक्षाकृत शांत कोने में थीं। आज, उन्हें "बचाव" के लिए मांगा जा रहा है।
जबकि Anthropic और OpenAI उन उन्नत मॉडलों की सुरक्षा को बनाए रखते हुए अपने व्यवसाय का विस्तार करने के तरीके पर तीव्र वाद-विवाद कर रहे हैं, ये दोनों कंपनियाँ Model Evaluation and Threat Research (METR), Apollo Research और Transluce जैसी कुछ छोटी तीसरी पक्ष संस्थाओं का समर्थन खोज रही हैं।
इन मूल्यांकन संस्थाओं में से अधिकांश गैर-लाभकारी संगठनों के रूप में संचालित होते हैं, जहाँ पूंजी पहले कभी नहीं देखी गई गति से प्रवाहित हो रही है और नए मॉडल पहले कभी नहीं देखे गए आवृत्ति पर लॉन्च हो रहे हैं। इनकी मुख्य जिम्मेदारी, AI मॉडल की क्षमता और जोखिम का मूल्यांकन करना और तकनीकी अनुचित व्यवहार की स्थिति को चिह्नित करना है।
फेडरल स्तर पर नियामक आगे बढ़ने के अभाव में, मूल्यांकन संस्थानों का महत्व बढ़ गया है। एंथ्रोपिक के सीईओ डैरियो अमोदेई ने पिछले महीने घोषणा की कि वे स्वतंत्र मूल्यांकन संस्थानों को कंपनी के भीतर एकीकृत करेंगे, और ओपनएआई के सीईओ सैम आल्टमैन ने जल्द ही इस विचार का समर्थन किया। अमेरिकी राष्ट्रपति डोनल्ड ट्रम्प भी इस विचार का समर्थन करते हैं, और कई अमेरिकी बड़ी तकनीक कंपनियाँ भी। हालाँकि, अभी भी अनुत्तरित प्रश्न हैं: इन तृतीय पक्षों को धन कैसे प्राप्त होगा, उनके पास कितनी अधिकृत पहुँच होगी, और अंतिम रिपोर्टिंग संरचना क्या होगी।
ब्राउन विश्वविद्यालय के कंप्यूटर साइंस प्रोफेसर सुरेश वेंकटसुब्रमणियन ने CNBC के साक्षात्कार में कहा, "समस्या किसी तरह से हमेशा की तरह ही पैसा है। इन कंपनियों के लिए यह काम कौन फंड करेगा? वे इन संस्थानों का समर्थन कैसे करेंगे? आपको एक पारिस्थितिकी तंत्र की आवश्यकता है, आपको एक सुसंगठित व्यावसायिक मॉडल की आवश्यकता है।"
वर्तमान में, Anthropic, OpenAI और AI के उत्साह से लाभ उठाने वाले बुनियादी ढांचे के साझेदार नियम तैयार कर रहे हैं। आलोचक कहते हैं कि यह बड़े बैंकों को वित्तीय संकट से हमें बचाने की अनुमति देने जैसा है, या फार्मास्यूटिकल कंपनियों को बिना नियामक अनुमोदन के दवाओं को बाजार में लाने की अनुमति देने जैसा है।
ट्रम्प ने हाल ही में AI अधिकारियों की "अत्यंत उत्कृष्ट स्व-नियामकता" की प्रशंसा की है और घोषणा की है कि वह इस उद्योग को व्यवसायों के हवाले करने का इरादा रखते हैं, जिसे वह आर्थिक और स्टॉक मार्केट वृद्धि को बढ़ावा दे रहे हैं। ट्रम्प ने सितंबर के अंत में एक स्वैच्छिक समझौते में AI कंपनियों को "स्वतंत्र बाहरी ऑडिटर या मूल्यांकनकर्ता के साथ सहयोग करने" के लिए प्रोत्साहित किया।
यह चर्चा अमोदेई द्वारा पिछले महीने प्रकाशित एक व्यापक रूप से फैली लेख से शुरू हुई। उस लेख में, उन्होंने उन उन्नत मॉडल विकास को "धीमा करने" की अपील की, क्योंकि कुछ शोधकर्ता कंपनी छोड़कर इस प्रौद्योगिकी के जीवन-मृत्यु के खतरे को लेकर चिंता व्यक्त कर रहे हैं।
जैसे-जैसे AI प्रयोगशालाएँ मूल्यांकन संस्थाओं को लागू करने लगती हैं, घर्षण उत्पन्न हो रहा है।
OpenAI के एक प्रवक्ता ने कहा कि कंपनी ने पिछले हफ्ते तीन कर्मचारियों को निकाल दिया, क्योंकि उन्होंने “हमारी संवेदनशील कंपनी जानकारी तक पहुँच और संसाधित करने की नीति का उल्लंघन किया।” इनमें से दो कर्मचारी, मिकिता बेलेस्नी और टोमेक कोरबक, ने कहा कि उन्हें लगता है कि उन्हें उसलिए निकाला गया क्योंकि उन्होंने तीसरे पक्ष के मूल्यांकन संस्थानों के साथ संचार का तरीका अपनाया।
बेलसनी ने गुरुवार को X पर पोस्ट किया: "मेरे पूर्व सहकर्मी मुझे बता रहे हैं कि उन्हें क्या मानना चाहिए, इसके बारे में भ्रम है। वे बोलने से डरते हैं, क्योंकि वे चिंतित हैं कि हम और तीसरे पक्ष के साथ हुए संदेशों के कारण उनके व्यक्तिगत फोन की जांच की जा सकती है। मुझे डर है कि इस सामान्य बोलने के डर और तीसरे पक्ष के संपर्क की चिंता के कारण, OpenAI पीछे से सुरक्षा मुद्दों के लिए गुणवत्ता में कमी करेगा।"
OpenAI ने इस दावे को खारिज कर दिया और शुक्रवार को एक पोस्ट में बताया कि कंपनी “तीसरे पक्ष के सुरक्षा मूल्यांकनकर्ताओं के साथ अनुबंध को सक्रिय रूप से तैयार कर रही है और भविष्य के कुछ सप्ताहों में विवरण जारी करेगी।”
OpenAI ने लिखा: "हम बाहरी मूल्यांकनकर्ताओं को एम्बेड करने और स्वतंत्र सुरक्षा संगठनों के साथ निकट सहयोग को सुरक्षा कार्यों का केंद्रीय घटक बनाए रखने के प्रति प्रतिबद्ध हैं।"
OpenAI के एक प्रवक्ता ने ईमेल बयान में कहा कि कंपनी जल्द ही मूल्यांकन संस्थानों के साथ काम करने जा रही है, जो METR और Redwood Research सहित स्वतंत्र सुरक्षा संगठनों के साथ मौजूदा सहयोग पर आधारित होगा।
Anthropic ने CNBC के टिप्पणी के अनुरोध का जवाब नहीं दिया।
मैंने कभी इतनी तेजी से एक समस्या को आगे बढ़ाते हुए नहीं देखा है
AI आकलन संस्थान का पारिस्थितिकी तंत्र मुख्य रूप से METR और Apollo Research जैसे छोटे संगठनों और Accenture जैसे बड़े लेखा और निरीक्षण कंपनियों से बना है।
AI प्रयोगशाला ने सीमित स्तर पर मूल्यांकन एजेंसियों के साथ सहयोग किया है, लेकिन नीति गैर-लाभकारी संगठन Fathom के प्रबंध निदेशक एंड्रू फ्रीडमैन के अनुसार, यह क्षेत्र तेजी से परिपक्व हो रहा है।
फ्रीडम ने CNBC के साक्षात्कार में कहा, "मैंने राजनीति और नीति के क्षेत्र में 20 साल काम किया है, लेकिन मैंने कभी इतने विविध राजनीतिक परिप्रेक्ष्यों पर इतनी तेजी से आगे बढ़ने वाली कोई समस्या नहीं देखी है।" उन्होंने कहा कि इस पारिस्थितिकी तंत्र में "पूंजी का भारी प्रवाह" होने की उम्मीद है।
स्वतंत्र मूल्यांकन संस्था Vals AI के सीईओ रयान कृष्णन ने कहा कि यह लाभ कमाने वाली स्टार्टअप कंपनी उद्योग-विशिष्ट कार्यों पर AI मॉडल के प्रदर्शन को मापने के लिए मानक स्थापित करती है, और इस वर्ष कर्मचारियों की संख्या 8 से बढ़कर लगभग 30 हो गई है, और अगस्त में 40 मिलियन डॉलर के फंडिंग की घोषणा की गई।
गैर-लाभकारी संगठन METR ने अगस्त में घोषणा की कि पिछले छह महीनों में इसे लगभग 71 मिलियन डॉलर की प्रतिबद्धता वाली राशि प्राप्त हुई है। संगठन द्वारा अमेरिकी आयकर विभाग को जमा की गई नवीनतम दस्तावेज़ों के अनुसार, यह संख्या 2024 के पूरे वर्ष के 13.6 मिलियन डॉलर के दान के कुल योग से अधिक है।
उस महीने के अंत तक, METR की प्रसिद्धि और बढ़ गई। OpenAI ने इस संस्थान के दो कर्मचारियों और एक ठेकेदार को भारतीय मॉडल कैसे नियंत्रण से भाग गए, खुले इंटरनेट तक पहुँचे, और ओपन सोर्स डेवलपर प्लेटफॉर्म Hugging Face को तोड़े, इसकी एक बाद की विश्लेषण रिपोर्ट तैयार करने में मदद के लिए नियुक्त किया। METR ने कहा कि इस मूल्यांकन के लिए OpenAI से उन्हें कोई भुगतान नहीं मिला।
पेनसिल्वेनिया विश्वविद्यालय के वॉर्टन स्कूल के अकाउंटेबल एआई लैब के शैक्षणिक निदेशक केविन वर्बैच ने कहा कि यह पारिस्थितिकी तंत्र "अभी बहुत मजबूत नहीं है"। उदाहरण के लिए, METR की वेबसाइट के अनुसार, संगठन के पास 50 से कम पूर्णकालिक कर्मचारी हैं।
सैकड़ों अरब डॉलर की फंडिंग प्राप्त कर चुके और हजारों कर्मचारियों को नियुक्त कर चुके नेतृत्व करने वाले प्रयोगशालाओं के साथ छोटे मूल्यांकन संस्थानों के बीच शक्ति का असंतुलन, संभावित हित संघर्ष के प्रश्न उठाता है।
वेंकटसुब्रमणियन ने कहा: "अगर आपको वास्तविक तीसरे पक्ष का मूल्यांकन चाहिए, तो आपको वास्तविक वित्तीय स्वतंत्रता और अन्य पहलुओं की स्वतंत्रता की आवश्यकता है। यह केवल पैसा न लेने के बारे में नहीं है, बल्कि यह भी है: अगर मैं एक ऑडिटर हूँ और इस कंपनी के खिलाफ एक रिपोर्ट जारी करता हूँ, तो क्या मुझे परिणाम होंगे? क्या मेरा व्यवसाय समाप्त हो जाएगा?"
पिछले महीने, Anthropic ने एक ब्लॉग पोस्ट में इस जटिलता को मान्य किया। कंपनी ने घोषणा की कि वह Accenture के AI-केंद्रित बिजनेस Faculty के कर्मचारियों को कंपनी में शामिल करेगी, ताकि सुरक्षा उपायों का परीक्षण किया जा सके और मॉडल का मूल्यांकन किया जा सके कि क्या वह मानव मूल्यों के अनुसार कार्य करता है। Anthropic ने कहा कि इस कार्य की "महत्वपूर्णता और तत्कालता" को देखते हुए, कंपनी Accenture के संबंधित योगदान को सीधे वित्तीय समर्थन प्रदान करेगी।
Anthropic कहता है: "एम्बेडेड एवल्यूएटर्स को किन जानकारियों तक पहुंच दी जानी चाहिए और उन्हें खोजों की रिपोर्ट कैसे करनी चाहिए, इसके लिए अभी कोई मानक नहीं है। स्वतंत्र आकलन के लिए वित्तपोषण की व्यवस्था भी अभी तय नहीं हुई है। दीर्घकालिक दृष्टिकोण से, हम मानते हैं कि वित्तपोषण संग्रहीत धन या सरकारी स्रोतों से आना चाहिए।"
एंथ्रोपिक ने यह भी बताया कि कंपनी METR और अन्य गैर-लाभकारी मूल्यांकन संगठनों के साथ चर्चा कर रही है, जो अपने स्वयं के निधियों का उपयोग करके "एम्बेडेड एवलुएशन" के कुछ "तत्वों" का पायलट परीक्षण करने की योजना बना रहे हैं।
Will the government intervene?
पिछले जून में, फैथम ने स्वतंत्र प्रमाणीकरण संगठनों (Independent Verification Organizations, IVOs) के लिए एक बाजार ढांचा प्रस्तुत किया। ये संगठन सरकारी अनुमति प्राप्त करेंगे और AI कंपनियों की जांच करने के लिए अधिकृत होंगे कि वे विभिन्न सुरक्षा मानकों को पूरा करती हैं।
फ्रीडमन ने कहा कि सरकारी निगरानी अत्यंत महत्वपूर्ण है, अन्यथा तीसरे पक्ष के मूल्यांकन संस्थान बड़े एआई प्रयोगशालाओं पर आय पर निर्भर हो सकते हैं, जिससे उन्हें संबंधों को बनाए रखने के लिए "बिना सोचे-समझे अनुमोदन करने" की प्रेरणा मिल सकती है।
कुछ विधायकों ने समर्थन व्यक्त किया है।
IVOs हैं “फ्रंटियर रिस्क ओवरसॉट, नेशनल ट्रांसपेरेंसी, इंडिपेंडेंट एवलुएशन एंड रिपोर्टिंग” (FRONTIER) बिल का एक महत्वपूर्ण प्रावधान। यह बिल 7 में प्रतिनिधि लोरी ट्राहन (मैसाचुसेट्स, डेमोक्रेट) और जे ओबर्नोल्टे (कैलिफोर्निया, रिपब्लिकन) द्वारा पेश किया गया था। फ्रीडम कहते हैं कि फैथम ने बिल के पाठ के रूपरेखा का निर्माण किया और तकनीकी समर्थन प्रदान किया।
OpenAI के ग्लोबल अफेयर्स हेड क्रिस लेहेन ने सितंबर में पत्रकारों को बताया कि उन्होंने IVO धारा के समर्थन को व्यक्त करने के लिए कॉन्ग्रेस हिल पर इस बिल के एक सह-प्रस्तावक से मुलाकात की थी।
लेहेन ने कहा, "उनके लिए यह सुनना महत्वपूर्ण है और हम इसे बहुत स्पष्ट रूप से कहना चाहते हैं।"
इसी बीच, कैलिफोर्निया, कनेक्टिकट और वर्जीनिया के विधायकों ने IVOs को आगे बढ़ाने के लिए कदम उठाए हैं, जबकि मैसाचुसेट्स जैसे राज्य अधिक व्यापक रूप से स्वतंत्र सुरक्षा मूल्यांकन पर विचार कर रहे हैं।
कैलिफोर्निया के राज्यपाल गैविन न्यूसम ने हाल ही में IVOs से संबंधित दो कानूनों को मंजूरी दी, जिनमें से एक ने "राष्ट्रीय स्तर पर पहली बार" एक ढांचा स्थापित किया है, और दूसरे ने AI ऑडिटर्स के लिए राज्य स्तरीय रजिस्टर बनाया है। एंथ्रोपिक ने अगस्त में इन दोनों कानूनों का समर्थन किया, जबकि OpenAI ने पिछले महीने इन कानूनों की औपचारिक समर्थन किया, और यहीं Newsom द्वारा इन्हें कानून बनाए जाने के एक ही दिन।
Lehane ने एक ब्लॉग पोस्ट में लिखा था: "हम फेडरल स्तर पर स्वतंत्र तकनीकी मूल्यांकन की मांग करना पसंद करेंगे," लेकिन फेडरल कार्रवाई के अभाव में, "कैलिफोर्निया नियमों की स्थापना में मदद कर सकता है।"
फ्रीडम ने कहा कि वह मानते हैं कि OpenAI और Anthropic जैसी कंपनियों के लिए स्वतंत्र मूल्यांकन संस्थानों के साथ सहयोग करने का तरीका खुद ढूंढना “बहुत कठिन” होगा। हालाँकि, सरकार की भूमिका अभी स्पष्ट नहीं होने की स्थिति में, “यह एक ऐसी क्षमता है जिसे संक्रमण काल में विकसित करना योग्य है,” उन्होंने कहा।
अभी, उद्योग के पास सबसे निकट मानक के रूप में, ट्रम्प द्वारा पिछले महीने व्हाइट हाउस में प्रौद्योगिकी नेताओं के लिए आयोजित लंच के दौरान एक "नैतिक रूप से बाध्यकारी" समझौते का उल्लेख किया गया।
इस एक पृष्ठ की समझौते में लिखा गया है, "प्रत्येक कंपनी की जिम्मेदारी है कि वह अपनी तकनीक को सुरक्षित तरीके से विकसित करे और ग्राहकों और जनता के विश्वास को बनाने के योग्य तरीके से आगे बढ़ाए।" समझौता साइनकर्ताओं को "स्वतंत्र बाहरी ऑडिटर या मूल्यांकनकर्ता के साथ सहयोग करने" के लिए प्रोत्साहित करता है, ताकि स्वतंत्र मूल्यांकन किया जा सके।
यह दस्तावेज Anthropic, Google, Meta, OpenAI, SpaceX और Nvidia के अधिकारियों द्वारा हस्ताक्षरित है, जो एआई जोखिमों के प्रति अपनी राय में असहमति रखने वाले नेताओं के बीच एक दुर्लभ एकता का प्रदर्शन है। हालाँकि, इन अधिकारियों को अपने-अपने आगे के रास्ते की योजना बनानी होगी।
वेंकटसुब्रमणियन ने कहा: "यह अधिक एक ऐसा प्रदर्शन है जो कार्रवाई का प्रदर्शन करने की कोशिश कर रहा है, जबकि वास्तव में कोई कार्रवाई नहीं हुई है। उनके द्वारा किए जाने का वादा किया गया काम, जो पहले से ही किया जाना चाहिए था, और वास्तव में उन्होंने पिछले समय में दावा किया था कि वे इसे कर रहे हैं।"
अमोडेई ने सितंबर के लेख में कहा कि एंथ्रोपिक आकलनकर्ताओं को डेस्क, एक्सेस कार्ड, कंपनी के लैपटॉप, और आंतरिक जोखिम आकलन टीम के साथ "मूल रूप से समान" पहुंच प्रदान करेगा। इसके अलावा, आकलनकर्ताओं को अनुबंध समर्थन प्राप्त होगा, जो उन्हें "महत्वपूर्ण खोजों को प्रकाशित करने का अधिकार" देगा, जबकि एंथ्रोपिक के पास "सीमित क्षमता" होगी कि कुछ सुरक्षा या गोपनीयता से संबंधित जानकारी को हटाए या संशोधित करे।
अमोडेई ने लिखा: "यह एक कंपनी के लिए असामान्य कदम है, लेकिन हम मानते हैं कि एम्बेडेड एक्सटर्नल रिव्यूअर की अवधारणा को साबित करना महत्वपूर्ण है।"
कुछ दिनों बाद, OpenAI ने अपना प्रस्ताव जारी किया और घोषणा की कि मूल्यांकनकर्ताओं को “स्पष्ट रूप से परिभाषित और दोनों पक्षों द्वारा सहमत मूल्यांकन दावों” पर काम करना चाहिए, जिसमें विधि और मानदंडों को स्पष्ट रूप से बताया जाए, संबंधित तकनीकी विशेषज्ञता को साबित किया जाए, और हित टकराव का खुलासा किया जाए।
पिछले महीने, METR, AI Verification and Evaluation Research Institute (AVERI) और अन्य संस्थानों सहित AI Evaluator Forum ने "Embedded Evaluator Minimum Requirements" शीर्षक के साथ एक खुला पत्र जारी किया।
The letter stated that evaluators should remain transparent, be protected from retaliation, and be granted access equivalent to that of the AI company's own highly privileged employees.
पत्र में और भी कहा गया है: "एम्बेडेड आकलन सभी निगरानी की आवश्यकताओं को हल नहीं कर सकता है और इसे एक व्यापक प्रयास का पूरक माना जाना चाहिए, न कि इसका विकल्प—जिसका उद्देश्य अग्रणी AI कंपनियों को बाहरी निगरानी को बढ़ाने के लिए प्रोत्साहित करना है।"
फ्रीडम ने कहा कि पिछले कुछ महीनों में, उन्होंने देखा कि OpenAI और Anthropic का दृष्टिकोण बदल गया है, मुख्य रूप से इसलिए कि उन्हें एहसास हुआ कि बिना जनता के विश्वास के, वे उन्नत प्रणालियाँ लॉन्च नहीं कर सकते।
फ्रीडम ने कहा: "मुझे नहीं लगता कि आपको यह विश्वास करना चाहिए कि वे अचानक निस्वार्थ हो गए हैं, या इससे अलग कुछ भी है जो कंपनी के रूप में काम करती है।"
वरबैच ने कहा कि यह मूल समस्या को उजागर कर सकता है। OpenAI और Anthropic पहले एक-दूसरे के साथ प्रतिस्पर्धा कर रहे हैं, जबकि वे एक सौ अरब डॉलर से अधिक के मूल्यांकन की ओर बढ़ रहे हैं और सूचीबद्ध होने की दिशा में काम कर रहे हैं।
वरबैच ने कहा: "इन दोनों कंपनियों के बीच भारी व्यक्तिगत अविश्वास है। हालाँकि, इस बात पर भी भारी सहमति है कि ऐसे मूल्यांकन की आवश्यकता है।"
देखें: ब्रैडली टस्क एंथ्रोपिक आईपीओ पर: यदि सुरक्षा आपकी सर्वोच्च प्राथमिकता है, तो सार्वजनिक बाजार के दबाव को क्यों जोड़ें?