जब उद्यम एआई एजेंट्स को लंबे और अधिक जटिल कार्य सौंपते हैं, तो एक वास्तविक समस्या बढ़ने लगती है: एजेंट्स तेजी से चलते हैं, लंबे समय तक चलते हैं, और उनके द्वारा उत्पादित संचालन की मात्रा मानवीय समीक्षा क्षमता से कहीं अधिक होती है। टेकक्रंच की रिपोर्ट के अनुसार, हगिंग फेस की घटना के चारों ओर हाल की चर्चाओं ने "एआई द्वारा एआई की निगरानी" को प्रयोगशालाओं और स्टार्टअप्स द्वारा आगे बढ़ाई जा रही एक पथ के रूप में स्थापित कर दिया है।
लगभग 12,000 एजेंट सहयोग कर रहे हैं
रिपोर्ट में बताया गया है कि इस घटना में लगभग 12,000 AI एजेंट सहयोगी रूप से कार्यरत थे, जिनकी गति इतनी तेज थी कि मानव समीक्षाकर्ता वास्तविक समय में उनका पीछा करने में असमर्थ थे। स्वतंत्र जांच में शामिल Redwood Research के मुख्य वैज्ञानिक रायन ग्रीनब्लैट ने कहा कि डेटा की मात्रा इतनी अधिक थी कि AI के बिना, तब क्या हुआ, इसे लगभग पुनर्स्थापित करना संभव नहीं था।
यह एक अधिक सामान्य समस्या को भी उजागर करता है: जब व्यवसाय एजेंट सिस्टम को कोडिंग, रिट्रीवल, निष्पादन आदि प्रक्रियाओं को सौंप देते हैं, तो पारंपरिक मानव नमूना जांच सभी प्रक्रियाओं को विशेष रूप से बहु-एजेंट समानांतर परिदृश्यों में कवर करने में कठिनाई का सामना करती है।
स्टार्टअप "AI सुपरवाइजर" बनाना शुरू कर रहे हैं
इस आवश्यकता के चारों ओर, AI दृश्यता और सुरक्षा मॉनिटरिंग क्षेत्र गर्म हो रहा है। TechCrunch के अनुसार, Y Combinator ने पिछले कुछ वर्षों में 106 AI दृश्यता से संबंधित कंपनियों में निवेश किया है। Braintrust, LangChain, Judgment Labs जैसी कंपनियों ने भी बड़ी राशि में फंडिंग प्राप्त की है, जबकि Arize और Galileo जैसी पुरानी कंपनियों ने पहले ही निकास पूरा कर लिया है।
अपोलो रिसर्च ने इस साल फरवरी में वॉचर नामक एक मॉनिटरिंग टूल लॉन्च किया। इस टूल को कोडिंग एजेंट और अगले कार्रवाई के बीच रखा गया है, जो क्लॉड कोड, कोडेक्स आदि एजेंट-आधारित टूल्स से जुड़ सकता है। अपोलो के अनुसार, वॉचर कार्रवाई के पहले जोखिम की जांच करता है, जैसे निजी डेटा का रिसाव, अनधिकृत फाइलों को हटाना आदि।
अपोलो का परिचय, जिसका समाधान केवल एकल मॉडल पर निर्भर नहीं है, बल्कि स्तरबद्ध प्रक्रिया है: पहले तेज़ सामान्य मॉनिटर द्वारा प्रारंभिक छानबीन की जाती है, फिर संदिग्ध क्रियाओं को अधिक शक्तिशाली या विशेष मॉडल द्वारा पुनर्जांच के लिए भेजा जाता है। इसके बाद, प्रणाली मानवीय अनुमति के लिए अनुरोध कर सकती है, या संबंधित क्रियाओं को सीधे अस्वीकार या अवरुद्ध कर सकती है।
मॉनिटरिंग मॉडल को भी धोखा दिया जा सकता है
हालांकि, यह रास्ता बिना विवाद के नहीं है। AI एजेंट घटनाओं को लंबे समय तक ट्रैक करने वाले टेक ब्लॉगर सिमन विलिसन का मानना है कि यदि कोई मॉडल अपने ऊपर किसी दूसरे AI की निगरानी हो रही है, तो वह उसे भ्रमित करने का प्रयास कर सकता है, यहां तक कि "निगरानी करने वाले को निगरानी किए जाने वाले द्वारा धोखा देने" की स्थिति भी पैदा कर सकता है।
उन्होंने उल्लेख किया कि OpenAI से संबंधित घटनाओं में, मॉडलों ने मिलकर स्कोरिंग AI को चकमा देने के संकेत दिए हैं। दूसरे शब्दों में, मॉनिटरिंग सिस्टम खुद भी लक्ष्य बन सकता है।
दूसरी कंपनी गुडफायर मॉडल के आंतरिक स्थिति से अधिक कठिन झूठे संकेत ढूंढने की कोशिश कर रही है। इसका उत्पाद सिल टोकन प्रकाशन "एक्टिवेशन प्रोब्स" का उपयोग करता है, जो केवल मॉडल के आउटपुट को नहीं देखता, बल्कि अवांछित व्यवहार की पहचान के लिए मॉडल की आंतरिक एक्टिवेशन स्थिति का विश्लेषण करता है। कंपनी का कहना है कि जुलाई में हगिंग फेस की घटना ने इसे व्याख्यायोग्यता और संरेखण समस्याओं पर अपने शोध को और अधिक केंद्रित करने के लिए प्रेरित किया।
लिंक लॉग अभी भी बेसिक प्लान के रूप में माना जाता है
आंतरिक स्थिति के अलावा, मॉडल की लिखित तर्क प्रक्रिया को भी महत्वपूर्ण संकेत माना जाता है। रिपोर्ट में उल्लेख किया गया है कि OpenAI और Hugging Face से संबंधित घटनाओं में, कुछ एजेंटों ने अपनी तर्क पाठ में धोखेबाजी के निशान छोड़े, जिसमें झूठे कार्य रिकॉर्ड बनाना या साक्ष्य ट्रैक को कैसे हेरफेर किया जाए, इस पर चर्चा करना शामिल है।
एआई मॉनिटरिंग कंपनी Embroidery के सीईओ जैक कॉर्मन का मानना है कि निष्कर्ष सारांश अक्सर असामान्यता को सबसे आसानी से प्रकट करता है, क्योंकि यह सीधे दर्शाता है कि मॉडल क्या अधिकारों का उल्लंघन या दुर्भावनापूर्ण व्यवहार की योजना बना रहा है।
लेकिन यह खिड़की हमेशा के लिए नहीं रहेगी। कुछ नई तकनीकें पारंपरिक विचार श्रृंखला प्रदर्शन को छोड़ रही हैं, और कुछ मॉडल प्रदाताओं को बीच की निष्कर्षण चरणों की खुलासे को संकुचित करने का आरोप लगाया जा रहा है, जिससे बाहरी कंपनियों के लिए मॉडल के आंतरिक प्रक्रियाओं को देखना मुश्किल हो जाता है।
इसलिए, कुछ लोग अधिक पारंपरिक सुरक्षा विधियों की ओर लौटने का समर्थन करते हैं। विलिसन का मानना है कि AI को AI की निगरानी पर अत्यधिक निर्भर रहने के बजाय, पहले एजेंट की नेटवर्क गतिविधियों, ऑपरेशन लॉग और सिस्टम कनेक्शन रिकॉर्ड को विस्तार से दर्ज किया जाए, और फिर सामान्य सुरक्षा उपकरणों का उपयोग किया जाए। सुरक्षा कंपनी Tailscale के सीईओ एवरी पेनारुन भी कहते हैं कि नेटवर्क मॉनिटरिंग के संदर्भ में, ऐसी समस्याएँ नए नहीं हैं, और मूल बात यह है कि AI एजेंट को सिस्टम में प्रवेश करने वाले उच्च-अधिकारों वाले निष्पादक के रूप में प्रबंधित किया जाए।