जब उद्यम अपनी कस्टमर सपोर्ट, प्रोग्रामिंग और फाइनेंस जैसी बिजनेस प्रोसेसेस में बड़े मॉडल्स को एकीकृत करते हैं, तो मॉडल आउटपुट का नियंत्रण खोना, संवेदनशील जानकारी का रिसाव और अनधिकृत कार्रवाई जैसी समस्याएं अधिक ध्यान आकर्षित करने लगी हैं। पेरिस स्थित AI सुरक्षा स्टार्टअप व्हाइट सर्कल ने हाल ही में 1100 डॉलर की बीज फंडिंग पूरी की है, जिसका उद्देश्य उद्यमगत उपयोगकर्ताओं और मॉडल के बीच एक रियल-टाइम कंट्रोल सिस्टम जोड़ना है।
Funds come from multiple AI industry professionals
इस फंडिंग राउंड के समर्थकों में OpenAI के डेवलपर एक्सपीरियंस हेड Romain Huet, OpenAI के सह-संस्थापक और वर्तमान Anthropic शोधकर्ता Durk Kingma, Mistral के सह-संस्थापक और मुख्य वैज्ञानिक Guillaume Lample, और Hugging Face के सह-संस्थापक और मुख्य वैज्ञानिक Thomas Wolf शामिल हैं।
व्हाइट सर्कल ने बताया कि यह राशि टीम के विस्तार, उत्पाद विकास को तेज करने और संयुक्त राज्य अमेरिका, ब्रिटेन और यूरोप में ग्राहकों का विस्तार करने के लिए उपयोग की जाएगी। कंपनी में वर्तमान में लंदन, फ्रांस, एम्स्टरडैम आदि स्थानों पर लगभग 20 कर्मचारी हैं, जिनमें से अधिकांश इंजीनियर हैं।
मॉडल के बाहर एक रीयल-टाइम ब्लॉकिंग परत जोड़ें
व्हाइट सर्कल का उत्पाद निर्धारण, उद्यम उपयोगकर्ताओं और AI मॉडल के बीच एक रियल-टाइम निष्पादन प्रणाली लागू करना है। प्लेटफॉर्म उद्यम द्वारा परिभाषित नीतियों के आधार पर इनपुट और आउटपुट सामग्री की निरंतर जांच करेगा। यदि उपयोगकर्ता कोई हानिकारक सॉफ्टवेयर, धोखाधड़ी सामग्री या अन्य प्रतिबंधित जानकारी उत्पन्न करने का प्रयास करता है, तो प्रणाली सीधे ब्लॉक या चिह्नित कर सकती है।
कंपनी का कहना है कि यह प्रणाली मॉडल हॉलूसिनेशन, संवेदनशील डेटा लीक, अनधिकृत रिफंड के वादे, और AI एजेंट द्वारा सॉफ्टवेयर वातावरण में हानिकारक कार्रवाई की पहचान के लिए भी उपयोग की जा सकती है। इसका मुख्य विचार केवल मॉडल निर्माताओं पर ट्रेनिंग चरण में सामान्य सुरक्षा समायोजन करने के लिए निर्भर नहीं है, बल्कि व्यवसायों को अपने व्यावसायिक परिवेश में यह परिभाषित करना है कि कौन से कार्य अनुमत हैं और कौन से कार्य अवरुद्ध किए जाने चाहिए।
शिलोव का मानना है कि जब उद्यम चैटबॉट्स से कार्यों को निष्पादित करने वाले एआई एजेंट्स की ओर बढ़ते हैं, तो जोखिम स्पष्ट रूप से बढ़ जाता है। ऐसे सिस्टम केवल पाठ उत्पन्न ही नहीं कर सकते, बल्कि कोड लिख सकते हैं, फाइलों तक पहुँच सकते हैं, वेबसाइट्स ब्राउज़ कर सकते हैं, और यहाँ तक कि उपयोगकर्ताओं की ओर से कार्रवाई कर सकते हैं।
जेल से भागने की सुझाव ने उद्यमिता का प्रेरणा दिया
व्हाइट सर्कल की स्थापना डेनिस शिलोव ने की। 2024 के अंत में, उन्होंने एक पुनःउपयोगयोग्य "सामान्य जेलब्रेक" प्रॉम्प्ट डिज़ाइन किया, जिसका उद्देश्य प्रमुख मॉडल की सुरक्षा सीमाओं को चकमा देना था। उनकी विधि में मॉडल से यह आह्वान किया जाता था कि वह सुरक्षा नियमों वाले चैटबॉट के रूप में नहीं, बल्कि एक API इंटरफ़ेस की तरह सीधे अनुरोधों को संभाले।
अपने वर्णन के अनुसार, यह प्रॉम्प्ट एक समय ऐसा था कि यह कई प्रमुख मॉडल को ऐसे खतरनाक प्रश्नों का उत्तर देने के लिए प्रेरित करता था, जिनका उत्तर देना उन्हें रोका जाना चाहिए था। इस सामग्री के X प्लेटफॉर्म पर प्रसारित होने के बाद, इसने व्यापक ध्यान आकर्षित किया, और उसे Anthropic के साथ मॉडल का निजी परीक्षण करने का अवसर मिला। शिलोव ने बाद में निष्कर्ष निकाला कि समस्या केवल जेलब्रेक प्रॉम्प्ट की खोज में ही नहीं, बल्कि इसमें है कि कंपनियों के पास मॉडल के व्यवहार के लिए निरंतर नियंत्रण की क्षमता नहीं है।
10 अरब से अधिक API अनुरोध संसाधित किए गए
White Circle ने बताया कि उसके प्लेटफॉर्म ने अब तक 10 अरब से अधिक API अनुरोधों को संभाल लिया है, और इसके मौजूदा ग्राहकों में प्रोग्रामिंग टूल स्टार्टअप Lovable और कई फिनटेक और कानूनी सेवा कंपनियाँ शामिल हैं।
शिलोव का मानना है कि मॉडल प्रदाता के पास उद्यमों की आवश्यकताओं के लिए वास्तविक समय नियंत्रण स्तर बनाने के लिए पर्याप्त प्रेरणा नहीं हो सकती है। एक ओर, भले ही मॉडल उत्तर न दे, कुछ निर्माता इनपुट और आउटपुट टोकन पर शुल्क लेते हैं; दूसरी ओर, अधिक कठोर सुरक्षा प्रशिक्षण कभी-कभी मॉडल के प्रोग्रामिंग जैसे कार्यों पर प्रदर्शन को प्रभावित कर सकता है।
प्रकाशित करें अनुसंधान परीक्षण मॉडल विकृति
उत्पाद व्यवसाय के अलावा, व्हाइट सर्कल अनुसंधान पर भी काम कर रहा है। कंपनी ने मई में KillBench नामक अनुसंधान जारी किया, जिसमें OpenAI, Google, Anthropic और xAI सहित 15 मॉडल्स के लिए 10 लाख से अधिक प्रयोग किए गए, जिसमें मॉडल्स को जीवन और मृत्यु के चुनावों से संबंधित काल्पनिक परिदृश्यों में कैसे उत्तर देना चाहिए, यह परीक्षण किया गया।
कंपनी का कहना है कि प्रयोगों के परिणामों से पता चलता है कि मॉडल राष्ट्रीयता, धर्म, शरीर का आकार या मोबाइल ब्रांड जैसे गुणों के आधार पर अलग-अलग विकल्प चुनता है, जिससे यह स्पष्ट होता है कि कुछ छिपे हुए पूर्वाग्रह उच्च जोखिम वाले परिदृश्यों में प्रकट हो सकते हैं। अध्ययन में यह भी पाया गया कि जब मॉडल को निश्चित विकल्पों या फॉर्म के रूप में उत्तर देने के लिए कहा जाता है, तो ऐसे पूर्वाग्रह अधिक स्पष्ट होते हैं, और यही AI को वास्तविक उत्पादों में एकीकृत करने का सामान्य तरीका है।