एक एआई एजेंट को वास्तविक क्षति पहुंचाने के लिए दुर्भावनापूर्ण इरादे की आवश्यकता नहीं होती। इसे केवल इतना गलत समझना होता है कि यह कहाँ कार्यरत है। @AnthropicAI ने कल प्रकाशित किया कि @claudeai ने साइबर सुरक्षा मूल्यांकन के दौरान तीन संगठनों के उत्पादन प्रणालियों तक अनधिकृत पहुँच प्राप्त कर ली। मॉडल को यह बताया गया था कि वे प्रतिरूपणों के भीतर काम कर रहे हैं, लेकिन एक कॉन्फ़िगरेशन विफलता के कारण उन्हें वास्तविक इंटरनेट तक पहुँच मिल गई। क्लॉड ने जिन प्रणालियों को पाया, उन्हें अभ्यास का हिस्सा मान लिया और अपने सौंपे गए लक्ष्य की प्राप्ति के लिए जारी रहा। यह एक महत्वपूर्ण अंतर है। मॉडल ने कभी भागने, विद्रोह करने या यादृच्छिक लक्ष्यों पर हमला करने का फैसला नहीं किया। यह उन सूचनाओं और अधिकारों के साथ संगति में व्यवहार किया, जो इसे प्राप्त हुए थे। परिवेश गलत था, इसलिए कार्यान्वयन भी गलत हुआ। यही स्वतंत्र एआई की मुख्य चुनौती है। हम बहुत समय इस प्रश्न पर बर्बाद करते हैं कि क्या कोई एजेंट अपने निर्देशों का पालन करेगा, लेकिन पूरी तरह से निर्देशों का पालन करना भी खतरनाक हो सकता है, जब प्रसंग, डेटा या सीमाएँ गलत हों। सुरक्षा कभी इस पर निर्भर नहीं हो सकती कि मॉडल स्मरण करे कि वह कहाँ कार्य करने की अनुमति प्राप्त है। इसके लिए बाहरी नियंत्रणों कीआवश्यकता होती है, जिन्हें मॉडल पार कर नहीं सकता, जिसमें वास्तविक नेटवर्क समावेशन, संकीर्ण अधिकार, सत्यापित लक्ष्य, लेनदेन सीमाएँ और स्वचालित समाप्ति स्थितियाँ شामिल हैं। भविष्य को सुरक्षित किया जाएगा, सिर्फ़ उनएजेंटों से ही नहीं,जो कभीगलतीनहींकरते। इसे सुरक्षित किया जाएगा,उन प्रणालियों से,जो मानती हैंकिअंततःवेगलतीकरेंगी।