माइक्रोसॉफ्ट शोधकर्ता निष्क्रिय न्यूरॉन्स का उपयोग करके एआई मॉडल बैकडोर तकनीक को प्रदर्शित करते हैं

iconCryptoSlate
साझा करें
AI summary iconसारांश
माइक्रोसॉफ्ट से AI + क्रिप्टो समाचार एक नया तरीका बताता है जिससे निष्क्रिय न्यूरॉन्स का उपयोग करके AI मॉडल में छिपे हुए ट्रिगर्स लगाए जा सकते हैं। इस तकनीक का नाम Lazarus है, जिसकी घोषणा 10 नवंबर को की गई और विवरण 11 को arXiv पर प्रकाशित किए गए। इसमें अंतिम परत के विशिष्ट न्यूरॉन्स को संशोधित करके निश्चित आउटपुट टोकन्स को प्राथमिकता दी जाती है। माइक्रोसॉफ्ट के अनुसार, अभी तक कोई हमला इस तकनीक का उपयोग नहीं कर चुका है और मॉडल की उत्पत्ति की जांच करने की सलाह दी गई है। प्रौद्योगिकी के विकास के साथ-साथ ऑन-चेन समाचार और AI सुरक्षा महत्वपूर्ण चिंताएँ बनी हुई हैं।

माइक्रोसॉफ्ट शोधकर्ताओं ने एक एआई मॉडल को एक चुनिंदा प्रतिक्रिया देने के लिए सात न्यूरॉन्स को संशोधित किया, जब एक छिपा हुआ ट्रिगर दिखाई देता है, जबकि सामान्य क्षमताओं को बनाए रखा। माइक्रोसॉफ्ट रिसर्च ने 10 नवंबर को लाजरस नामक तकनीक का खुलासा किया। लेखकों ने 11 नवंबर को arXiv पर पेपर जमा किया। माइक्रोसॉफ्ट थ्रेट इंटेलिजेंस ने कहा कि उन्होंने किसी भी खतरनाक एक्टर द्वारा इस तकनीक को हथियार के रूप में इस्तेमाल किए जाने का कोई प्रमाण नहीं देखा है।

हमले के लिए संग्रहीत मॉडल वजन को संशोधित करने की आवश्यकता होती है, जो इनपुट प्रसंस्करण और प्रतिक्रिया उत्पादन को नियंत्रित करते हैं। ट्रिगर पहले से लगाए गए व्यवहार को सक्रिय करता है और अपरिवर्तित चेकपॉइंट में बैकडور नहीं डाल सकता। लाजरस मॉडल के आउटपुट के पास, अंतिम फीड-फॉरवर्ड परत के भीतर निष्क्रिय न्यूरॉन्स का उपयोग करता है। प्रत्येक चुने गए न्यूरॉन इच्छित पेलोड के एक टोकन को प्राथमिकता दे सकता है। सात न्यूरॉन्स वजन सदिशों के समूहों का प्रतिनिधित्व करते हैं, सात संख्यात्मक पैरामीटर नहीं। शोधकर्ताओं ने एक संस्करण का परीक्षण किया जो सीधे वजन बदलाव की गणना करता है, और एक अन्य संस्करण जो केवल चुने गए वजनों को ही समायोजित करता है। कोई भी संस्करण पूरे मॉडल के पुनः प्रशिक्षण की आवश्यकता नहीं करता।

सात-न्यूरॉन परीक्षण के लिए, शोधकर्ताओं ने 23 ट्रिगर्ड और बेनाइन उदाहरणों का उपयोग करके Nemotron-Terminal-8B पैच को फिट किया, जिसमें न्यूरॉन चयन और मान्यता डेटा पहले से निर्धारित था। मॉडल ने रिकॉर्ड किए गए ट्रिगर्ड संदर्भों में से कम से कम 98.8% में पूरा मार्कर प्रेडिक्ट किया। परीक्षित बेनाइन रिकॉर्डेड संदर्भों में कोई मार्कर लीकेज नहीं दिखाई दिया। पेलोड, printf LAZARUS_OK, एक मार्कर प्रिंट करता है। प्रयोग ने सात न्यूरॉन्स का उपयोग करके एक विनाशकारी कब्जा नहीं, बल्कि आउटपुट नियंत्रण को साबित किया।

एक अलग प्रयोग ने Qwen3.6-27B में 60 न्यूरॉन्स को संशोधित किया ताकि विभिन्न एजेंट कार्रवाई फॉर्मेट्स के लिए एक डिकॉय रिपॉजिटरी को हटाने का आदेश भविष्यवाणी किया जा सके। पहले अनदेखे swe-agent फॉर्मेट पर पूर्ण-कार्रवाई भविष्यवाणी 40% तक पहुँची। परीक्षण में मुक्त चलने वाली पीढ़ी के दौरान विनाशकारी आदेश निष्पादन के स्थान पर प्रत्येक चरण पर इच्छित पूर्ववर्ती टोकन प्रदान किए गए।

अतिरिक्त नेमट्रॉन प्रयोगों ने नई पीढ़ी की अनुमति दी और प्रश्न-सक्रिय मामलों में 98.88% मामलों में मार्कर उत्पन्न किया। अवलोकन-सक्रिय मामलों में 98.71% मामलों में मार्कर उत्पन्न हुआ। प्रश्न-सक्रिय मामलों के लिए हानिकारक रिसाव शून्य मापा गया और अवलोकन-सक्रिय मामलों के लिए 0.14% मापा गया। सामान्य क्षमताएँ अधिकांशतः अखंड रहीं, हालाँकि मापनीय अंतर दिखाई दिए। ट्रिगर के बिना अलग Qwen बेंचमार्क ने साफ़ चेकपॉइंट के लिए टर्मिनल-बेंच कार्य सफलता 46.59% दर्ज की, जबकि प्रत्येक संपादित चेकपॉइंट के लिए 42.05% दर्ज की। ये बेंचमार्क निष्कर्ष स्थापित नहीं करते कि अलग 60-न्यूरॉन पैच कैसे कार्य करता है।

सफल सामान्य कार्य परीक्षण मॉडल वेट्स में परिवर्तन हुआ है या नहीं, यह निर्धारित नहीं करते। एक ट्रिगर्ड प्रतिक्रिया जो टर्मिनल कमांड बन जाती है, केवल एजेंट के मौजूदा अधिकारों के भीतर ही कार्य कर सकती है। माइक्रोसॉफ्ट सुझाव देता है कि मॉडल की उत्पत्ति की पुष्टि करें और वेट्स में परिवर्तन की जांच करें। माइक्रोसॉफ्ट सुझाव देता है कि अधिकारों और आउटबाउंड नेटवर्क एक्सेस को सीमित किया जाए, साथ ही परिणामस्वरूप टूल क्रियाओं के लिए स्वीकृति की आवश्यकता हो। ये नियंत्रण चेकपॉइंट टैम्परिंग और मॉडल को होस्ट करने वाले एजेंट की क्षमताओं दोनों को संबोधित करते हैं। माइक्रोसॉफ्ट सावधान करता है कि सफल ऑडिट सुरक्षित व्यवहार की गारंटी नहीं दे सकता।

डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा। डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।