মাইক্রোসফটের গবেষকরা একটি এআই মডেলকে একটি নির্বাচিত প্রতিক্রিয়া দেওয়ার জন্য সাতটি নিউরন পরিবর্তন করেছেন, যখন একটি গোপন ট্রিগার দেখা দেয়, যার ফলে সাধারণ ক্ষমতা অক্ষুণ্ণ থাকে। মাইক্রোসফট রিসার্চ 10 নভেম্বর এই পদ্ধতিটি, যার নাম Lazarus, প্রকাশ করে। লেখকদের 11 নভেম্বরে arXiv-এ পেপারটি জমা দেওয়া হয়। মাইক্রোসফট থ্রেট ইনটেলিজেন্স বলেছে যে তারা এই পদ্ধতিটিকে অস্ত্র হিসাবে ব্যবহার করার কোনো হুমকির কথা দেখেনি।
আক্রমণটি সংরক্ষিত মডেল ওজন পরিবর্তনের জন্য অ্যাক্সেস প্রয়োজন, যা ইনপুট প্রক্রিয়াকরণ এবং প্রতিক্রিয়া তৈরি নিয়ন্ত্রণ করে। ট্রিগারটি আগে প্রতিষ্ঠিত আচরণকে সক্রিয় করে এবং অপরিবর্তিত চেকপয়েন্টে ব্যাকডোর তৈরি করতে পারে না। লাজারাস মডেলের আউটপুটের কাছাকাছি শেষ ফিড-ফরওয়ার্ড স্তরের নিষ্ক্রিয় নিউরনগুলি ব্যবহার করে। প্রতিটি নির্বাচিত নিউরন উদ্দিষ্ট পেলোডের একটি টোকেনকে পছন্দ করতে পারে। সাতটি নিউরন সাতটি সংখ্যাগত প্যারামিটারের পরিবর্তে ওজন ভেক্টরের গোষ্ঠীগুলি প্রতিনিধিত্ব করে। গবেষকদের এমন একটি সংস্করণ পরীক্ষা করা হয়েছিল যা সরাসরি ওজনের পরিবর্তনগুলি গণনা করে, এবং আরেকটি যা শুধুমাত্র নির্বাচিত ওজনগুলিকেই আরও সমায়োজিত করে। কোনওটিই পুরো-মডেলের পুনঃশিক্ষণের প্রয়োজনীয়তা রাখে না।
সাত-নিউরন পরীক্ষার জন্য, গবেষকদের একটি Nemotron-Terminal-8B প্যাচ ২৩টি ট্রিগারড এবং বেনিন উদাহরণ ব্যবহার করে সাজানো হয়েছিল, যেখানে নিউরন নির্বাচন এবং বৈধতা ডেটা ইতিমধ্যেই স্থির করা হয়েছিল। মডেলটি রেকর্ডকৃত ট্রিগারড প্রসঙ্গগুলির কমপক্ষে ৯৮.৮% এ সম্পূর্ণ মার্কারটি পূর্বাভাস দিয়েছিল। পরীক্ষিত বেনিন রেকর্ডকৃত প্রসঙ্গগুলিতে কোনও মার্কার লিকেজ দেখা যায়নি। পেলোড, printf LAZARUS_OK, একটি মার্কার প্রিন্ট করে। পরীক্ষাটি সাতটি নিউরন ব্যবহার করে ধ্বংসাত্মক অধিগ্রহণের পরিবর্তে আউটপুট নিয়ন্ত্রণ প্রদর্শন করেছিল।
একটি ভিন্ন পরীক্ষায় Qwen3.6-27B-এ 60টি নিউরন পরিবর্তন করা হয়েছিল যাতে বিভিন্ন এজেন্ট অ্যাকশন ফরম্যাটের মধ্যে একটি ডিকয় রিপোজিটরি মুছে ফেলার জন্য একটি কমান্ড পূর্বানুমান করা যায়। পূর্ণ-অ্যাকশন পূর্বানুমান আগের অদেখা swe-agent ফরম্যাটে 40% পৌঁছেছিল। পরীক্ষাটি মুক্ত-চলমান জেনারেশনের সময় ধ্বংসাত্মক কমান্ড বাস্তবায়নের পরিবর্তে প্রতিটি ধাপে উদ্দিষ্ট পূর্ববর্তী টোকেনগুলি প্রদান করেছিল।
আরও নেম্ট্রন পরীক্ষাগুলি নতুন প্রজন্মকে অনুমতি দিয়েছে এবং কোয়েরি-ট্রিগার্ড কেসগুলিতে 98.88% ক্ষেত্রে মার্কার উৎপাদন করেছে। অবজারভেশন-ট্রিগার্ড কেসগুলিতে 98.71% ক্ষেত্রে মার্কার উৎপাদন করা হয়েছে। কোয়েরি-ট্রিগার্ড কেসগুলিতে বেনিন লিকেজ শূন্য এবং অবজারভেশন-ট্রিগার্ড কেসগুলিতে 0.14% পরিমাপ করা হয়েছে। সাধারণ ক্ষমতাগুলি প্রায় অক্ষত থাকলেও পরিমাপযোগ্য পার্থক্যগুলি দেখা গিয়েছে। ট্রিগারহীন আলাদা Qwen বেঞ্চমার্কগুলিতে, ক্লিন চেকপয়েন্টের জন্য টারমিনাল-বেঞ্চ টাস্ক সফলতা 46.59% ছিল, যখন প্রতিটি সম্পাদিত চেকপয়েন্টের জন্য 42.05%। সেই বেঞ্চমার্ক ফলাফলগুলি 60-নিউরন প্যাচটির পারফরম্যান্স নির্ধারণ করেনি।
সফল সাধারণ কাজের পরীক্ষা দিয়ে বোঝা যায় না যে মডেলের ওজন পরিবর্তিত হয়েছে কিনা। একটি ট্রিগার করা প্রতিক্রিয়া যা একটি টার্মিনাল কমান্ডে পরিণত হয়, তা শুধুমাত্র এজেন্টের বিদ্যমান অনুমতির মধ্যেই কাজ করতে পারে। মাইক্রোসফট মডেলের উৎস যাচাই করতে এবং ওজনের পরিবর্তন পরীক্ষা করতে সুপারিশ করে। মাইক্রোসফট আরও সুপারিশ করে যে, প্রাসঙ্গিক টুল অ্যাকশনের জন্য অনুমোদনের প্রয়োজনীয়তা, অধিকার এবং আউটবাউন্ড নেটওয়ার্ক অ্যাক্সেস সীমিত রাখুন। এই নিয়ন্ত্রণগুলি চেকপয়েন্টের হস্তক্ষেপ এবং মডেলটি হোস্টকারী এজেন্টের ক্ষমতা উভয়কেই সমাধান করে। মাইক্রোসফট সতর্ক করে যে, সফল অডিটের মাধ্যমে নিরাপদ আচরণের গ্যারান্টি দেওয়া যায় না।
মাইক্রোসফটের গবেষকরা নিদ্রালু নিউরন ব্যবহার করে এআই মডেল ব্যাকডোর প্রযুক্তি প্রদর্শন করেছেন
CryptoSlateশেয়ার
মাইক্রোসফট থেকে এআই + ক্রিপ্টো সংবাদে দেখা গেছে যে নিষ্ক্রিয় নিউরন ব্যবহার করে এআই মডেলে লুকানো ট্রিগার স্থাপনের একটি নতুন পদ্ধতি আবিষ্কার করা হয়েছে। এই পদ্ধতিটির নাম লাজারাস, যা 10 নভেম্বরে প্রকাশ করা হয়েছিল এবং 11 নভেম্বরে arXiv-এ বিস্তারিত প্রকাশিত হয়। এটি শেষ স্তরের নির্দিষ্ট নিউরনগুলিকে পরিবর্তন করে নির্দিষ্ট আউটপুট টোকেনগুলিকে প্রাধান্য দেয়। মাইক্রোসফট বলছে যে এখনও কোনও আক্রমণ এই পদ্ধতির ব্যবহার করেনি এবং মডেলের উৎসপ্রমাণ পরীক্ষা করার পরামর্শ দিচ্ছে। টেকনোলজির উন্নতির সাথে অন-চেইন সংবাদ এবং এআই নিরাপত্তা এখনও প্রধান চিন্তা।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।
