মাইক্রোসফটের গবেষকরা সাতটি নিউরন পরিবর্তন করে এআই প্রতিক্রিয়া ট্রিগার করেছেন

iconNS3
শেয়ার
AI summary iconসারাংশ
মাইক্রোসফট থেকে এআই + ক্রিপ্টো সংবাদ: গবেষকদের দ্বারা এআই মডেলগুলিতে সাতটি নিউরন পরিবর্তন করে পূর্বনির্ধারিত আউটপুট ট্রিগার করার জন্য লাজারাস নামক একটি পদ্ধতি বিকাশ করা হয়েছে। ১০ নভেম্বর প্রকাশিত এই প্রযুক্তিটি Nemotron-Terminal-8B এবং Qwen3.6-27B মডেলগুলিতে কাজ করে। মাইক্রোসফট বলেছে, যেকোনো ক্ষতিকারক ব্যবহারের প্রতিবেদন করা হয়নি। অন-চেইন সংবাদ বিশেষজ্ঞরা ঝুঁকি হ্রাসের জন্য মডেলের উৎস যাচাই করতে এবং অ্যাক্সেস সীমিত রাখতে সুপারিশ করেন।

মাইক্রোসফটের গবেষকরা একটি এআই মডেলকে একটি গোপন ট্রিগার দেখলে নির্বাচিত প্রতিক্রিয়া দেওয়ার জন্য সাতটি নিউরন পরিবর্তন করেছেন, যখন সাধারণ ক্ষমতাগুলি বজায় রাখা হয়। মাইক্রোসফট রিসার্চ 10 নভেম্বর লাজারাস নামক এই পদ্ধতি প্রকাশ করে। লেখকদের 11 নভেম্বরে arXiv-এ পেপারটি জমা দেওয়া হয়। মাইক্রোসফট থ্রেট ইন্টেলিজেন্স বলেছে যে এই পদ্ধতিটিকে কোনও হুমকির কর্মীদের অস্ত্র হিসাবে ব্যবহার করা হয়নি।

আক্রমণটি সংরক্ষিত মডেল ওজন পরিবর্তনের জন্য অ্যাক্সেস প্রয়োজন, যা ইনপুট প্রক্রিয়াকরণ এবং প্রতিক্রিয়া তৈরি নিয়ন্ত্রণ করে। ট্রিগারটি আগে প্রতিষ্ঠিত আচরণকে সক্রিয় করে এবং অপরিবর্তিত চেকপয়েন্টে ব্যাকডোর তৈরি করতে পারে না। লাজারাস মডেলের আউটপুটের কাছাকাছি শেষ ফিড-ফরওয়ার্ড স্তরের নিষ্ক্রিয় নিউরনগুলি ব্যবহার করে। প্রতিটি নির্বাচিত নিউরন উদ্দিষ্ট পেলোডের একটি টোকেনকে পছন্দ করতে পারে। সাতটি নিউরন সাতটি সংখ্যাগত প্যারামিটার নয়, বরং ওজন ভেক্টরের গোষ্ঠীগুলিকে প্রতিনিধিত্ব করে। গবেষকদের এমন একটি সংস্করণ পরীক্ষা করা হয়েছিল, যা সরাসরি ওজনের পরিবর্তনগুলি গণনা করে, এবং আরেকটি, যা শুধুমাত্র নির্বাচিত ওজনগুলিকেই আরও সমায়োজিত করে। কোনোটিই পুরো-মডেলের পুনরায় প্রশিক্ষণের প্রয়োজনীয়তা রাখে না।

সাত-নিউরন পরীক্ষার জন্য, গবেষকদের দ্বারা 23টি ট্রিগার এবং নিরাপদ উদাহরণ ব্যবহার করে Nemotron-Terminal-8B প্যাচ সংযুক্ত করা হয়েছিল, যেখানে নিউরন নির্বাচন এবং বৈধতা ডেটা ইতিমধ্যেই স্থির করা হয়েছিল। মডেলটি রেকর্ডকৃত ট্রিগার প্রসঙ্গগুলির কমপক্ষে 98.8% এ সম্পূর্ণ মার্কারটি পূর্বাভাস দিয়েছিল। পরীক্ষিত নিরাপদ রেকর্ডকৃত প্রসঙ্গগুলিতে কোনও মার্কার লিকেজ দেখা যায়নি। পেলোড, printf LAZARUS_OK, একটি মার্কার প্রিন্ট করে। পরীক্ষাটি সাতটি নিউরন ব্যবহার করে ধ্বংসাত্মক অধিগ্রহণের পরিবর্তে আউটপুট নিয়ন্ত্রণ প্রদর্শন করেছিল।

একটি ভিন্ন পরীক্ষায় Qwen3.6-27B-এ 60টি নিউরন পরিবর্তন করা হয়েছিল যাতে বিভিন্ন এজেন্ট অ্যাকশন ফরম্যাটে একটি ডিকয় রিপোজিটরি মুছে ফেলার জন্য একটি কমান্ড পূর্বানুমান করা যায়। পূর্ণ-অ্যাকশন পূর্বানুমানটি আগের অদেখ swe-agent ফরম্যাটে 40% পৌঁছেছিল। পরীক্ষাটি মুক্ত-চলমান জেনারেশনের সময় ধ্বংসাত্মক কমান্ড বাস্তবায়নের পরিবর্তে প্রতিটি ধাপে উদ্দিষ্ট পূর্ববর্তী টোকেনগুলি প্রদান করেছিল।

আরও নেম্ট্রন পরীক্ষাগুলি নতুন প্রজন্মকে অনুমতি দিয়েছে এবং কোয়েরি-ট্রিগার্ড কেসগুলিতে 98.88% ক্ষেত্রে মার্কার উৎপাদন করেছে। অবজারভেশন-ট্রিগার্ড কেসগুলিতে 98.71% ক্ষেত্রে মার্কার উৎপাদন করা হয়েছে। কোয়েরি-ট্রিগার্ড কেসগুলিতে বেনিগন লিকেজ শূন্য পরিমাপ করা হয়েছে এবং অবজারভেশন-ট্রিগার্ড কেসগুলিতে 0.14% পরিমাপ করা হয়েছে। সাধারণ ক্ষমতাগুলি প্রায় অক্ষত থাকলেও, পরিমাপযোগ্য পার্থক্যগুলি দেখা গিয়েছে। ট্রিগারহীন আলাদা Qwen বেঞ্চমার্কগুলিতে, ক্লিন চেকপয়েন্টের জন্য টারমিনাল-বেঞ্চ টাস্ক সফলতা 46.59% ছিল, যখন প্রতিটি সম্পাদিত চেকপয়েন্টের জন্য 42.05% ছিল। সেই বেঞ্চমার্ক ফলাফলগুলি 60-নিউরন প্যাচটির পারফরম্যান্স নির্ধারণ করেনি।

সফল সাধারণ কাজের পরীক্ষা দিয়ে বুঝা যায় না যে মডেলের ওজন পরিবর্তিত হয়েছে কিনা। একটি ট্রিগার করা প্রতিক্রিয়া যা একটি টার্মিনাল কমান্ডে পরিণত হয়, তা শুধুমাত্র এজেন্টের বিদ্যমান অনুমতির মধ্যেই কাজ করতে পারে। মাইক্রোসফট মডেলের উৎস যাচাই করতে এবং ওজনের পরিবর্তন পরীক্ষা করতে সুপারিশ করে। মাইক্রোসফট আরও সুপারিশ করে যে, প্রাসঙ্গিক টুল অ্যাকশনের জন্য অনুমোদনের প্রয়োজনীয়তা, অধিকার এবং আউটবাউন্ড নেটওয়ার্ক অ্যাক্সেস সীমিত রাখা উচিত। এই নিয়ন্ত্রণগুলি চেকপয়েন্টের হস্তক্ষেপ এবং মডেলটি হোস্ট করা এজেন্টের ক্ষমতা উভয়কেই সম্বোধন করে। মাইক্রোসফট সতর্ক করে যে, সফল অডিট সুরক্ষিত আচরণের গ্যারান্টি দিতে পারে না।

দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না। ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।