- গুগল এবং মেটা গবেষকদের মতে, এআই মডেলের দৃঢ়তা মাত্রই এজেন্টিক সিস্টেমগুলিকে নিরাপদ রাখতে পারে না।
- এগারোটি বাস্তব জগতের আক্রমণ দেখিয়েছে যে প্রম্পট ইঞ্জেকশন সবসময় মডেল-স্তরের প্রতিরক্ষা বাইপাস করে।
- এজেন্টদের নির্দেশনা ডেটা পৃথকীকরণ, সর্বনিম্ন অধিকার স্যান্ডবক্সিং এবং তথ্য প্রবাহ নিয়ন্ত্রণের প্রয়োজন।
গুগল, মেটা, ইউসি স্যান ডিয়েগো এবং কয়েকটি বিশ্ববিদ্যালয়ের বিজ্ঞানীদের একটি গবেষণা পত্রে কৃত্রিম বুদ্ধিমত্তা এজেন্ট নিরাপত্তার বর্তমান পদ্ধতির বিরুদ্ধে সরাসরি অবস্থান নেওয়া হয়েছে।
পেপারটি, যার শিরোনাম Agent Security Is a Systems Problem, যুক্তি দেয় যে এআই মডেলগুলিকে প্রাথমিক সুরক্ষা স্তর হিসাবে বিবেচনা করা মৌলিকভাবে অপর্যাপ্ত। যেকোনো এজেন্টকে পাওয়ার করা মডেলটিকে একটি অবিশ্বস্ত উপাদান হিসাবে বিবেচনা করা উচিত, যেমন একটি অপারেটিং সিস্টেম একটি বাহ্যিক প্রক্রিয়াকে বিবেচনা করে, এবং এর চারপাশে সিস্টেম লেভেলে সুরক্ষা প্রয়োগ করা হয়।
“মডেলের দৃঢ়তা বাড়ানোর প্রচেষ্টাগুলি কেবলমাত্র নিজেদের মধ্যে অপর্যাপ্ত,” গবেষকদের লেখা। “আমাদের বিদ্যমান প্রচেষ্টাগুলিকে সিস্টেম সিকিউরিটি ডোমেইনের প্রযুক্তি দিয়ে পূরক করতে হবে।”
কেন বর্তমান পদ্ধতি ব্যর্থ হচ্ছে
গবেষকদের দ্বারা AI এজেন্ট-এর উপর এগারোটি বাস্তব-জগতের আক্রমণ বিশ্লেষণ করা হয়েছিল এবং প্রতিবারই একই প্যাটার্ন পাওয়া গিয়েছিল। ডেভেলপাররা AI মডেলকে নিজেকে পুলিশ করতে বিশ্বাস করেছিল। আক্রমণকারীরা এটির চারপাশে উপায় খুঁজে পেয়েছিল।
দুটি নথিভুক্ত কেস সমস্যাটি প্রদর্শন করে। একটি ChatGPT মেমোরি ফিচার আক্রমণে একজন আক্রমণকারী একটি সাধারণ দলিলের মাধ্যমে ক্ষতিকারক নির্দেশাবলী ইনজেক্ট করতে সক্ষম হয়েছিল, যার ফলে সিস্টেমটি একটি অদৃশ্য ইমেজ URL-এর মাধ্যমে ব্যবহারকারীর কথোপকথনগুলি নিয়মিতভাবে একটি বাহ্যিক সার্ভারে পাঠিয়েছিল।
একটি Claude Code আক্রমণে কোড ফাইলের ভিতরে প্রম্পট ইঞ্জেকশন লুকিয়ে রাখা হয়েছিল যাতে API কি বের করা যায় এবং ping কমান্ডের মাধ্যমে DNS কোয়েরির মাধ্যমে এগুলি বহির্বাহিত করা যায়, যা মানুষের অনুমতি ছাড়াই অনুমোদিত ছিল।
উভয় ক্ষেত্রেই, মডেলের স্তরে ক্ষতিকারক নির্দেশাবলী বৈধ নির্দেশাবলী থেকে অবিভক্ত ছিল বলে আক্রমণ বন্ধ করার জন্য মডেলের কোনো নির্ভরযোগ্য পদ্ধতি ছিল না।
শিল্প যা উপেক্ষা করছে তিনটি নীতি
গবেষকদের দীর্ঘ দশকের সিস্টেম সিকিউরিটি থেকে তিনটি মূল সিকিউরিটি নীতি চিহ্নিত করা হয়েছে যেগুলি এআই বাস্তবায়নগুলি সর্বদা বাস্তবায়ন করতে ব্যর্থ হয়:
- নির্দেশনা এবং ডেটা পৃথককরণ: বিশ্বস্ত নির্দেশনা এবং অবিশ্বস্ত বাহ্যিক ডেটা একই টোকেন স্ট্রিমের মধ্যে দিয়ে প্রবাহিত হয়, যার ফলে প্রম্পট ইঞ্জেকশন গঠনগতভাবে সম্ভব।
- সর্বনিম্ন অধিকার স্যান্ডবক্সিং: এজেন্টগুলি প্রায়শই শেল কমান্ড, ফাইল সিস্টেম এবং এপিআই-এর অ্যাক্সেস সহ বিশেষ কোনো কাজের চেয়ে অনেক বেশি পরিসরে বাস্তবায়িত হয়।
- তথ্য প্রবাহ নিয়ন্ত্রণ: অ্যাক্সেস নিয়ন্ত্রণ থাকা সত্ত্বেও সংবেদনশীল তথ্য অপরোক্ষ চ্যানেলের মাধ্যমে প্রবাহিত হতে পারে।
বড় সমস্যা
এআই এজেন্টদের কোনো বিচার বা নিজেকে রক্ষা করার ইচ্ছা নেই। তারা মেশিন গতিতে তাদের অ্যাক্সেসযোগ্য প্রতিটি ডিরেক্টরি অনুসন্ধান করবে। যদি সিস্টেম এটি অনুমতি দেয়, তবে তারা যেকোনো নির্দেশ বাস্তবায়ন করবে।
মানুষের কার্যক্রমের চারপাশে গড়ে উঠা নিরাপত্তা ব্যবস্থা এর জন্য কখনও ডিজাইন করা হয়নি। যতক্ষণ না এটি মেশিনের কার্যক্রমের জন্য পুনর্গঠন করা হয়, প্রতিটি সংস্থা যারা উৎপাদন সিস্টেমে অ্যাক্সেস সহ এজেন্টগুলি বাস্তবায়ন করে, তারা এমন একটি ঝুঁকি বহন করছে যা তারা সম্পূর্ণভাবে পরিমাপ করতে পারছে না।
সংশ্লিষ্ট:Foresight Ventures: এআই এজেন্টগুলি চ্যাটবট থেকে অতিক্রম করে বাণিজ্যে যাচ্ছে
বিবৃতি: এই নিবন্ধে উপস্থাপিত তথ্য শুধুমাত্র তথ্যমূলক এবং শিক্ষামূলক উদ্দেশ্যে। এই নিবন্ধটি কোনও আর্থিক পরামর্শ বা যেকোনও ধরনের পরামর্শ হিসেবে বিবেচিত হবে না। উল্লিখিত কনটেন্ট, পণ্য বা সেবাগুলির ব্যবহারের ফলে যেকোনো ক্ষতির জন্য কয়েন এডিশন দায়ী নয়। পাঠকদের কোম্পানির সাথে সম্পর্কিত যেকোনো কাজের আগে সতর্কতা অবলম্বন করার পরামর্শ দেওয়া হচ্ছে।