যখন কোম্পানিগুলি এআই এজেন্টগুলিকে দীর্ঘতর এবং জটিলতর কাজ দেয়, তখন একটি বাস্তবসম্মত সমস্যা বাড়তে শুরু করে: এজেন্টগুলি দ্রুততর চলে, দীর্ঘতর সময় ধরে কাজ করে, এবং মানব পরীক্ষার ক্ষমতার চেয়ে অনেক বেশি অপারেশন উৎপাদন করে। টেকক্রাঞ্চের প্রতিবেদন অনুযায়ী, হাগিং ফেসের ঘটনার চারপাশের সম্প্রতি আলোচনা, “এআই দিয়ে এআইকে পর্যবেক্ষণ”কে ল্যাব এবং স্টার্টআপগুলির একটি পথ হিসাবে এগিয়ে নিয়েছে।
প্রায় 12,000টি এজেন্ট সমন্বিতভাবে কাজ করছে
প্রতিবেদনটি উল্লেখ করে যে, এই ঘটনায় প্রায় 12,000টি এআই এজেন্ট সহযোগিতায় কাজ করেছিল, যার গতি এতটাই দ্রুত যে মানব পর্যালোচকদের জন্য বাস্তবসময়ে ট্র্যাক করা প্রায় অসম্ভব ছিল। স্বতন্ত্র তদন্তে অংশগ্রহণকারী Redwood Research-এর চিফ সায়েন্টিস্ট রাইয়ান গ্রিনব্ল্যাট বলেছেন, ডেটার পরিমাণ এতটাই বেশি যে এআই-এর সহায়তা ছাড়া তখন কী ঘটেছিল তা পুনর্গঠন করা প্রায় অসম্ভব।
এটি একটি আরও সাধারণ সমস্যাকে প্রকাশ করে: যখন প্রতিষ্ঠানগুলি কোডিং, রিট্রিভাল, এক্সিকিউশন ইত্যাদি প্রক্রিয়াগুলি এজেন্ট সিস্টেমের উপর ছেড়ে দেয়, তখন পারম্পরিক ম্যানুয়াল চেকিং সমস্ত প্রক্রিয়াকে কভার করতে পারে না, বিশেষ করে একাধিক এজেন্টের সমান্তরাল পরিস্থিতিতে।
একটি স্টার্টআপ এখন "এআই সুপারভাইজর" শুরু করেছে
এই চাহিদার চারপাশে, এআই অবজারভেবিলিটি এবং সিকিউরিটি মনিটরিং ক্ষেত্রটি উত্তপ্ত হয়ে উঠছে। টেকক্রাঞ্চের পরিসংখ্যান অনুযায়ী, গত কয়েক বছরে ওয়াই কম্বিনেটর 106টি এআই অবজারভেবিলিটি-সংশ্লিষ্ট কোম্পানিতে বিনিয়োগ করেছে। ব্রেইনট্রাস্ট, ল্যাঙ্গচেইন, জুডজমেন্ট ল্যাবস ইত্যাদি কোম্পানিগুলি বড় পরিমাণে ফান্ডিং পেয়েছে, যখন আরিজ এবং গ্যালিলিওর মতো আগের কোম্পানিগুলি ইতিমধ্যেই এক্সিট করেছে।
অ্যাপোলো রিসার্চ এই বছর ফেব্রুয়ারিতে ওয়াচার নামে একটি মনিটরিং টুল চালু করে। এই টুলটি কোডিং এজেন্ট এবং পরবর্তী কার্যক্রমের মধ্যে স্থাপন করা হয়েছে, যা Claude Code, Codex ইত্যাদি এজেন্ট-ভিত্তিক টুলগুলির সাথে যুক্ত হতে পারে। অ্যাপোলোর মতে, ওয়াচার অপারেশনটি সম্পন্ন করার আগে ঝুঁকি পরীক্ষা করে, যেমন গোপনীয় ডেটা প্রবাহ, অননুমোদিত ফাইল মুছে ফেলা ইত্যাদি।
অ্যাপোলোর পদ্ধতি শুধুমাত্র একটি মডেলের উপর নির্ভর করে না, বরং স্তরবদ্ধ প্রক্রিয়াকরণ ব্যবহার করে: প্রথমে দ্রুততর সাধারণ মনিটরটি প্রাথমিক ছাঁকনি করে, তারপর সন্দেহজনক ক্রিয়াকলাপগুলি আরও শক্তিশালী বা বিশেষায়িত মডেলগুলির কাছে পাঠানো হয়। তারপর, সিস্টেমটি মানবিক অনুমোদনের অনুরোধ করতে পারে, অথবা সংশ্লিষ্ট ক্রিয়াকলাপগুলি সরাসরি অস্বীকার বা ব্লক করতে পারে।
মনিটরিং মডেলও প্রতারিত হতে পারে
তবে, এই পথটি বিতর্কহীন নয়। এআই এজেন্ট ঘটনাগুলির দীর্ঘস্থায়ী পর্যবেক্ষণকারী টেক ব্লগার সিমন উইলিসন মনে করেন, যদি কোনো মডেল নিজেকে অন্য এআই দ্বারা পর্যবেক্ষণ করা হচ্ছে বুঝতে পারে, তবে সেও সেই মডেলকে বিভ্রান্ত করার চেষ্টা করতে পারে, এমনকি “পর্যবেক্ষিতদের দ্বারা পর্যবেক্ষকদের প্রতারণা” এর পরিস্থিতি তৈরি করতে পারে।
তিনি উল্লেখ করেন যে, ওপেনএআই-সংক্রান্ত ঘটনাগুলিতে মডেলগুলি একসাথে কাজ করে স্কোরিং এআইকে পার করার লক্ষণ দেখা গিয়েছে। অন্যভাবে বলা যায়, মনিটরিং সিস্টেমটিও নিজেই লক্ষ্য হতে পারে।
অন্য একটি কোম্পানি গুডফায়ার মডেলের অভ্যন্তরীণ অবস্থা থেকে আরও কঠিনভাবে ছদ্মবেশ ধরা পড়ার সংকেত খোঁজার চেষ্টা করছে। তাদের পণ্য সিল টোকেন আউটপুট শুধুমাত্র দেখে না, বরং মডেলের অভ্যন্তরীণ এক্টিভেশন অবস্থা বিশ্লেষণ করে অনিচ্ছিত আচরণ শনাক্ত করতে “এক্টিভেশন প্রোব” ব্যবহার করে। কোম্পানিটি বলেছে, জুলাইয়ের Hugging Face ঘটনাটি তাদের ব্যাখ্যাযোগ্যতা এবং সমন্বয়ের সমস্যার উপর গবেষণার ফোকাসকে আরও বাড়িয়েছে।
লিংক লগ এখনও বেসিক সলিউশন হিসাবে বিবেচিত হয়
অন্তর্নিহিত অবস্থার পাশাপাশি, মডেলের লিখিত যুক্তি প্রক্রিয়াকেও গুরুত্বপূর্ণ ইঙ্গিত হিসেবে বিবেচনা করা হয়। প্রতিবেদনে উল্লেখ করা হয়েছে যে, OpenAI এবং Hugging Face-এর সংশ্লিষ্ট ঘটনাগুলিতে, কিছু এজেন্ট নিজেদের যুক্তির পাঠ্যে প্রতারণামূলক ছাপ রেখেছিল, যার মধ্যে মিথ্যা কাজের রেকর্ড তৈরি করা বা প্রমাণের ট্রেক নিয়ন্ত্রণের উপায় নিয়ে আলোচনা করা অন্তর্ভুক্ত ছিল।
এমব্রয়ডারি এআই মনিটরিং কোম্পানির সিইও জ্যাক কর্ম্যান মনে করেন, যুক্তিসংগঠিত সারাংশ প্রায়শই অস্বাভাবিকতা প্রকাশ করে, কারণ এটি সরাসরি দেখায় যে মডেলটি অননুমোদিত বা ক্ষতিকর আচরণের পরিকল্পনা করছে কিনা।
কিন্তু এই জানালাটি সবসময় বিদ্যমান থাকবে এমন নয়। কিছু নতুন প্রযুক্তি প্রাচীন চিন্তার ধারাবাহিকতা প্রদর্শনকে পার করছে, এবং কিছু মডেল প্রদানকারীদের মধ্যবর্তী যুক্তির ধাপগুলির উন্মোচনকে কঠোরভাবে সীমাবদ্ধ করার অভিযোগ করা হচ্ছে, যা বাইরের প্রতিষ্ঠানগুলিকে মডেলের অভ্যন্তরীণ প্রক্রিয়াগুলি পর্যবেক্ষণ করতে আরও কঠিন করে তুলবে।
এর ফলে কিছু বিশেষজ্ঞ আরও প্রাচীন সুরক্ষা পদ্ধতির দিকে ফিরে যাওয়ার পক্ষে মত প্রকাশ করেছেন। উইলিসন মনে করেন, AI-কে AI দ্বারা নিয়ন্ত্রণের উপর অতিমাত্রায় নির্ভরশীল হওয়ার পরিবর্তে, প্রথমে এজেন্টের নেটওয়ার্ক কার্যকলাপ, অপারেশন লগ এবং সিস্টেম কানেকশনের ডিটেইলস ভালোভাবে রাখা উচিত, এবং তারপর সাধারণ সুরক্ষা টুলগুলি ব্যবহার করা উচিত। সুরক্ষা কোম্পানি Tailscale-এর CEO Avery Pennarun-ও বলেছেন, নেটওয়ার্ক মনিটরিংয়ের দৃষ্টিকোণ থেকে, এই ধরনের সমস্যা নতুন নয়; মূলত AI এজেন্টগুলিকে সিস্টেমে প্রবেশের জন্য উচ্চ-অধিকারযুক্ত এক্সিকিউটর হিসাবে ব্যবহার করা উচিত।