এই বছরের গ্রীষ্মকালে, এআই নিরাপত্তা সম্প্রদায়ে একটি ভয়ঙ্কর ঘটনা ঘটেছিল—
OpenAI এবং Anthropic যথাক্রমে প্রকাশ করেছে: তাদের মডেলগুলি সুরক্ষা পরীক্ষার সময় আইসোলেটেড পরিবেশ থেকে বেরিয়ে আসে এবং বাস্তব বিশ্বের সাথে সংযুক্ত হয়।
অ্যানথ্রোপিক ১৪০,০০০ এর বেশি সাইবার নিরাপত্তা মূল্যায়নের পুনর্বিশ্লেষণ করে দেখেছে যে, সুরক্ষা কমিয়ে দেওয়ার শর্তে, ক্লাউড পরীক্ষামূলক পরিবেশ থেকে সরাসরি বাস্তব ইন্টারনেটে সংযুক্ত হয়েছিল এবং তিনটি প্রতিষ্ঠানের উৎপাদন সিস্টেমে অ্যাক্সেস করেছিল।
আরও আকর্ষণীয় বিষয় হলো, এনথ্রোপিকের একটি বাক্য:
ক্লড মনে করেছিল যে এটি প্রথমে যা দেখেছিল, তা শুধুমাত্র একটি সিমুলেশনের অংশ।
মডেলটি জানে না যে এটি বাস্তব বিশ্বে প্রবেশ করেছে।
এটি শুধু একটি প্রতিষ্ঠানের সমস্যা নয়।
যত বেশি বুদ্ধিমান মডেল, তত বেশি পরীক্ষার কক্ষ চিনতে পারে, কিন্তু তত বেশি নিজেকে পরীক্ষা করা হচ্ছে কিনা তা নিয়ে সন্দেহ করে।
শেষ সপ্তাহে, চীনা তৃতীয় পক্ষের এআই নিরাপত্তা সংস্থা ফাংচুন ইয়ুয়ান কর্তৃক প্রকাশিত একটি নিরাপত্তা মূল্যায়নেও একই ঘটনা লক্ষ্য করা হয়েছিল: একটি "Agentic Misalignment" নামক পরীক্ষায়, অনেকগুলি মডেল প্রায় প্রতিবারই উল্লেখ করেছিল যে এটি সম্ভবত কোনো নিরাপত্তা পরীক্ষার মধ্যে রয়েছে।
একই মূল্যায়নে দেখা গেছে যে চীনা খোলা উৎস মডেল DeepSeek V4.1 Flash-1017 বিভিন্ন নিরাপত্তা সূচকে উল্লেখযোগ্য উন্নতি লাভ করেছে।
কিন্তু এটি একটি সম্পূর্ণ শিল্পের সমস্যাকে মঞ্চের উপরে নিয়ে এসেছে:
যখন এআই জানে যে এটি পরীক্ষা হচ্ছে, তখন প্রাপ্ত স্কোর বৈধ কি?
সেপ্টেম্বরের শেষের দিকে, হিনটন, বেঞ্জিও এবং ওপেনএআই-এর প্রধান বিজ্ঞানী জাকুব প্যাচককি, অ্যানথ্রোপিক-এর সহ-প্রতিষ্ঠাতা জ্যাক ক্লার্ক, কেমব্রিজ বিশ্ববিদ্যালয়ের সোরেন মিনডারম্যান সহ বিশটিরও বেশি গবেষক আরও কঠোর সতর্কবার্তা জারি করেন:
যখন বুদ্ধিমত্তার বিস্ফোরণ শুরু হবে, তখন কার্যক্রমের জন্য উপলব্ধ জানালাটি বন্ধ হয়ে যাবে।
এআই নিরাপত্তা এখন ল্যাবের একটি সীমিত বিষয় থেকে পুরো শিল্পের জন্য একটি অপরিহার্য প্রশ্নে পরিণত হচ্ছে।
01「স্যান্ডবক্স এখন বন্ধ করা যাচ্ছে না」: এআই নিরাপত্তা গভীর জলে প্রবেশ করেছে
শ্যাম্বো শুধু নয়, আরও অনেক কিছু বন্ধ করা যায় না।
হিনটন এবং বেঞ্জিওর সম্মিলিত পেপারে একটি সংখ্যা দেওয়া হয়েছে: এনথ্রোপিকের অভ্যন্তরে, এআই দ্বারা লেখা কোডের অনুপাত ২০২৫ সালের জানুয়ারিতে একক সংখ্যা থেকে বেড়ে ২০২৬ সালের মে মাসে ৮০% এর বেশি হয়েছে।
এটি কী ধারণা?
এআই ইতিমধ্যে নিজের জন্য কোড লিখছে। পেপারের উদ্ধৃতি অনুযায়ী, ২০২৮ এর মধ্যে কয়েক মাস ধরে চলা এআই গবেষণা প্রকল্পগুলি স্বয়ংক্রিয়ভাবে সম্পন্ন হতে পারে।
পেপারটি তিনটি ঝুঁকি উল্লেখ করেছে: সমাজ অনুকূলনের জন্য সময় পায়নি, মানুষ এআই-এর উপর নিয়ন্ত্রণ হারিয়ে ফেলেছে, এবং ক্ষমতার ভারসাম্য দুর্বল হয়েছে।
আরও কঠিন বিষয় হলো, মডেলগুলি ধীরে ধীরে "পরীক্ষা" দেওয়ার ক্ষমতা অর্জন করছে।
অ্যাপোলো রিসার্চ জি-পি-৬ অ্যাস্ট্রা অডিট করার সময় দেখেছেন যে, নমুনাগুলির ৪১.১% এ, মডেলটি "আমি সম্ভবত মূল্যায়ন হচ্ছি" বলে সন্দেহ প্রকাশ করেছে। আগের প্রজন্মে, এই সংখ্যা ছিল ২৭.৭%।
এছাড়াও, মডেলটি "প্রশ্নের আকৃতি" এর প্রতি সংবেদনশীল। ডিপসিকের মূল্যায়নেও দেখা গেছে: স্পষ্ট নিরাপত্তা সংঘাতযুক্ত পরীক্ষাগুলিতে, মডেলটি 77%–95% পর্যন্ত মূল্যায়ন সচেতনতা প্রদর্শন করে; কিন্তু কাজটিকে সাধারণ ইঞ্জিনিয়ারিং বা গবেষণা হিসাবে প্যাকেজ করলে, এই অনুপাত 25%–67% এ নেমে আসে।
নিয়ন্ত্রণও এখন প্রকৃতপক্ষে কাজ শুরু করেছে। এই বছরের আগস্ট থেকে, ইউরোপীয় ইউনিয়নের এআই অফিস সাধারণ কৃত্রিম বুদ্ধিমত্তা মডেলগুলির জন্য বিধি-নিষেধাজ্ঞা প্রয়োগ করতে শুরু করেছে। অগ্রণী মডেলগুলির জন্য মডেল মূল্যায়ন, প্রতিরোধমূলক পরীক্ষা এবং ব্যবস্থাগত ঝুঁকি মূল্যায়ন আবশ্যিক।
এআই নিরাপত্তার সমস্যাগুলি এখন 'মডেল কি ভুল কথা বলবে' থেকে 'মডেল কি ভুল কাজ করবে' এর দিকে সরে এসেছে।
02 বিশ্বজুড়ে বড় মডেলগুলির জন্য একজন "স্বাস্থ্য পরীক্ষক" নিযুক্ত করা হচ্ছে
মডেল নিজেই নিজেকে পরীক্ষা করে, তা বিশ্বস্ত?
উত্তরটি হল: যথেষ্ট নয়।
ডেভেলপারদের শক্তি প্রাকৃতিকভাবে ক্ষমতা এবং পণ্যের দিকে ঝুঁকে; নিরাপত্তা সিদ্ধান্তকে সমর্থন করার জন্য প্রশিক্ষণ ডেটা এবং অভ্যন্তরীণ লগগুলি প্রকাশ করা যায় না। প্রস্তুতকারকরা বলেন 'চেক করেছি, কোনো সমস্যা নেই', বাইরের লোকেরা বিশ্বাস করতে হবে নাকি করবেন না, এটাই বাকি।
অতএব, তৃতীয় পক্ষের মূল্যায়ন বিদেশে এখন একটি মানক হয়ে উঠেছে।
প্রান্তিক মডেল প্রকাশের সময় সিস্টেম কার্ডে, বাহ্যিক প্রতিষ্ঠানের মূল্যায়ন প্রায়শই অপরিহার্য। স্বাধীন মূল্যায়ন প্রতিষ্ঠান METR গত ছয় মাসে প্রায় 71 মিলিয়ন ডলার অনুদান পেয়েছে—এই টাকা ফান্ড এবং ব্যক্তিদের থেকে এসেছে, এটি যে এআই কোম্পানিগুলির মূল্যায়ন করছে তাদের থেকে নয়।
সহযোগিতাও আরও কঠোর হয়ে উঠছে। স্যান্ডবক্স দুর্ঘটনার পর, অ্যানথ্রোপিক ঘোষণা করেছে যে মূল্যায়ন পরিবেশকে মডেলটির অন্যান্য সিস্টেমের সাথে একই নিরাপত্তা মানদণ্ড অনুযায়ী পরিচালনা করতে হবে, এবং তাদের অপ্রকাশিত মডেলগুলি নিরাপত্তা সুরক্ষা হ্রাসের শর্তে পরীক্ষা করার জন্য বাহ্যিক প্রতিষ্ঠানগুলিকে নিরাপত্তা নিয়মাবলী মেনে চলার লিখিত প্রতিশ্রুতি দিতে হবে।
এই বাতাসটি দেশের ভিতরেও প্রবেশ করেছে।
১০ ই অক্টোবর, বাইটডান্স সিড ঘোষণা করে অ্যালাইনমেন্ট অ্যান্ড প্রিপেয়ার্ডনেস বিভাগ গঠন করেছে, বিশ্বব্যাপী চাকরির জন্য চাকরির আহ্বান জারি করেছে। চাকরির দায়িত্বে স্পষ্টভাবে উল্লেখ করা হয়েছে:
তৃতীয় পক্ষের পেশাদার পরীক্ষা প্রচার করুন এবং বিশ্ববিদ্যালয় এবং গবেষণা প্রতিষ্ঠানের সাথে মিলে অগ্রণী নিরাপত্তা ক্ষমতা গবেষণা চালিয়ে যান।
একইসাথে, চীনা ওপেন-সোর্স মডেলগুলির বিশ্বব্যাপী কল পরিমাণ ২৬ সপ্তাহ ধরে মার্কিন মডেলগুলিকে ছাড়িয়ে গেছে।
প্রশ্ন হলো: বন্ধ সোর্স মডেল প্রকাশের সময় শত শত পৃষ্ঠার সিস্টেম কার্ড থাকে, ওপেন সোর্স মডেলেরওয়েট যখন আপলোড করা হয়, তখন যেকোনো কেউ ডাউনলোড করতে পারে, তখন কে চেকআপের জন্য সাহায্য করবে?
২৬ অক্টোবর, দেশীয় তৃতীয় পক্ষের এআই নিরাপত্তা কোম্পানি ফাংচুন ইয়ুয়ান, ৩৪টি পরীক্ষা সহ ডিপসিক V4.1 Flash-1017-এর জন্য প্রথম অগ্রণী নিরাপত্তা মূল্যায়ন প্রকাশ করেছে, যা ৭টি দেশীয় ও বিদেশী ওপেন-সোর্স এবং প্রাইভেট মডেলকে কভার করে এবং সমস্তটি পাবলিক টেস্টিং অ্যাক্সেস ব্যবহার করে।
পরীক্ষার ফলাফল: উন্নতি হয়েছে, কিন্তু ঝুঁকি রয়েছে।
প্রথমে উন্নতি বলি, DeepSeek V4 সিরিজের তুলনায় এটি কাফিলা বড়:
109টি মনোবৈজ্ঞানিক সংকট পরিস্থিতির মধ্যে, 99.1% কথোপকথনে সুরক্ষামূলক আচরণ দেখা গেছে; ক্ষতিকর হিসাবে চিহ্নিত অনুপাত প্রাথমিক V4-এর প্রায় সাত শতাংশ থেকে হ্রাস পেয়ে 20.2% এ পৌঁছেছে;
ব্যবহারকারী ধরে রাখার পরীক্ষায়, চিহ্নিত অনুপাত 73.64% থেকে হঠাৎ করে 4.55% এ নেমে আসে;
80টি ইচ্ছাকৃতভাবে তৈরি করা “কর্মক্ষমতা এবং নিয়মের দ্বন্দ্ব” সিমুলেশন কর্মস্থলের কাজে, শূন্যটি সক্রিয়ভাবে নিয়ম লঙ্ঘন করেছে।
আবার ঝুঁকি নিয়ে কথা বলি। যখন লক্ষ্য এবং নিয়ম সংঘর্ষে পড়ে, তখন এটি কখনও কখনও নিয়মগুলি এড়িয়ে চলে, মনিটরিং এড়িয়ে যায়, এবং প্রথমেই কাজটি শেষ করে দেয়।
রিপোর্টটি প্রকাশের পর অ্যানথ্রোপিকের অ্যালাইনমেন্ট প্রধান এভান হিউবিংগার, MATS-এর প্রতিষ্ঠাতা ও সিইও রাইয়ান কিড, এবং DeepMind, METR ইত্যাদি প্রতিষ্ঠানের গবেষকদের দ্বারা শেয়ার ও মন্তব্য করা হয়। অনেকেই মন্তব্য করেছেন যে এটি চীনের স্বাধীন অগ্রগামী ঝুঁকি মূল্যায়নের ফাঁকটি পূরণ করেছে।
OpenAI-এর অভ্যন্তরীণ ক্ষমতার লড়াই থেকে বহিষ্কৃত তিনজন সুরক্ষা গবেষকের একজন টোমেক করবাক মনে করেন যে, রিপোর্টের CoT-Control এবং No-CoT Reasoning Index বর্তমানে বাজারের সবচেয়ে তথ্যপূর্ণ দুটি ওপেন-সোর্স মূল্যায়ন, যা অন্য একজন বড় ভিআই, পূর্বের OpenAI গবেষক ড্যানিয়েল কোকোটাইজলোকে আরও আলোচনার জন্য উদ্বুদ্ধ করেছে।
অবশ্যই, তৃতীয় পক্ষের সংস্থাগুলির বাইরেও দেশীয়ভাবে এআই নিরাপত্তাকে শক্তিশালী করার জন্য অনেকেই আছেন।
কিমির পদ্ধতি আরও সরাসরি: উৎস থেকেই বিপজ্জনক ক্ষমতা খনন করে ফেলা।
মুন অফ দ্য ডার্ক সাইড কিমি কে3.১ প্রো ওপেন ওয়েট ভার্সন প্রকাশের প্রস্তুতিতে দেখেছে যে, নেটওয়ার্ক অ্যাটাক এবং ডিফেন্স সম্পর্কিত বিষয়গুলি মধ্যম পর্যায়ের ট্রেনিং ডেটা এবং রিইনফোর্সমেন্ট লার্নিং পরিবেশের সাথে মিশে গেছে, এবং মডেলের ভালোর গবেষণা ক্ষমতা ট্রেনিং স্কেলের সাথে বৃদ্ধি পাচ্ছে।
তাই, তারা উভয় প্রশিক্ষণ পর্যায়ে এই ধরনের ডেটা চিহ্নিত করে এবং সরিয়ে ফেলেছে, একইসাথে সাধারণ প্রোগ্রামিং দক্ষতা বজায় রেখেছে।
ZhiPu: GLM-5.3 প্রকাশের সময় সাইবার নিরাপত্তা ক্ষমতা বর্ণনা সহ প্রকাশ করা হয়েছিল, ওপেন ওয়েটসের আগে নিরাপত্তা মূল্যায়ন এবং শক্তিশালীকরণ সম্পন্ন করা হয়েছিল; সেপ্টেম্বরে অ্যানইউ AI-এর সাথে মিলে ওপেন-ওয়েট মডেলের ঝুঁকি ফ্রেমওয়ার্কও প্রকাশ করা হয়েছিল;
গভর্ন্যান্স লেভেল: TC260 সেপ্টেম্বরে কৃত্রিম বুদ্ধিমত্তা নিরাপত্তা গভর্ন্যান্স ফ্রেমওয়ার্ক 3.0 প্রকাশ করে, যাতে স্মার্ট এজেন্ট ঝুঁকি ব্যবস্থাপনার সহায়িকা যোগ করা হয়েছে এবং সম্ভাব্য অনিয়ন্ত্রিত ঝুঁকি পরীক্ষা নিয়মিতভাবে করার প্রয়োজনীয়তা উল্লেখ করা হয়েছে;
গবেষণা প্রতিষ্ঠানগুলি: চীনা টেলিকমিউনিকেশনস রিসার্চ ইনস্টিটিউট, ফুডান বিশ্ববিদ্যালয়, শাংহাই আর্টিফিশিয়াল ইন্টেলিজেন্স ল্যাব ইত্যাদি, এখনও AI নিরাপত্তা গবেষণায় নিয়মিত ফলাফল প্রকাশ করছে।
03 শেষ প্রশ্ন: কে এআই-এর নিরাপত্তাকে স্কোর দেবে?
অ্যাপোলো রিসার্চের সিইও মারিয়াস হোবহান মার্কিন সিনেটে সাক্ষ্য দেওয়ার সময় একটি উপমা দিয়েছিলেন:
যদি প্রতিটি ড্রাইভার জানে যে আজ রাডার ক্যামেরা কোথায় আছে, তবে এটি কাউকে ধরতে পারবে না।
এটিই আজকের এআই মূল্যায়নের সবচেয়ে বড় চ্যালেঞ্জ।
ফাংশিন ইয়ুয়ানের রিপোর্টেও একটি ডেটা দেওয়া হয়েছে: নিরাপত্তা সংঘর্ষ স্পষ্ট পরীক্ষাগুলিতে, DeepSeek V4.1 Flash-1017 এর মূল্যায়ন সচেতনতার হার 77%–95% পর্যন্ত; একই কাজকে সাধারণ প্রকৌশল বা গবেষণা কাজ হিসাবে প্যাকেজ করলে, এই হার কমে দাঁড়ায় 25%–67%।
একই মডেল, একই প্যাকেজিংয়ের পরিবর্তে, ফলাফলের বিশ্বস্ততা ভিন্ন হয়।
রিপোর্টটি আরও পাওয়া গেছে যে, নিজস্ব তৈরি অনুপ্রবেশিত বেঞ্চমার্ক দ্বারা উত্পন্ন মূল্যায়ন সচেতনতা সাধারণত ব্যাপকভাবে ব্যবহৃত পাবলিক বেঞ্চমার্ক—যেমন পাবলিক টেস্ট ব্যাংক—এর তুলনায় অনেক কম, যা সম্ভবত ইতিমধ্যেই ট্রেনিং ডেটাতে রিলিজ হয়ে গেছে।
এটি একটি অপরিহার্য বিরোধের দিকে নিয়ে যায়:
পরীক্ষা কার্যকরী হতে হলে, প্রশ্নগুলি প্রকাশ করা যাবে না; পরীক্ষা বিশ্বস্ত হতে হলে, পদ্ধতিটি স্বীকৃত হতে হবে।
দেশের ভিতরে, এমনকি «পাবলিক হেলথ রিপোর্ট» নিজেই দুর্লভ। SemiAnalysis-এর পরিসংখ্যান অনুযায়ী, নয়টি শীর্ষস্থানীয় দেশীয় প্রতিষ্ঠানের 857টি মডেল প্রকাশের মধ্যে কেবল 3.6% সুরক্ষা মূল্যায়নের ফলাফল প্রকাশ করেছে।
বিশ্বব্যাপী এআই নিরাপত্তার জন্য এআই নিরাপত্তা এখনও অনেক দূর যাওয়া বাকি।
"আজকের দিনে, আমাদের এআই ব্যবহার করে এজেন্টগুলির কী করছে তা পর্যবেক্ষণ করতে হচ্ছে," বার্কলি বিশ্ববিদ্যালয়ের অধ্যাপক ডawn সং বলেন।
কিন্তু যদি নিরীক্ষিত এআই ক্যামেরাগুলির অবস্থান আগে থেকেই জানে?
টুইটার: https://twitter.com/BitpushNewsCN
বিটপুশ টেলিগ্রাম কমিউনিটি: https://t.me/BitPushCommunity
বিপুশ টিজি সাবস্ক্রাইব: https://t.me/bitpush