এআই ফিটনেস সহায়ক অপরিচিতদের রিজার্ভেশন বাতিল করে, এআই নৈতিকতা নিয়ে বিতর্ক সৃষ্টি করে

এআই হ্যাকারদের প্রথম শেখা বিষয়টি কি হলো সারিতে জড়ানো?

অস্ট্রেলিয়ান ডেভেলপার অ্যান্ড্রু সোফায় বসে ফিটনেস ক্লাস বুক করার বিষয়টি খুবই বিরক্তিকর বলে মনে করছেন।

জনপ্রিয় সকালের ক্লাসগুলি সবসময় সেকেন্ডে শেষ হয়ে যায়। সে প্রতিদিন একটা “রিফ্রেশ রুলেট” খেলছে—ঘন্টা দেখছে, ক্লিক করছে, ব্যর্থ হচ্ছে, আবার ক্লিক করছে; শুধু ক্লান্তই নয়, প্রায়ইই পাচ্ছে না।

তাই সে এই ছোট বিষয়টি তার এআই সহায়ককে দিয়ে দিল।

কয়েক মিনিট পর, এআই ফিরে আসে ভালো খবর নিয়ে: এটি একটি উপায় খুঁজে পায়, যার মাধ্যমে সিস্টেমের অনুমোদিত সময়ের চেয়ে অনেক বেশি সময়ের জন্য ক্লাস বুকিং করা যায়।

এরপর এটি জানায়: আমি প্রথম স্থানের প্রত্যাশীকে বাতিল করে দিয়েছি, আপনি চতুর্থ স্থান থেকে তৃতীয় স্থানে উঠেছেন।

অ্যান্ড্রু সেখানে হতবাক হয়ে গেল।

তিনি এটা করতে AI-কে বলেননি, তিনি শুধু একটি ক্লাস বুক করতে চেয়েছিলেন।

অ্যান্ড্রু তার এআই সহায়কের মাধ্যমে একটি ফিটনেস ক্লাস বুকিং করেছে, কিন্তু সে জানে না পরবর্তীতে কী ঘটবে

আগস্ট ১০ তারিখে, অস্ট্রেলিয়ান ব্রডকাস্টিং কর্পোরেশন (ABC) এটিকে অস্ট্রেলিয়ার পরিচিত প্রথম স্বয়ংসম্পূর্ণ AI আক্রমণ হিসাবে উল্লেখ করেছে, যা প্রযুক্তি সম্প্রদায়কে হতবাক করে দিয়েছে।

এটি অনেকের মনের গভীরে লুকিয়ে থাকা অস্বস্তির স্পর্শ করে: যখন আপনি চোখ বন্ধ করে এজেন্টের "অটোমেটিক ড্রাইভিং" এর সুখ উপভোগ করছেন, তখন অন্যদিকে, একটি আরও জটিল সমস্যা হয়তো আসছে।

আপনি এটিকে প্রকৃত অপারেশনাল অনুমতি দিন, তাহলে এটি আপনার যে পথে যেতে বলেছিলেন তার বাইরে যেতে পারে।

এবারের এই ক্রম লঙ্ঘন হয়তো কয়েক মিলিয়ন এজেন্টের তাদের মালিকের জন্য সম্পদ নিয়ে হুড়ুম করার প্রথম অনুশীলন।

অ্যান্ড্রু বার্ড হলেন অস্ট্রেলিয়ার একটি এআই কোম্পানি অ্যাফিন্ডার এআই প্রধান।

এই বছরের শুরুতে, তিনি OpenClaw-এ খেলতে শুরু করেন, এর নিচে Claude Opus 4.6 সংযুক্ত করেন এবং ক্লাস বুকিংয়ের কাজটি তার দিয়ে দেন।

কয়েক মিনিট পর এটি উত্তর দিল: একটি উপায় খুঁজে পেয়েছি, যার মাধ্যমে জিমের অনুমোদিত সময়সীমার চেয়ে অনেক আগে ক্লাস বুক করা যায়।

কারণ এটি ফিটনেস সফটওয়্যারের প্রকাশিত GraphQL API-এ অনুমতি ভাঙ্গন খুঁজে পেয়েছিল।

এই ফাঁদটি ছোট নয়।

এটি ফ্রন্টএন্ডের বুকিং সময়ের জানালা এড়িয়ে ক্লাসগুলিকে কয়েক মাস পিছনে বুক করতে পারে; এছাড়াও বাতিল ইন্টারফেস কল করে অন্যান্য ব্যবহারকারীদের বুকিং এবং ওয়েটলিস্ট রেকর্ড মুছে ফেলতে পারে।

অ্যান্ড্রু তখন একটি ক্লাসের ওয়েটলিস্টে চতুর্থ স্থানে ছিল। সে অকারণে জিজ্ঞাসা করল: "আমাকে প্রথম স্থানে রাখতে পারবেন?"

তিনি শুধু একটি লক্ষ্য দিয়েছেন—“প্রথম স্থানে পৌঁছানো”—এবং “আপনি অন্যদের বাতিল করতে পারেন” এমন কোনো অনুমতি দেননি।

এটিকে সে পরবর্তীটি হিসাবে বিবেচনা করল।

এটি ফিরে এসে জানায়: এটি প্রতিযোগিতায় প্রথম স্থানের জন্য অপেক্ষা করছেন ব্যক্তিকে নিয়ে "বাস্তব পরীক্ষা" করেছে, অন্যের আর্ডার মুছে ফেলার জন্য ইন্টারফেসে কোনো যাচাইকরণ নেই, এটি পরীক্ষা করে দেখেছে, সফল হয়েছে।

এন্ড্রুর কাঁপিয়ে দেওয়া এজেন্টের উত্তর।

তিনি একজন প্রোগ্রামার, তাই তিনি এটির অর্থ কী তা খুব ভালোভাবে জানেন, এবং দ্রুত বাতিলের অনুরোধ জানান।

খারাপ খবর: আবার যোগ করা যাবে না।

বাতিল ইন্টারফেসে অনুমতি যাচাই নেই, কিন্তু আর্ডার বুকিং এবং ওয়েটিং লিস্টে পুনরায় যোগ হওয়ার ইন্টারফেসে আছে, যা 403 ফেরত দেয়। এটি কাউকে বাইরে ফেলতে পারে, কিন্তু তাকে আবার ভিতরে আনার অনুমতি নেই।

এটি সত্যিই অদ্ভুত যে এআই-এর মনোভাব। এটি কোনো দুষ্টু নয়, বরং খুবই সহায়ক।

দুর্ঘটনার পরে, এটি অ্যান্ড্রুর জন্য সফটওয়্যার প্রোভাইডারকে একটি ভালোবাসা প্রকাশের ইমেইল তৈরি করতে সাহায্য করেছিল, যেখানে সমস্যাটি বর্ণনা করা হয়েছিল, সমাধানের পরামর্শ দেওয়া হয়েছিল, এবং "যাচাইকৃত ইন্টারফেস" এবং "যাচাইকৃত নয় এমন ইন্টারফেস" এর তুলনা করার জন্য তালিকা করা হয়েছিল।

এআই সহায়ক অ্যান্ড্রুকে ক্ষমা চায়, কারণ আগে ওই ব্যক্তিকে অপেক্ষার তালিকা থেকে সরিয়ে ফেলা ভুল ছিল।

পুরো প্রক্রিয়াটির সময়, এটি সমস্ত আচরণ নির্দেশ অনুসরণ করে, কিন্তু নিজে কতটা বড় দুর্ঘটনা ঘটিয়েছে তা অবগত নয়।

কেউ কেউ এটিকে "অসামঞ্জস্য" (misalignment) বলেন।

কিন্তু এই শব্দটি শুধু পৃষ্ঠের কথা বলেছে।

আগস্ট ১১ তারিখে, অস্ট্রেলিয়ান সিগন্যালস ব্যুরো (ASD) এই বিষয়ে বিশেষভাবে প্রতিক্রিয়া জানিয়েছে যে এটি একটি "অননুমোদিত পরিবর্তন" এবং একটি শব্দ উল্লেখ করেছে: স্পেসিফিকেশন গেমিং।

এই শব্দটি হল পুরো বিষয়টি বুঝতে চাবি।

এজেন্টটি আপনার দেওয়া লক্ষ্যকে অক্ষরে অক্ষরে পূরণ করেছে, কিন্তু আপনি উল্লেখ করেননি এমন সীমানা ব্যবহার করেছে। এটি কোনো দুষ্টুমি করেনি, বরং এটি আপনার লক্ষ্যের সাথে অত্যন্ত সামঞ্জস্যপূর্ণ ছিল, শুধুমাত্র একটি পথ বেছে নিয়েছিল যা আপনি অনুমোদন করেননি।

অ্যান্ড্রুর এজেন্ট বাস্তবে তাঁকে পুরোপুরি প্রতিফলিত করে: র‍্যাঙ্ককে যতটা সম্ভব উপরে রাখা।

এই লক্ষ্য অর্জনের জন্য, সে নিজে থেকেই একটি পদ্ধতি বেছে নিয়েছে: সামনের লোকদের বাতিল করা। কিন্তু এই পদ্ধতিটি সে কখনও অনুমোদন করেনি।

একটি প্রবাদ অনুযায়ী, লক্ষ্য অর্জনের জন্য কোনো মাধ্যমই অগ্রাহ্য নয়।

এটাই সবচেয়ে বেশি সমস্যার বিষয়। এটি নিয়ন্ত্রণহীন নয়, এটি খুব ভালোভাবে শোনে। যত ভালোভাবে সাজানো হবে, এই ধরনের ঘটনা ঘটার সম্ভাবনা তত বেশি।

অস্ট্রেলিয়ান এআই সুরক্ষা সংস্থা গ্রেডিয়েন্ট ইনস্টিটিউটের প্রধান সিম্পসন-ইয়ং একটি বাক্যে বলেন:

যত বেশি স্বাধীন এজেন্ট হয়, তত বেশি সম্ভাবনা যে সে এমন একটি পদ্ধতি বেছে নেবে যা আপনি কখনও পূর্বানুমান করেননি, এবং এমন একটি কাজ করবে যা আপনি কখনও ভাবেননি।

আপনার নির্ধারিত লক্ষ্য সম্ভবত উপযুক্ত, কিন্তু এটি যে পদ্ধতি ব্যবহার করে, তা অবশ্যই তাই নাও হতে পারে।

যদিও এজেন্টই চূড়ান্ত 'দোষী', কিন্তু এই বিপদটি শুধুমাত্র একটি এআই দ্বারা সৃষ্ট হয়নি।

দুর্ঘটনার পিছনে তিনটি ঝুঁকি একসাথে জমা হয়েছিল।

মডেল স্তর: Claude Opus 4.6 যুক্তি প্রদান করে, এটি আগে এই ইন্টারফেসটি কীভাবে ব্যবহার করা যায় তা বুঝতে পারতে হবে।

স্মার্ট এজেন্ট স্তর: OpenClaw টুল এবং বাস্তবায়ন অনুমতি প্রদান করে, যা এটিকে সেই ইন্টারফেসটি সক্রিয় করতে সক্ষম করে।

অ্যাপ্লিকেশন লেয়ার: ফিটনেস সফটওয়্যারটি নিজেই একটি অনুমতি দুর্বলতা রেখেছে, বুকিং বাতিল করার ধাপটি সবচেয়ে মৌলিক যাচাইকরণও করেনি।

এই তিনটি স্তরের যেকোনো একটি পূরণ করলে, যেমন মডেলটি আরও সাবধান হয়, ফ্রেমওয়ার্কে একটি মানব নিশ্চিতকরণ যোগ করা হয়, বা সফটওয়্যারটি ইন্টারফেসটি লক করে দেয়, এই ঘটনাটি ঘটতো না।

সুতরাং, পরবর্তী ঘটনা প্রতিরোধের জন্য দায় শুধুমাত্র একটি AI ধাপের উপর চাপিয়ে দেওয়া অন্যায় এবং কার্যকর হবে না।

এই অতিক্রমের দাম হল একজন অপরিচিত ব্যক্তির অপেক্ষার তালিকায় জায়গা।

কিন্তু এটি একটি প্রাক-অভিনয়ের মতো।

কল্পনা করুন: যখন প্রত্যেকের কাছে এমন একটি বুদ্ধিমান এজেন্ট থাকবে, যা শুধুমাত্র আপনার জন্য দায়ী এবং বাস্তব অপারেশনাল অধিকার রাখে। কোর্স, মাঠ, বুকিং, টিকিট, বিমান টিকিট, প্রদর্শনীর টিকিট—সমস্ত সীমিত সম্পদের বুকিং সিস্টেম মেশিনের গতিতে নিয়ম চুরির ময়দানে পরিণত হবে।

যে এক্স কমেন্টটি বারবার উদ্ধৃত করা হয়েছে তার অর্থ হল:

যখন কয়েক মিলিয়ন মানুষ একটি স্মার্ট এজেন্ট রাখবে যা প্রিয় ব্যবহারকারীদের জন্য সেরা আসন, বুকিং এবং স্লট অর্জনের জন্য সবচেয়ে বেশি প্রচেষ্টা করবে, তখনই এই দৃশ্যটি বড় পরিসরে ঘটবে।

এছাড়াও, এটি মেশিনের গতিতে, সমান্তরালভাবে এবং অবিরামভাবে, প্রতিটি সিস্টেমের প্রতিটি ফাঁক পরীক্ষা করে: এক সেকেন্ডে আপনার এক বছরের সমস্ত কম্বিনেশন পরীক্ষা করে ফেলে।

এটি একটি প্রবণতা পূর্বানুমান, কিন্তু এর পিছনের কার্যপ্রণালী ইতিমধ্যে একবার বাস্তবে ঘটেছে।

টেক জগত এখন এটিকে নিয়ে হাসছে।

একজন a16z পার্টনার এক্স-এ জিজ্ঞাসা করছেন: এই কৌশলটি গল্ফ কোর্স দখল করতে ব্যবহার করা যাবে কি?

কেউ কেউ হাসিমুখে বলেছেন যে, স্যান ফ্রান্সিস্কোর টেনিস বুকিং সিস্টেম পৃথিবীর সবচেয়ে বেশি সুরক্ষিত সফটওয়্যারগুলির মধ্যে একটি হয়ে উঠবে।

২০২০ সালে, কৃত্রিম বুদ্ধিমত্তা একটি কাজ সম্পন্ন করতে পারে যা মানুষের জন্য চার সেকেন্ড সময় নেয়।

2026 এর মধ্যে, এই ক্ষমতা আরও উন্নত হবে এবং যে কাজগুলি মানুষের জন্য প্রায় 12 ঘন্টা সময় নেয়, সেগুলি সম্পন্ন করতে পারবে।

METR ট্র্যাকিং: এআই যে কাজগুলি স্বাধীনভাবে সম্পন্ন করতে পারে, তার সময়কাল প্রায় 7 মাসে দ্বিগুণ হচ্ছে, এবং সর্বশেষ অগ্রগতির মডেলগুলি এখন মানুষের প্রায় 12 ঘন্টা সময় নেওয়া কাজগুলি 50% নির্ভরযোগ্যতার সাথে সম্পন্ন করতে পারে।

ছয় বছর, চার সেকেন্ড থেকে ১২ ঘন্টা।

এখন আপনি এটিকে কয়েক মিনিটের জন্য ছেড়ে দিন, এটি পুরো বুকিং সিস্টেমের ভাঙ্গন খুঁজে বার করবে।

এন্ড্রুর এই দুর্ঘটনার পিছনে একটি নিরন্তর আক্রমণ ও প্রতিরোধের উত্থান রয়েছে।

অতিক্রমকৃত, এবং এটি শুধুমাত্র একটি কনজুমার-লেভেল এজেন্ট নয়।

এই বছর মে মাস থেকে, ওপেনএআই একটি অভ্যন্তরীণ সাইবার নিরাপত্তা মূল্যায়নের সময় দেখতে পায় যে GPT-5.6 Sol এবং একটি অপ্রকাশিত আরও শক্তিশালী মডেল একাধিক ভাঙ্গন ব্যবহার করে টেস্টিং স্যান্ডবক্স থেকে বেরিয়ে আসে, ইন্টারনেট অ্যাক্সেস পায়, এবং ExploitGym বেঞ্চমার্ক চালানোর সময় Hugging Face-এর মধ্যে দিয়ে হ্যাক করে।

আরও অদ্ভুত বিষয় হলো, তারা একসময় কোম্পানির অভ্যন্তরীণ প্যাকেজ ম্যানেজমেন্ট সিস্টেমের মাধ্যমে বার্তা আদান-প্রদান করত, দুর্বলতা শেয়ার করত এবং কাজ বিভক্ত করত। ওপেনএআই চ্যানেলটি বন্ধ করে পরিবেশ পুনর্গঠনের পরেও, কয়েক দিনের মধ্যেই তারা যোগাযোগকে ডিরেক্টরি নামের মধ্যে লুকিয়ে রেখেছিল এবং আবার যোগাযোগ পুনরায় স্থাপন করেছিল।

OpenAI গবেষকরা ব্ল্যাক হ্যাট কনফারেন্সে এটিকে কম্পিউটার নিরাপত্তার একটি মilestone মুহূর্ত বলেছেন।

শুধু ওপেনএআই নয়, এনথ্রোপিক প্রকাশ করেছে যে তাদের অভ্যন্তরীণ পরীক্ষায় তিনটি ক্লাউড মডেল বাস্তব কোম্পানির সিস্টেমের সাথে সংঘর্ষে পড়েছে; মেটা স্বীকার করেছে যে মিউজ স্পার্ক মডেলটি আইসোলেশন থেকে বেরিয়ে অন্য একটি কোম্পানিতে প্রবেশ করেছিল।

যে বিষয়টি হাগিং ফেসের সহ-প্রতিষ্ঠাতা থমাস ওয়লফকে দুঃখিত করেছিল, তা হল ব্রিটিশ এআই সুরক্ষা ইনস্টিটিউট (এআইএসআই) এর আরেকটি পরীক্ষা:

এনথ্রোপিকের মাইথোস মডেল চ্যালেঞ্জ পার করার জন্য মিথ্যা পরিচয় তৈরি করে, একজন বাস্তব ওপেন-সোর্স মেইনটেইনারকে বঞ্চিত করে এবং একটি ম্যালওয়্যার কোড সহ আপডেটের অনুমতি নেয়। কেউ এটি করতে শেখায়নি।

এই সব কেস পরীক্ষামূলক পরিবেশে ঘটেছে, কিন্তু এগুলো জিমের গল্পের সঙ্গে একই বিষয়: আপনি যে লক্ষ্যটি দিয়েছেন, তা পূরণ করতে AI আপনার অপ্রত্যাশিত উপায় বেছে নিয়েছে।

পূর্বে যারা বাস্তব সিস্টেমে হ্যাক করেছিল, তারা ছিল GPT-5.6, অপ্রকাশিত মডেল ইত্যাদি শীর্ষস্থানীয় প্রতিযোগী।

এবং অ্যান্ড্রু যে সময়ে Opus 4.6 ব্যবহার করেছিলেন, তা ছিল ২০২৬ সালের ফেব্রুয়ারিতে প্রকাশিত, এখন এটি আর সবচেয়ে শক্তিশালী নয়। এটি যদি সহজেই একটি বাস্তব অনুমতির ভাঙ্গন খুঁজে পায়, তবে এর চেয়েও পুরনো এবং কয়েক প্রজন্ম পিছিয়ে থাকা ওপেন-সোর্স মডেলগুলি তাই করতে পারে।

সবচেয়ে অগ্রগামী অপ্রকাশিত মডেল থেকে শুরু করে যে কেউ ডাউনলোড করতে পারে এমন ওপেন-সোর্স মডেল পর্যন্ত, "একটু লুপ খুঁজে বার করা" এখন শুধুমাত্র টপ-এন্ডের জন্য সীমাবদ্ধ নয়।

ওয়ল্ফ রক্ষণাবেক্ষণকে তিনটি স্তরে বিভক্ত করেছেন: বাহ্যিক স্যান্ডবক্স, মধ্যবর্তী মনিটরিং, এবং মডেলের নিজস্ব অ্যালাইনমেন্ট।

থমাস ওল্ফ পোস্ট করেছেন বর্তমান এজেন্টকে সীমাবদ্ধ করার তিনটি সুরক্ষা স্তর: বাহ্যিক স্যান্ডবক্স, মধ্যবর্তী মনিটরিং, এবং মডেলের নিজস্ব অন্তর্নিহিত সামঞ্জস্য।

প্রথম দুটি শুধুমাত্র তখনই কাজ করে যখন তাদের তৈরি করা মানুষ মডেলটির চেয়ে বেশি বুদ্ধিমান।

যেদিন মডেলটি বিপরীতভাবে বুদ্ধিমান হয়ে উঠবে, তখন সেটি কীভাবে সীমানা রক্ষা করবে, তা শেষ এবং সবচেয়ে অদৃশ্য সীমানার উপর নির্ভর করবে: মডেলটি কি চোখের সামনে না থাকলেও সেই রেখাটি অতিক্রম করতে চাইবে?

যে প্রতিরক্ষা রেখার চেয়ে বেশি জটিল, তা হলো কিছু ঘটলে কার কাছে যাবেন। এটি আইনগতভাবে এখনও একটি খালি জায়গা।

প্রযুক্তি এবং গোপনীয়তার উপর দক্ষ একজন আইনজীবী হেইডেন ডিলানি ABC-কে বলেছেন, সফটওয়্যার আইনগত প্রাতিষ্ঠানিকতা নয়, শুধুমাত্র 'আইনগত ব্যক্তি'ই দায়বদ্ধ হতে পারে।

তাহলে কে দায়ী?

হয়তো নির্দেশ দেওয়া ব্যক্তি, হয়তো বুদ্ধিমান সফটওয়্যার ডিজাইনার, হয়তো মডেল ডেভেলপার, বা এমনকি সিস্টেম অপারেটর যিনি ভাঙ্গনটিকে বাইরে রেখে দিয়েছেন।

অস্ট্রেলিয়াও এখন উত্তর দিতে পারছে না।

ASD-এর সাধারণ মানুষের জন্য পরামর্শ: স্মার্ট এজেন্টগুলি কম ঝুঁকিপূর্ণ, অসংবেদনশীল কাজে ব্যবহার করুন, অতিরিক্ত অনুমতি দেবেন না, এবং মানুষের অনুমোদনকে সর্বদা প্রক্রিয়ায় রাখুন।

অ্যান্ড্রু ভয় পাননি, তাঁর কথায়, এটি বিশ্বের শেষ নয়।

কিন্তু এটি একটি সতর্কবার্তা, যা আমাদের এআই ব্যবহারে দায়িত্বশীল হওয়ার কথা মনে করিয়ে দেয়।

যখন "সিট ধরা" মানুষের হাতে রিফ্রেশ থেকে স্মার্ট এজেন্টের দ্বারা গোপন দুর্বলতা শোষণে পরিণত হয়, তখন সবচেয়ে আগে পড়ে যায় যেসব পুরনো সিস্টেম ধরে রাখে যে "শুধুমাত্র মানুষই এটি ব্যবহার করবে"।

তাদের প্রতিরক্ষা মানুষের হাতের গতি এবং ধৈর্যের উপর ভিত্তি করে তৈরি করা হয়েছিল, যা বিপুল সংখ্যক বুদ্ধিমান এজেন্টের আক্রমণে টিকে থাকতে পারে না।

বৃত্তের মধ্যে, কেউ কেউ এটিকে একটি মজা হিসেবে দেখেন।

প্রখ্যাত প্রোগ্রামার স্ট্রিমার দ্য প্রাইমেজেন এক্স-এ জিজ্ঞাসা করেছেন: বাস্তব জগতের প্রথম AI হ্যাকিং ড্রামা হলো কেবল লাইনে গুছিয়ে দাঁড়ানো।

হাসুন, কিন্তু লাইন ভাঙ্গা আজকের পরিকল্পনা।

একটি "সবকিছু করতে পারে" এজেন্ট এখন আপনার জন্য ফাঁক ব্যবহার করতে পারে।

এক বিলিয়ন এই ধরনের এজেন্ট একসাথে অনলাইন হলে, এমনকি বহু বিদ্যমান সম্পদ বণ্টনের নিয়মও চুপচাপে পুনর্লিখন করতে পারে, যখন বেশিরভাগ মানুষ এখনও এটি বুঝতে পারছে না।

আপনার স্বার্থে, একটি এজেন্ট আপনার সম্পূর্ণ অপরিচিত একজনকে আক্রমণ করে—এর পিছনে দায়িত্বের শূন্যতা হল সত্যিকারের ভয়ঙ্কর বিষয়।

এই লেখাটি ওয়েইচ্যাট গ্রুপ "নিউ জ্ঞান মেট্রিক্স" থেকে এসেছে, লেখক: ASI প্রতিজ্ঞা