যখন কোম্পানিগুলি বড় মডেলগুলিকে কাস্টমার সাপোর্ট, প্রোগ্রামিং এবং ফিন্যান্সের মতো ব্যবসায়িক প্রক্রিয়াগুলিতে একীভূত করছে, তখন মডেল আউটপুটের নিয়ন্ত্রণ হারানো, সংবেদনশীল তথ্য প্রকাশ এবং অননুমোদিত অপারেশনের মতো সমস্যাগুলির প্রতি বেশি মনোযোগ দেওয়া হচ্ছে। প্যারিসভিত্তিক AI সুরক্ষা স্টার্টআপ উইট সারকেল সম্প্রতি 1100 মিলিয়ন ডলারের বীজ বিনিয়োগ সংগ্রহ করেছে, যা কোম্পানির ব্যবহারকারীদের এবং মডেলের মধ্যে একটি রিয়েল-টাইম নিয়ন্ত্রণ স্তর যোগ করার চেষ্টা করছে।
এই তহবিলটি এআই শিল্পের অনেকগুলি ব্যক্তি থেকে আসে।
এই বিনিয়োগ সমর্থন করেন ওপেনএআই-এর ডেভেলপার এক্সপেরিয়েন্স প্রধান রোমেইন হুয়ে, বর্তমান অ্যানথ্রোপিক গবেষক এবং ওপেনএআই-এর সহ-প্রতিষ্ঠাতা ডার্ক কিংমা, মিস্ট্রাল-এর সহ-প্রতিষ্ঠাতা এবং প্রধান বিজ্ঞানী গিয়াম লাম্পল, এবং হাগিং ফেস-এর সহ-প্রতিষ্ঠাতা এবং প্রধান বিজ্ঞানী থমাস ওয়োলফ।
ৱাইট সার্কেল বলেছে, এই তহবিলটি দলকে বাড়ানো, পণ্য উন্নয়নকে ত্বরান্বিত করা এবং মার্কিন যুক্তরাষ্ট্র, যুক্তরাজ্য এবং ইউরোপে গ্রাহকদের বিস্তারের জন্য ব্যবহার করা হবে। বর্তমানে কোম্পানিটিতে প্রায় ২০ জন কর্মচারী রয়েছেন, যারা লন্ডন, ফ্রান্স, আমস্টারডাম ইত্যাদি স্থানে ছড়িয়ে আছেন, এবং দলটি প্রধানত ইঞ্জিনিয়ারদের দিয়ে গঠিত।
মডেলের বাইরে একটি রিয়েল-টাইম ব্লকিং স্তর যোগ করুন
ৱাইট সার্কেলের পণ্য পজিশনিং হল কর্পোরেট ব্যবহারকারী এবং এআই মডেলের মধ্যে একটি রিয়েল-টাইম এক্সিকিউশন সিস্টেম স্থাপন। প্ল্যাটফর্মটি কর্পোরেট দ্বারা কাস্টমাইজড নীতিমালা অনুযায়ী ইনপুট এবং আউটপুট কন্টেন্ট নিয়মিত চেক করে। যদি ব্যবহারকারী ম্যালওয়্যার, প্রতারণামূলক কন্টেন্ট বা অন্যান্য সীমিত তথ্য তৈরির চেষ্টা করে, তবে সিস্টেমটি সরাসরি ব্লক বা মার্ক করতে পারে।
কোম্পানিটি বলেছে যে এই সিস্টেমটি মডেল হ্যালুসিনেশন, সংবেদনশীল ডেটা প্রবাহ, অননুমোদিত রিফান্ড প্রতিশ্রুতি এবং এআই এজেন্টগুলির সফটওয়্যার পরিবেশে ধ্বংসাত্মক কার্যকলাপ শনাক্ত করতেও ব্যবহার করা যেতে পারে। এর মূল ধারণা হল শুধুমাত্র মডেল প্রস্তুতকারকদের দ্বারা প্রশিক্ষণ পর্যায়ে সাধারণ সুরক্ষা সমন্বয়ের উপর নির্ভর করা নয়, বরং প্রতিষ্ঠানগুলিকে তাদের নিজস্ব ব্যবসায়িক পরিবেশে কোন কার্যকলাপগুলি অনুমোদিত এবং কোনগুলি বন্ধ করা উচিত তা সংজ্ঞায়িত করতে হবে।
শিলভ মনে করেন, ব্যবসাগুলি চ্যাটবট থেকে কার্যকরী এআই এজেন্টের দিকে যাওয়ার সাথে সাথে ঝুঁকি প্রকাশ্যে বাড়ছে। এই ধরনের সিস্টেমগুলি শুধুমাত্র টেক্সট তৈরি করতে পারে না, বরং কোড লিখতে, ফাইলগুলি অ্যাক্সেস করতে, ওয়েবসাইট ব্রাউজ করতে এবং এমনকি ব্যবহারকারীদের পক্ষে কাজ সম্পাদনও করতে পারে।
জেল থেকে পালানোর প্রস্তাব উদ্যোক্তা অনুপ্রেরণা দেয়
উইট সার্কেল ডেনিস শিলভ দ্বারা প্রতিষ্ঠিত। ২০২৪ এর শেষের দিকে, তিনি একটি পুনঃব্যবহারযোগ্য "জেনেরিক জেল" প্রম্পট ডিজাইন করেন, যা প্রধান মডেলগুলির নিরাপত্তা সীমাবদ্ধতা এড়ানোর চেষ্টা করে। তাঁর পদ্ধতিটি মডেলকে নিরাপত্তা নিয়মসহ একটি চ্যাটবট হিসাবে প্রতিক্রিয়া দেওয়ার বদলে API ইন্টারফেসের মতো সরাসরি অনুরোধগুলি প্রক্রিয়াকরণের জন্য অনুরোধ করে।
এর বর্ণনা অনুযায়ী, এই প্রম্পটটি একসময় অনেকগুলি প্রধান মডেলকে মূলত অস্বীকার করা উচিত বিপজ্জনক প্রশ্নের উত্তর দিতে বাধ্য করেছিল। X প্ল্যাটফর্মে এই সংশ্লিষ্ট তথ্য ছড়িয়ে পড়ার পর, এটি ব্যাপক মনোযোগ আকর্ষণ করেছিল এবং তাকে Anthropic-এর সাথে মডেলটি ব্যক্তিগতভাবে পরীক্ষা করার সুযোগও দিয়েছিল। শিলভ পরবর্তীতে বুঝতে পারেন যে, সমস্যাটি শুধুমাত্র জেইলব্রেক প্রম্পট খুঁজে পাওয়ার বিষয়টি নয়, বরং প্রতিষ্ঠানগুলির মডেলের আচরণের জন্য নিরন্তর নিয়ন্ত্রণের অভাব।
10 বিলিয়নের বেশি API অনুরোধ প্রক্রিয়াকৃত হয়েছে
উইট সার্কেল জানিয়েছে যে তাদের প্ল্যাটফর্ম এখন পর্যন্ত 1 বিলিয়নের বেশি API রিকোয়েস্ট প্রসেস করেছে, এবং বর্তমান গ্রাহকদের মধ্যে রয়েছে প্রোগ্রামিং টুলস স্টার্টআপ Lovable এবং অনেকগুলি ফিনটেক এবং আইনি সেবা প্রতিষ্ঠান।
শিলভ মনে করেন, মডেল প্রদানকারীদের কাছে প্রতিষ্ঠানের প্রয়োজনীয় রিয়েল-টাইম কন্ট্রোল লেয়ার তৈরির জন্য যথেষ্ট উদ্দীপনা থাকতে পারে না। একদিকে, যদিও মডেল উত্তর না দেয়, কিছু প্রস্তুতকারক ইনপুট এবং আউটপুট টোকেনের জন্য চার্জ করে; অন্যদিকে, আরও কঠোর সুরক্ষা প্রশিক্ষণ কখনও কখনও প্রোগ্রামিং ইত্যাদি কাজে মডেলের পারফরম্যান্সকে প্রভাবিত করে।
রিসার্চ টেস্ট মডেল বায়াস প্রকাশ করুন
পণ্য ব্যবসার পাশাপাশি, উইট সার্কেল গবেষণাও এগিয়ে নিয়ে যাচ্ছে। কোম্পানিটি মে মাসে কিলবেঞ্চ নামে একটি গবেষণা প্রকাশ করে, যেখানে ওপেনএআই, গুগল, এনথ্রোপিক এবং xAI সহ 15টি মডেলের জন্য 100 লাখেরও বেশি পরীক্ষা চালানো হয়েছিল, যেখানে মডেলগুলির মৃত্যু ও জীবনের বিকল্পগুলির কাল্পনিক পরিস্থিতিতে কীভাবে উত্তর দেয়া হয় তা পরীক্ষা করা হয়েছিল।
কোম্পানিটি বলেছে যে পরীক্ষার ফলাফল দেখায় যে মডেলটি জাতিগত পরিচয়, ধর্ম, শরীরের গঠন বা মোবাইল ব্র্যান্ডের মতো বৈশিষ্ট্যের পরিবর্তনের সাথে ভিন্ন ভিন্ন পছন্দ করে, যা নির্দিষ্টভাবে লুকিয়ে থাকা পক্ষপাতগুলি উচ্চ-ঝুঁকিপূর্ণ পরিস্থিতিতে প্রকাশ পেতে পারে। গবেষণাটি আরও দেখিয়েছে যে যখন মডেলকে স্থির বিকল্প বা ফর্মের মাধ্যমে উত্তর দিতে বলা হয়, তখন এই ধরনের পক্ষপাতগুলি আরও স্পষ্টভাবে দেখা যায়, যা কোম্পানিগুলি AI-কে বাস্তব পণ্যের সাথে যুক্ত করার সময় সাধারণত ব্যবহার করে।