OpenAI একটি GPT-Red নামক অটোমেটেড রেড টিম সিস্টেম প্রকাশ করেছে, যা মডেল লঞ্চের আগে নিরাপত্তা দুর্বলতা খুঁজে বার করতে ব্যবহার করা হয়। কোম্পানিটি জানিয়েছে যে এই টুলসগুলি GPT-5.6-এর প্রশিক্ষণ প্রক্রিয়ায় ব্যবহার করা হয়েছে, যেখানে প্রম্পট ইনজেকশন আক্রমণের প্রতি জোর দেওয়া হয়েছে।
এআই দিয়ে এআই পরীক্ষা করুন
রেড টিম টেস্টিং মূলত সুরক্ষা ক্ষেত্রের একটি সাধারণ অনুশীলন ছিল, যেখানে সিস্টেমের উপর সক্রিয় আক্রমণ চালানো হয় এবং ব্যবহারযোগ্য দুর্বলতা আগে থেকেই শনাক্ত করা হয়। এই প্রক্রিয়াটি OpenAI এখন আরও স্বয়ংক্রিয় করেছে, যেখানে মডেলটি নিজেই আক্রমণের নমুনা তৈরি করে, এবং সফল কেসগুলি প্রতিরক্ষামূলক মডেল প্রশিক্ষণের জন্য বিপরীতভাবে ব্যবহার করা হয়।
OpenAI বলেছে, GPT-Red প্রতিদ্বন্দ্বী নিজের খেলা দিয়ে প্রশিক্ষণ নিয়ে নিরন্তর শক্তিশালী প্রম্পট ইনজেকশন আক্রমণ তৈরি করছে। যখন কোনো আক্রমণ সফল হয়, তখন এই নমুনাগুলি পরবর্তী প্রশিক্ষণে অন্তর্ভুক্ত করা হয়, যা প্রতিরোধমূলক মডেলের প্রতিরোধের ক্ষমতা বাড়ায়।
অভ্যন্তরীণ পরীক্ষার ডেটা প্রকাশ
OpenAI অনুসারে, অভ্যন্তরীণ মূল্যায়নে GPT-Red 84% পরীক্ষার পরিস্থিতিতে ব্যবহারযোগ্য সমস্যা খুঁজে পেয়েছে, যেখানে মানব লাল দলের সফলতার হার ছিল 13%। কোম্পানি বলেছে, এই আক্রমণের নমুনাগুলি পরে GPT-5.6 প্রশিক্ষণের জন্য ব্যবহার করা হয়েছিল, যার ফলে মডেলটি উচ্চ-কঠিন প্রম্পট ইনজেকশন বেঞ্চমার্কে ব্যর্থতার হার কমেছে।
এছাড়াও উল্লেখ করা হয়েছে যে, দুর্বলতা মেরামতের আগে, GPT-Red একটি অটোমেটিক ভেন্ডিং মেশিন এজেন্টকে প্ররোচিত করেছিল যাতে এটি দাম কমায়, ডিসকাউন্টেড স্টক কিনে এবং অন্যান্য ব্যবহারকারীদের অর্ডার বাতিল করে। OpenAI এটিকে উদাহরণ হিসেবে ব্যবহার করেছে যে, প্রম্পট ইনজেকশন সমস্যা শুধুমাত্র চ্যাট ফলাফলকেই প্রভাবিত করে না, বরং কার্যকরী AI এজেন্টগুলিকেও প্রভাবিত করতে পারে।
এখনও অভ্যন্তরীণ টুল হিসাবে ব্যবহার করা হবে
OpenAI বলেছে, GPT-Red এখনও সাধারণ জনগণের জন্য উন্মুক্ত নয়, কারণ এই সিস্টেমটি প্রয়োজনীয় আক্রমণাত্মক ক্ষমতা বিকাশের জন্য ইচ্ছাকৃতভাবে প্রশিক্ষিত। কোম্পানিটি এটিকে মানব লাল দল, তৃতীয় পক্ষের পরীক্ষা এবং অন্যান্য নিরাপত্তা ব্যবস্থার পরিপূরক হিসেবে চিহ্নিত করেছে, এটিকে বিকল্প হিসেবে নয়।
এটি এই বিষয়টিকেও প্রতিফলিত করে যে AI শিল্পটি “AI দিয়ে AI কে সুরক্ষিত রাখা”-এর দিকে যাচ্ছে। এই মাসের আগেই ইথারিয়াম ফাউন্ডেশনও ঘোষণা করেছিল যে তারা AI এজেন্টগুলি ব্যবহার করে কীভাবে কী-ইনফ্রাস্ট্রাকচারের রেড টিম টেস্টিং করেছে এবং ইথারিয়াম কনসেনসাস ক্লায়েন্ট সফটওয়্যারের একটি ভুল আবিষ্কার করেছে। মডেল এবং এজেন্টগুলির ক্ষমতা বৃদ্ধির সাথে, স্বয়ংক্রিয় সুরক্ষা পরীক্ষা ধীরে ধীরে AI সিস্টেমগুলির লঞ্চের আগে একটি গুরুত্বপূর্ণ পদক্ষেপে পরিণত হচ্ছে।