جب کاروباری ادارے بڑے ماڈلز کو کسٹمر سروس، پروگرامنگ اور فنانس جیسے عملوں میں شامل کر رہے ہیں، تو ماڈل کے آؤٹ پٹ کا کنٹرول کھو جانا، حساس معلومات کا نکلنا اور غیر اختیاری عملوں جیسے مسائل پر زیادہ توجہ دی جا رہی ہے۔ پیرس میں واقع AI سیکیورٹی اسٹارٹ اپ وائٹ سرکل نے حال ہی میں 11 ملین امریکی ڈالر کی بیج فنڈنگ حاصل کی ہے، جس کا مقصد کاروباری صارفین اور ماڈل کے درمیان ایک ریل ٹائم کنٹرول سسٹم شامل کرنا ہے۔
فندز کئی AI صنعت کے افراد سے آئے ہیں
اس سیریز فنڈنگ کے حامیوں میں OpenAI کے ڈیولپر تجربہ کے ہدایت کار رومین ہیوے، موجودہ Anthropic ریسرچر اور OpenAI کے مانچھی Durk Kingma، Mistral کے مانچھی اور سائنٹفک چیف Guillaume Lample، اور Hugging Face کے مانچھی اور سائنٹفک چیف Thomas Wolf شamil ہیں۔
وائٹ سرکل کا کہنا ہے کہ یہ فنڈز ٹیم کو بڑھانے، مصنوعات کی ترقی کو تیز کرنے، اور امریکہ، برطانیہ اور یورپ میں صارفین کو وسعت دینے کے لیے استعمال کیے جائیں گے۔ کمپنی کے پاس اب تک تقریباً 20 ملازمین ہیں جو لندن، فرانس، امستردام وغیرہ میں منتشر ہیں، اور ٹیم کا اکثریتی حصہ انجینئرز پر مشتمل ہے۔
ماڈل کے باہر ایک ریل ٹائم بلاک لیئر شامل کریں
وائٹ سرکل کا پروڈکٹ ڈیفینیشن، کاروباری صارفین اور AI ماڈلز کے درمیان ایک ریل ٹائم ایکزیکیشن سسٹم ڈپلوی کرنا ہے۔ پلیٹ فارم کاروباری صارفین کی طرف سے تعریف کردہ پالیسیوں کے مطابق ان پٹ اور آؤٹ پٹ کا مستقل جائزہ لے گا۔ اگر صارف میلویئر، فرڈ کنٹینٹ یا دیگر محدود معلومات تخلیق کرنے کی کوشش کرے تو سسٹم براہ راست روک سکتا ہے یا نشان لگا سکتا ہے۔
کمپنی کا کہنا ہے کہ یہ سسٹم ماڈل کے ہالوسینیشنز، حساس ڈیٹا کے لیک، غیر اجازت دی گئی ریفند کے وعدوں، اور AI ایجینٹس کے سافٹ ویئر ماحول میں تباہ کن عمل کی شناخت کے لیے بھی استعمال کیا جا سکتا ہے۔ اس کا بنیادی خیال صرف ماڈل فراہم کنندگان پر ٹریننگ کے دوران عام سیکورٹی ٹیوننگ کا انحصار نہیں کرتا، بلکہ کاروباری اداروں کو اپنے اپنے کاروباری ماحول میں یہ تعریف کرنے دیتا ہے کہ کون سے عمل مجاز ہیں اور کون سے عمل روکنے چاہئیں۔
شیلوو کا خیال ہے کہ جب کاروباری ادارے چیٹ بوٹس سے قابل انجام کاموں والے AI ایجینٹس کی طرف منتقل ہو رہے ہیں، تو خطرات واضح طور پر بڑھ رہے ہیں۔ اس قسم کے سسٹم صرف متن تخلیق نہیں کر سکتے، بلکہ کوڈ لکھ سکتے ہیں، فائلز تک رسائی حاصل کر سکتے ہیں، ویب سائٹس کا جائزہ لے سکتے ہیں، اور صارفین کی طرف سے کام بھی انجام دے سکتے ہیں۔
جیل سے بھاگنے کی ہدایت نے کاروباری خیالات پیدا کیے
وائٹ سرکل کو دینس شیلوو نے قائم کیا۔ 2024 کے آخر میں، اس نے ایک قابل استعمال "جنرل جیل بریک" پرومپٹ ڈیزائن کیا، جس کا مقصد مقبول ماڈلز کی سیکورٹی حدود کو دور کرنا تھا۔ اس کا طریقہ یہ تھا کہ ماڈل کو چیٹ بوٹ کے طور پر، سیکورٹی قوانین کے ساتھ جواب نہ دینے بلکہ API انٹرفیس کی طرح درخواستوں کو براہ راست پروسیس کرنے کے لیے کہا جائے۔
اس کے بیان کے مطابق، یہ پرامپٹ کبھی کبھی کئی اہم ماڈلز کو ایسے خطرناک سوالات کا جواب دینے پر مجبور کر دیتا تھا جن کا جواب دینا انہیں منع تھا۔ جب اس متعلقہ معلومات کو X پر شیئر کیا گیا، تو اس نے وسیع توجہ حاصل کی اور اسے Anthropic کے ساتھ ماڈل کا پرائیویٹ ٹیسٹ کرنے کا موقع بھی ملا۔ شیلوو نے بعد میں یہ فیصلہ کیا کہ مسئلہ صرف ہیکنگ پرامپٹس دریافت کرنے تک محدود نہیں ہے، بلکہ یہ بھی ہے کہ کمپنیاں ماڈل کے رویے پر مستقل کنٹرول رکھنے سے قاصر ہیں۔
10 ارب سے زائد API درخواستیں معالجہ کر لی گئیں
وائٹ سرکل کا کہنا ہے کہ اس کے پلیٹ فارم نے تکریباً ایک ارب سے زائد API درخواستوں کو پورا کیا ہے، اور اس کے موجودہ صارفین میں پروگرامنگ ٹول اسٹارٹ اپ Lovable اور کئی فنانشل ٹیک اور قانونی سروسز کی کمپنیاں شامل ہیں۔
شیلوو کا خیال ہے کہ ماڈل فراہم کنندگان کے پاس کاروبار کی ضروریات کے لیے ریل ٹائم کنٹرول لیئر تعمیر کرنے کا کافی محرک نہیں ہو سکتا۔ ایک طرف، چاہے ماڈل جواب دے یا نہ دے، کچھ فراہم کنندگان ان پر اور ان کے آؤٹ پٹ ٹوکن پر فیس لیتے ہیں؛ دوسری طرف، زیادہ سخت سیکیورٹی ٹریننگ کبھی کبھار ماڈل کی پروگرامنگ جیسے کاموں میں کارکردگی پر اثر ڈالتی ہے۔
ریسرچ ٹیسٹ مڈل کے بائیس کو شائع کریں
مصنوعات کے علاوہ، وائٹ سرکل تحقیق بھی آگے بڑھا رہا ہے۔ کمپنی نے مئی میں "KillBench" نامی تحقیق جاری کی، جس میں OpenAI، Google، Anthropic اور xAI سمیت 15 ماڈلز پر 10 لاکھ سے زائد تجربات کیے گئے، جن میں موت اور زندگی کے فیصلوں سے متعلق فرضی مناظر میں ماڈلز کے جوابات کا جائزہ لیا گیا۔
کمپنی کا کہنا ہے کہ تجرباتی نتائج سے ظاہر ہوا کہ ماڈل قومیت، مذہب، جسمانی ساخت یا موبائل فون برانڈ جیسے خصوصیات کے مطابق مختلف فیصلے کرتا ہے، جس سے یہ ظاہر ہوتا ہے کہ کچھ پوشیدہ جھکاؤ اعلیٰ خطرے والے مناظر میں ظاہر ہو سکتے ہیں۔ تحقیق میں یہ بھی پایا گیا کہ جب ماڈل کو ثابت شدہ اختیارات یا فارم کی شکل میں جواب دینے کو کہا جاتا ہے، تو اس قسم کے جھکاؤ زیادہ واضح ہوتے ہیں، جو کہ کاروباری ادارے AI کو حقیقی مصنوعات میں شامل کرتے وقت عام طور پر استعمال کرتے ہیں۔