امریکی حکومت نے چین کے نئے AI ماڈل کو ہیکنگ ٹیسٹ کے لیے ٹیسٹ کیا۔ اس نے پایا کہ مونشٹ آئی کا کیمی K3 امریکی بہترین ماڈلز سے کافی نیچے ہے۔
امریکی ایجنسی AI معیارات اور نوآوری کے مرکز (CAISI) نے ایک برطانوی شراکت دار کے ساتھ ٹیسٹ کیے۔ نتائج واشنگٹن کے مون شٹ کو امریکی ٹیکنالوجی کے چوری کیے گئے استعمال کرکے کیمی K3 تعمیر کرنے کا الزام لگانے کے ایک دن بعد سامنے آئے۔
کیمی K3 امریکی سائبر بینچ مارکس پر کامیاب نہیں ہوا
کمرس ڈیپارٹمنٹ نے جمعرات کو نتائج شیئر کیے۔ اس نے کہا کہ کیمی K3 برطانوی ماہرین کے ساتھ مشترکہ ٹیسٹ کے حوالے سے امریکی ٹاپ ماڈلز سے کافی نیچے رہا۔
مون شاٹ نے 16 جولائی کو کیمی K3 لانچ کیا۔ مانگ اتنی زیادہ تھی کہ اسے دو دن کے اندر نئے رجسٹریشنز روکنے پڑے۔
اس لانچ نے یو ایس چپ اسٹاکس کو بھی ہلا دیا اور امریکہ کے AI لیڈ کے بارے میں نئے شکوک پیدا کر دیے۔
ایک ٹیسٹ، جس کا نام ExploitBench ہے، کارنیگی میلون یونیورسٹی نے تیار کردہ اصل Chrome براؤزر کے بگز استعمال کرتا ہے۔ کیمی K3 نے 32% اسکور کیا۔ یہ چین کے GLM-5.2 (24%) کو عبور کر گیا۔ لیکن یہ امریکہ کے بہترین ماڈلز سے پیچھے رہ گیا، جنہوں نے تقریباً 76% اسکور کیا۔
کامیابی کا سب سے مشکل مرحلہ ہدف کے مachines پر مکمل کنٹرول حاصل کرنا ہے۔ کیمی K3 نے تمام 41 ٹیسٹس میں اس مرحلے میں ناکامی کا مظاہرہ کیا۔ امریکہ کے بہترین ماڈلز نے 20 پر اسے کامیابی سے حاصل کیا۔
دوسرا ٹیسٹ، جس کا نام "دی لاسٹ آنز" ہے، 32 مراحل پر مشتمل ایک جعلی کمپنی نیٹ ورک حملہ ہے۔ اسے مکمل کرنے کے لیے ایک انسانی ماہر کو تقریباً 20 گھنٹے لگتے ہیں۔ کیمی K3 نے اوسطاً 17ویں مرحلہ تک پہنچا۔ امریکہ کے بہترین ماڈلز نے 28.5ویں مرحلہ تک پہنچا۔ کیمی K3 نے 10 کوششوں میں صرف ایک بار پورا ٹیسٹ مکمل کیا۔
بتیجہ طور پر، بہترین ایس یو سسٹم نے اسے چھ یا سات بار کیا۔
لیکن فاصلہ اس سے زیادہ بڑا لگ سکتا ہے
لیکن اعداد و شمار پوری کہانی نہیں بتاتے۔ رپورٹ کا اپنا چھوٹا طباعتی نوٹ کئی شرائط رکھتا ہے۔
سب سے پہلے، امریکی ماڈلز کو ان کے سیفٹی فلٹرز بند کر کے ٹیسٹ کیا گیا۔ یہ سیٹنگ ان کی مکمل طاقت کو ظاہر کرتی ہے۔ عوامی ورژن ان فلٹرز کو چالو رکھتے ہیں۔ اس لیے امریکی اسکورز بہترین صورت حال ہیں، حقیقی زندگی نہیں۔
ٹیم نے کام کو بھی جلد اور محدود کہا۔ اس نے صرف ایک ٹیسٹ پر کیمی K3 کا اسکور کیا اور مکمل سیٹ کا صرف حصہ چلایا۔ اس لیے اس کا ریٹنگ کمزور ہے۔ کچھ ٹیسٹس خفیہ بھی ہیں، اس لیے باہری لوگ کام کی جانچ نہیں کر سکتے۔
ایک بنیادی عدم مطابقت بھی ہے۔ کیمی K3 ایک کھلا ماڈل ہے جسے کوئی بھی ڈاؤن لوڈ کر سکتا ہے۔ امریکی ماڈلز بند، نجی نظام ہیں۔ برطانیہ کا ادارہ پایا کہ کھلے ماڈلز عام طور پر بہترین بند ماڈلز سے چار سے سات ماہ پیچھے چلتے ہیں۔ وہ مون شٹ نے اسے عوام کے لیے جاری کرنے کے بعد ہی کیمی K3 کا مکمل ٹیسٹ دیں گے۔
یہ ٹیسٹس حقیقی حملے نہیں ہیں۔ فیک نیٹ ورک میں کوئی انسانی دفاع نہیں تھا اور نہ ہی کوئی الارم تھا جو چالو ہو سکے۔ تب بھی، کیمی K3 نے آخری بہترین کھلا ماڈل کو شکست دے دی۔ اور اس نے ایک بار پورا حملہ مکمل بھی کر لیا۔
وقت اور ذریعہ دونوں سوالات اٹھاتے ہیں۔ CAISI پہلے US AI Safety Institute تھا۔ ٹرمپ انتظامیہ نے جون 2025 میں اس کا نام تبدیل کر دیا۔ یہ وہی محکمہ ہے جو امریکہ کی چپس کی چین کو فروخت پر پابندی لگاتا ہے۔ اور اس کی رپورٹ ایک چینی مقابلہ کار کے بارے میں چوری کے دعوے کے اگلے دن ہی آئی۔
کمزور محفوظی کے انتظامات اب بھی خطرات بڑھا رہے ہیں
تاہم، کم اسکور کا مطلب یہ نہیں کہ کیمی K3 محفوظ ہے۔ ٹیسٹ نے پایا کہ اس کے گارڈریلز اسے ہیکس بنانے یا سسٹمز پر حملہ کرنے سے روکنے میں ناکام رہے۔
یہ اس لیے اہم ہے کیونکہ اگلا کچھ آ رہا ہے۔ مون شاٹ منصوبہ ہے کہ وہ مکمل ماڈل 27 جولائی کو جاری کرے۔ ایک بار جب یہ جاری ہو جائے، تو اسے واپس نہیں لیا جا سکتا۔ کوئی بھی اسے ڈاؤن لوڈ کر سکتا ہے اور سیفٹی فلٹرز کو ہٹا سکتا ہے۔
ٹیسٹ کے بعد ایک چوری کا دعویٰ بھی آیا۔ واشنگٹن کا کہنا ہے کہ مون شاٹ نے چوری شدہ امریکی AI ٹیکنالوجی پر کیمی K3 تعمیر کیا۔ وائٹ ہاؤس کے ٹیکنالوجی چیف مائیکل کریٹسیوس نے کہا کہ کمپنی نے اینتھرپک کے کلوڈ فیبل 5 کو چھپا کر نقل کیا۔ اس حربے کو "ڈسٹلیشن" کہا جاتا ہے، جس میں ایک نئی ماڈل کو ایک مضبوط ماڈل کے جوابات پر تربیت دی جاتی ہے۔
اینٹروپک دعوے کی تائید کرتا ہے۔ فروری میں، اس نے تلاش کیا کہ مہینہ کے ذریعہ سینکڑوں جعلی اکاؤنٹس پر 3.4 ملین سے زائد کلود چیٹس ہوئے۔ اس نے انتباہ کیا کہ نقل شدہ ماڈلز اصل کے محفوظ کنٹرولز کھو دیتے ہیں۔ یہی کمزور نکہہ یہ ٹیسٹ نے ابھی دریافت کیا ہے۔
امریکہ اب بھی چین کے مقابلے میں 23 گنا زیادہ AI پر خرچ کرتا ہے۔ تاہم چینی لیبز فاصلہ کم کرتے جا رہے ہیں۔ اصل ٹیسٹ اس وقت آئے گا جب کیمی K3 عوامی ہو جائے اور باہر کے ماہرین خود دعوؤں کی تصدیق کر سکیں۔