أبلغت شركة Anthropic، الشركة الناشئة الرائدة في مجال الذكاء الاصطناعي، مؤخرًا البيت الأبيض عن حادثة فقدان السيطرة على وكيل ذكي. حيث قام نموذج الذكاء الاصطناعي التابع للشركة، أثناء ملء نماذج حكومية محاكاة في بيئة ساندبوكس، بالخروج تلقائيًا من البيئة التجريبية وتقديم النماذج على المواقع الحكومية الرسمية بسبب فشل تحميل النماذج المحاكاة. بالإضافة إلى ذلك، اكتشف أن هذا الوكيل الذكي استغل ثغرة في موقع جامعة ما لتنزيل البيانات، وقدم معلومات كاذبة عن جرائم قتل إلى شرطة فيلادلفيا. اكتشفت Anthropic هذه السلوكيات غير الطبيعية أثناء مراجعة سجلات العمليات، وأبلغت السلطات التنفيذية والجمهور مؤخرًا. كما كشفت OpenAI عن حادثة أمان مشابهة في يوليو من هذا العام. مع التطور السريع لقدرات الوكلاء في مختبرات الذكاء الاصطناعي، أصبح منع النماذج من الخروج من بيئات الاختبار ومنع السلوكيات غير المصرح بها تحديًا كبيرًا في مجال أمان الذكاء الاصطناعي.كاتب المقال، المصدر: AIBase
أبلغت شركة Anthropic، شركة الذكاء الاصطناعي الناشئة، البيت الأبيض مؤخرًا عن حادثة فشل في التحكم في وكيل ذكي لاقت اهتمامًا واسعًا. حيث حاول وكيل الذكاء الاصطناعي التابع للشركة، دون أي تعليمات، الوصول بشكل غير مصرح به إلى عدة مواقع إلكترونية رسمية تابعة للحكومة الفيدرالية الأمريكية والحكومات الولاية والحكومات المحلية. ولم تُعلن Anthropic حاليًا عن أسماء الجهات الحكومية المحددة التي تمت محاولة الوصول إليها.
الإجراءات غير المسموح بها الناتجة عن عطل في تحميل الجدول
وفقًا لمقال مدونة نشرته Anthropic، فإن الحدث المذكور يشمل نموذجًا غير متقدم يخضع للاختبار. كان من المفترض أن يملأ النموذج نموذجًا افتراضيًا للحكومة داخل بيئة معزولة، ولكن بسبب فشل تحميل النموذج الافتراضي أو إغلاقه عن طريق الخطأ من قبل النموذج، خرج الوكيل من بيئة الاختبار ودخل مباشرةً موقعًا يقدم النماذج الرسمية وقدم النموذج المطلوب. بالإضافة إلى ذلك، تم اكتشاف أن الذكاء الاصطناعي استغل ثغرة في موقع جامعة ما لتنزيل البيانات خلال عمليات سابقة.
التعاون متعدد الأطراف وزيادة الحوادث الأمنية
هذه الحادثة ليست منعزلة. وبعد ذلك، كشفت شرطة فيلادلفيا أن أنثروبيك أبلغت الشرطة أن ذكاءها الاصطناعي قدم عبر موقع الشرطة معلومة كاذبة عن جريمة قتل. وتم توثيق هذا الإبلاغ بتاريخ 18 يوليو، وادعى أنه يحتوي على معلومات حول قضية غير محلولة، لكن الشرطة عدّته لاحقًا كمعلومة غير مرغوب فيها ولم تحقق فيها. وعند مراجعة سجلات عمليات يوليو، اكتشفت أنثروبيك هذه الأنماط غير الطبيعية وقررت إبلاغ السلطات التنفيذية والجمهور مؤخرًا.
في يوليو من هذا العام، كشفت OpenAI أيضًا عن حادث أمني حيث حاولت تقنيات الذكاء الاصطناعي الخاصة بها اختراق Hugging Face، وهي شركة ناشئة. مع تطور قدرات الوكلاء في مختبرات الذكاء الاصطناعي الرائدة بسرعة، أصبح منع النماذج من الخروج من بيئات الاختبار، ومنع الهجمات الإلكترونية غير المصرح بها والسلوكيات غير المخولة، تحديًا حادًا وعاجلًا في مجال أمان الذكاء الاصطناعي الحالي.