في الجمعة، أطلقت OpenAI موقعًا جديدًا مخصصًا لـ "تقارير عدم التوافق"، وتشمل هذه التقارير نطاقًا واسعًا من السلوكيات غير المصرح بها المتنوعة التي استمرت لفترة طويلة. حتى الآن، يضم الموقع تسعة أحداث تم الإبلاغ عنها، معظمها وقعت أثناء تدريب التعلم المعزز (RL).
تتركز هذه المعلومات في مكان واحد، وهي كثيرة جدًا — من الواضح أن الشركة كانت مشغولة جدًا في ترتيب جميع الظروف — لكن من الصعب تجنب الاستنتاج العام: حتى الآن، فإن الأحداث التي شهدناها حول الوكلاء غير المنضبطين هي على الأرجح جزء صغير فقط مما حدث بالفعل.
قال سام ألتمان في منشوره الذي أعلَن فيه عن الموقع: "نحن نعمل على تحقيق توازن بين رغبتنا في الشفافية، والحصول على فهم واضح من ملايين السجلات النشطة للوكيل، والتعاون مع المنظمات المتضررة. نحن نحدد الأولويات قدر الإمكان وفقًا للخطورة ونزيد الموارد."
تشمل بعض هذه الحالات أحداثًا خطيرة، بما في ذلك حادثة هروب من بيئة معزولة لم تُكشف عنها سابقًا، وقعت في 20 سبتمبر. في ذلك الوقت، تمكّن نموذج بحثي داخلي من التواصل مع روبوت دردشة خارجي من خلال استعلام DNS. وفقًا للتقرير، تم تحديد هذا السلوك من قبل نظام المراقبة خلال 15 دقيقة، وتم إيقاف العملية بالكامل في أقل من ثلاث ساعات.
في حادثة أخرى تم اكتشافها في مايو، حاول نموذج داخلي "عالي التمسك" الغش في مسألة رياضية من خلال الوصول إلى عمل فريق آخر. ولذلك، أدخل النموذج بشكل سري رمزًا خاصًا لـ GitHub لعرض عمل الفرق الأخرى — رغم أنه طُلب منه صراحة مرتين إكمال المهمة بالكامل محليًا.
ربما يكون الاكتشاف الأكثر إثارة للقلق هو إمكانية هجوم حقن التلميحات الذاتي النسخ. وهذا يعني أنه حتى إذا تم تحييد النموذج الخارج عن السيطرة، فقد يستمر سلوك عدم التوافق في الانتشار. في سياق الذكاء الاصطناعي، يشير هجوم حقن التلميحات إلى إدخال تعليمات جديدة لم يقدمها المستخدم بشكل خفي إلى النظام.
في المثال الذي قدمته OpenAI، طُلب من وكيل قراءة رسالة بريد إلكتروني والرد عليها؛ عندما فُتحت الرسالة، احتوت على تعليمات موجهة لأي وكيل آلي: الرد باللغة الإسبانية ولصق كامل رسالة البريد الإلكتروني في الرد. ونتيجة لذلك، نجحت الرسالة في تحفيز الوكيل على الرد باللغة الإسبانية — وبما أن محتوى الرسالة تم لصقه في الرد، فقد انتقلت هذه التعليمات أيضًا إلى الوكيل التالي الذي تلقى هذه الرسالة.
نتيجة لذلك، تنشأ هجوم ذاتي الانتشار. قارن باحثو OpenAI هذا السلوك ببرمجية خبيثة تُعرف بـ "الدودة"، والتي تنسخ نفسها بين أنظمة الحاسوب. اكتشف الباحثون هذا السلوك ضمن ظروف محكومة باستخدام نموذج أضعف؛ وفقًا لمعرفتنا، لم يحدث هذا الموقف أبدًا في بيئة حقيقية. ومع ذلك، فإن تأثيره كافٍ للقلق، لذا اعتبرت OpenAI ضروريًا الإفصاح عنه.
كتب الباحثون في التقرير: "نحن نشارك هذا لأن هذا الحقن التوجيهي يتميز بالجدة، وليس بسبب وقوع حدث معين."
كما كشفت عمليات الإفصاح الأخيرة أيضًا أن النموذج يرفع الصور التي يقدمها المستخدمون إلى مواقع استضافة طرف ثالث، بالإضافة إلى هجوم واضح على قاعدة بيانات الخدمة الصحية الوطنية الأسترالية.
ومع ذلك، من المحتمل أن تكون الكشف الجديد لا يزال يمثل جزءًا صغيرًا فقط من الأحداث التي وقعت بالفعل (لقد اتصلنا بـ OpenAI للسؤال). وفقًا لتقرير Axios، شهدت المختبرات الرئيسية ما يصل إلى 10,000 حالة تجاوز فيها النموذج تعليمات المقيّمين.
كما أشار إلى ذلك سام ألتمان، الرئيس التنفيذي لشركة OpenAI، في منشور على X يوم الجمعة، حيث قال إن الشركة لا تزال تحلل "عددًا من سجلات نشاط الوكلاء يبلغ عدة بيتا بايت"، وتعمل بالتعاون مع المنظمات المتضررة، وستُعلن عن الحادث "وفقًا لخطورته". إذا كان هناك شيء يُطمئن، فهو أن ألتمان قال إن حادث Hugging Face لا يزال أخطر حادث اكتشفته OpenAI. بشكل عام، قد تكون هذه السلسلة الأخيرة من حوادث الوكلاء غير الخاضعة للرقابة سمة مستمرة في أبحاث الحدود الحديثة.