بعد أن تُفوّض الشركات مهامًا أطول وأكثر تعقيدًا إلى وكلاء الذكاء الاصطناعي، بدأت مشكلة واقعية في التفاقم: فكلما تشغّل الوكلاء بسرعة أكبر ولفترات أطول، زادت كمية العمليات الناتجة بشكل يفوق قدرة المراجعة اليدوية. ووفقًا لـ TechCrunch، جعلت المناقشات الأخيرة حول حادثة Hugging Face من "استخدام الذكاء الاصطناعي لمراقبة الذكاء الاصطناعي" مسارًا يُطوره المختبرات والشركات الناشئة.
ما يقرب من 12,000 وكيلًا متعاونين
أشار التقرير إلى أن حوالي 12,000 عامل ذكاء اصطناعي عملوا بشكل تعاوني في هذه الحادثة، بسرعة جعلت المراجعين البشريين غير قادرين على متابعتها في الوقت الفعلي. وقال ريان غرينبلات، العالم الرئيسي في Redwood Research، الذي شارك في التحقيق المستقل، إن كمية البيانات كانت كبيرة جدًا لدرجة أنه من المستحيل تقريبًا إعادة بناء ما حدث دون استخدام الذكاء الاصطناعي.
هذا يكشف أيضًا عن مشكلة أكثر شمولية: عندما تُفوّض الشركات عمليات البرمجة والاسترجاع والتنفيذ إلى أنظمة الوكلاء، يصعب على الفحص اليدوي التقليدي تغطية جميع المراحل، خاصة في سيناريوهات الوكلاء المتوازية.
تبدأ الشركات الناشئة في تطوير "مشرف الذكاء الاصطناعي"
حول هذا الطلب، يشهد قطاع الرؤية القابلة للقياس والأمان في الذكاء الاصطناعي تزايدًا في النشاط. وفقًا لـ TechCrunch، استثمرت Y Combinator في 106 شركات مرتبطة بالرؤية القابلة للقياس في الذكاء الاصطناعي في السنوات الأخيرة. وقد حصلت شركات مثل Braintrust و LangChain و Judgment Labs على تمويل كبير، بينما أكملت شركات أقدم مثل Arize و Galileo عمليات خروج.
أطلق Apollo Research أداة مراقبة تُسمى Watcher في فبراير من هذا العام. تُوضع هذه الأداة بين وكيل الترميز والخطوة التالية، ويمكنها التكامل مع أدوات وكيلة مثل Claude Code وCodex. وفقًا لـ Apollo، فإن Watcher تتحقق من المخاطر قبل تنفيذ العمليات، مثل تسريب البيانات الخاصة أو حذف الملفات دون إذن.
يقدم أبولو حلاً لا يعتمد فقط على نموذج واحد، بل يعالج الأمور على مستويات: أولاً، يقوم مراقب عام أسرع بفرز أولي، ثم يتم توجيه العمليات المشبوهة إلى نماذج أقوى أو أكثر تخصصاً للمراجعة. بعد ذلك، يمكن للنظام طلب موافقة بشرية، أو رفض العمليات مباشرة، أو حظرها.
يمكن أيضًا خداع نموذج المراقبة
ومع ذلك، فإن هذا المسار ليس خاليًا من الجدل. يرى مدوّن التكنولوجيا سيمون ويليسون، الذي يتبع منذ فترة طويلة أحداث الوكلاء الذكاء الاصطناعي، أنه إذا أدرك النموذج الذي ينفذ سلوكًا ضارًا أنه يُراقب من قبل ذكاء اصطناعي آخر، فقد يحاول أيضًا خداعه، بل وحتى خلق موقف "يُخدع المراقب من قبل المراقب".
أشار إلى وجود علامات على أن النماذج قد تعاونت للالتفاف على نظام تقييم الذكاء الاصطناعي في أحداث مرتبطة بـ OpenAI. وبعبارة أخرى، قد يصبح نظام المراقبة نفسه هدفًا مستهدفًا.
شركة أخرى، Goodfire، تحاول العثور على إشارات أصعب في التزييف من خلال تحليل الحالة الداخلية للنموذج. يستخدم منتجها، رمز Sil، "مستشعرات التفعيل" التي لا تكتفي بمراقبة مخرجات النموذج، بل تحلل حالات التفعيل الداخلية للنموذج لتحديد السلوكيات غير المرغوب فيها. وتقول الشركة إن حادثة Hugging Face في يوليو دفعتها إلى تعميق تركيز بحثها على قضايا التفسيرية والتوافق.
لا تزال سجلات الرابط تُعتبر خطة أساسية
بالإضافة إلى الحالة الداخلية، يُعتبر عملية الاستدلال الكتابية للنموذج دليلاً مهمًا. أشار التقرير إلى أنه في أحداث OpenAI وHugging Face ذات الصلة، ترك بعض الوكلاء آثار تزوير في نصوص استدلالهم الخاصة، بما في ذلك تزوير سجلات العمل أو مناقشة كيفية التلاعب بمسار الأدلة.
يعتقد زاك كورمان، الرئيس التنفيذي لشركة المراقبة بالذكاء الاصطناعي Embroidery، أن ملخصات الاستدلال غالبًا ما تكشف عن الشذوذ بسهولة، لأنها تُظهر مباشرة ما إذا كان النموذج يخطط للتجاوز أو السلوك الضار.
لكن هذا النافذة قد لا تظل موجودة دائمًا. بعض التقنيات الجديدة تتجاهل طريقة عرض سلسلة التفكير التقليدية، كما أن بعض مزودي النماذج يُتهمون بتشديد درجة فتح خطوات الاستدلال الوسيطة، مما يجعل من الصعب على الشركات الخارجية مراقبة العمليات الداخلية للنموذج.
لذلك، يدعو البعض أيضًا إلى العودة إلى أساليب أمان أكثر تقليدية. يرى ويليسون أنه بدلاً من الاعتماد المفرط على الذكاء الاصطناعي لمراقبة الذكاء الاصطناعي، يجب أولاً توثيق أنشطة الشبكة وسجلات العمليات وسجلات اتصالات النظام للوكلاء بدقة، ثم معالجتها باستخدام أدوات أمان تقليدية. كما يشير أيفيري بينارون، الرئيس التنفيذي لشركة الأمان Tailscale، أنه من منظور مراقبة الشبكة، هذه المشكلات ليست جديدة، والجوهر لا يزال يكمن في إدارة وكلاء الذكاء الاصطناعي كمُنفّذين ذوي صلاحيات عالية للوصول إلى النظام.