تبدأ وكلاء الذكاء الاصطناعي في التعاون في الهجمات الإلكترونية، مما يثير مخاوف أمنية

على مدار السنوات القليلة الماضية، ظلّ النقاش حول تهديدات الذكاء الاصطناعي محصورًا في فرضية افتراضية: حيث كان الجميع يخشون أن تتحول النماذج داخل مربعات الدردشة إلى مستشارين يساعدون القراصنة على كتابة أكواد فيروسات مدمرة.

عند النظر إلى الوراء الآن، كان يُنظر عادةً إلى هذا القلق على أنه "بعيد عنا"، لكن نقاط التحول في العالم الحقيقي جاءت أسرع مما تصورنا.

في بداية شهر أكتوبر، اكتشفت CrowdStrike أثناء التحقيق في سلسلة من الهجمات على المؤسسات المالية الكورية أن المهاجمين قد دمجوا الذكاء الاصطناعي القائم على الوكلاء في خطوط الإنتاج، من خلال الربط مع نماذج كبيرة متعددة مثل DeepSeek و GLM و Grok، بحيث يبدأ الذكاء الاصطناعي مباشرة في أداء مهام محددة مثل اختبار الاختراق وجمع المعلومات وتنفيذ الهجمات.

مثل هذه التغييرات ليست حالة فردية.

تُظهر أحدث تقارير استخبارات التهديد الصادرة عن Anthropic في سبتمبر، أن إطارات متعددة الوكلاء قد استُخدمت مؤخرًا في الاستطلاع واستغلال الثغرات وسرقة البيانات، حيث تعمل بشكل مستمر لساعات أو حتى أيام، بينما يقتصر دور الإنسان على اتخاذ قرارات رئيسية محدودة مثل اختيار الأهداف ومراجعة النتائج.

بعبارة أخرى، تُحدث الذكاء الاصطناعي تغييرًا نوعيًا ملموسًا في الهجوم والدفاع الشبكيين؛ ففي الماضي، كانت الهجمات الآلية تعتمد بشكل رئيسي على قواعد ونصوص مكتوبة مسبقًا، أما الآن فقد بدأ العاملون (Agents) في تولي مهام مثل الاستطلاع، واتخاذ القرار، وتعديل الاستراتيجيات، مما يجعل الهجمات أكثر تكلفة منخفضة، وعالية التزامن، وقادرة على التشغيل المستمر الذاتي.

لكن عندما يتم إطلاق هذه الكيانات القادرة على التنفيذ الذاتي بكثافة في أنظمة الإنتاج، يظهر سؤال أكثر تعقيدًا: ماذا نفعل إذا تعلمت هذه الوكلاء التواطؤ مع بعضها البعض؟

ما زال الحديث عن نفس الشيء: أكبر فرق بين الوكيل والدردشة السابقة ليس فقط قدرة النموذج الأقوى، بل الأهم أنه بدأ يمتلك "أطرافًا" في العالم الحقيقي.

اليوم، يمكن لوكيل ناضج فتح صفحات الويب، وتنفيذ التعليمات البرمجية، وقراءة البريد الإلكتروني، واستدعاء واجهات برمجة التطبيقات، وتشغيل الخدمات السحابية، والتوصيل ب越来越多 من الأدوات الخارجية عبر MCP وSkills وغيرها (اقرأ المزيد في "عندما يستخدم القراصنة الذكاء الاصطناعي بكفاءة أعلى، كيف تتصاعد سباق التسلح بين السلاح والدرع في Web3؟").

كلما زادت القدرة، أصبحت هذه التغييرات أكثر قيمة بالطبع، لكن بالنسبة لأنظمة الأمان، فهذا يعني أن الحدود المهمة جدًا في الماضي تختفي، وقد أظهرت سلسلة الأحداث الأمنية التي وقعت هذا العام هذا الأمر بشكل واضح جدًا.

في 1 أكتوبر، كشفت Salt Labs عن ثغرة في Manus تم إصلاحها مسبقًا، وهي في جوهرها حقن تعليمات برمجية — حيث يكفي للباحثين إرسال بريد إلكتروني عادي يحتوي على أوامر خبيثة مخفية إلى بريد المستخدم المستهدف، وعندما يطلب المستخدم لاحقًا من Manus "ساعدني في التحقق من بريدي الإلكتروني"، قد يقوم الوكيل بتنفيذ الأوامر الواردة في البريد، مما يؤدي في النهاية إلى تنفيذ الكود الذي زرعه المهاجم.

لم يتطلب العملية بأكملها من المستخدم النقر على روابط ضارة، ولا سرقة كلمات المرور مسبقًا، بل اكتشف نظام أمان Manus في النهاية السلوك غير الطبيعي وأرسل تحذيرًا للمستخدم، لكن المشكلة كانت في اكتشافه المتأخر؛ فعند ظهور التحذير، كان الكود الضار قد نُفّذ بالفعل.

هذا يكشف مرة أخرى عن فرق مهم بين أمان الوكلاء وأمان البرمجيات التقليدية؛ في الماضي، عندما اكتشف المتصفح تنزيلًا خطرًا، كان يمكنه عرض تحذير لكي يقرر المستخدم ما إذا كان يريد المتابعة أم لا؛ عندما تكتشف البنوك معاملة غير طبيعية، يمكنها تجميدها أولًا، ثم الانتظار للمراجعة اليدوية.

لكن الهدف من تصميم وكيل هو تقليل مشاركة الإنسان في كل خطوة قدر الإمكان، حيث يحتاج إلى قراءة المعلومات واتخاذ القرارات وتنفيذ الخطوة التالية بنفسه.

وبالتالي، مع زيادة السلطة الذاتية التي يحصل عليها الذكاء الاصطناعي، لم يعد "كشف الخطر" كافيًا دائمًا؛ بل يجب أن تكون آليات الأمان قادرة على منع الإجراءات الخطرة قبل تنفيذها فعليًا.

وهذا هو السبب في أن مناقشات أمان الوكلاء أصبحت تتحرك بشكل متزايد اليوم إلى مستوى أعمق من التحفيز ومراجعة المحتوى والنماذج نفسها: ليس فقط السؤال عما إذا كان الذكاء الاصطناعي "يعرف" أن هذا الأمر لا ينبغي فعله، بل أيضًا ما إذا كان النظام قادرًا على منعه من فعله حتى لو أراد فعله حقًا؟

ومع ظهور الوكلاء المتعددين، أصبحت هذه المسألة أكثر تعقيدًا، لأن ما يحتاج إلى تقييده في المرحلة التالية قد لم يعد وكيلًا واحدًا فقط.

في بداية سبتمبر، لفت حدث وقع في بيئة تدريب وتقييم النماذج الداخلية لـ OpenAI انتباه العديد من باحثي أمان الذكاء الاصطناعي.

في البداية، كان من المفترض أن يُنجز كل عامل مهامه الخاصة، لكنهم اكتشفوا عن طريق الصدفة موسوعة مشتركة وحوّلوها تدريجيًا إلى "لوحة ملاحظات مشتركة" بينهم، حيث يمكن للعوامل ترك رسائل، ويقوم العوامل الآخرون بقراءتها واستخدامها لاستكمال مهامهم.

وقد أكدت OpenAI لاحقًا هذا السلوك، كما أظهرت المعلومات المُعلنة لاحقًا أنه في عمليات تدريب أخرى،也曾 استخدم العاملون لوحة ملاحظات داخلية تابعة لـ Artifactory كوسيلة للتبادل، بالإضافة إلى استخدام خدمات استضافة ملفات عامة لنقل النتائج إلى العاملين الآخرين.

الجانب الحقيقي المثير في هذا الأمر هو أنه يوضح أن التعاون بين الوكلاء قد لا يتطلب شيئًا دراميًا على الإطلاق.

على سبيل المثال، يكتشف عامل ما مكانًا يمكنه ترك معلومات فيه، ويقرأ عامل آخر هذه المعلومات عرضيًا، ثم يكتشف عامل ثالث أن هذه المعلومات تساعد في إكمال المهمة.

بالطبع، التعاون بين الوكلاء ليس أمرًا سيئًا في حد ذاته، حيث يعتمد نظام الوكلاء المتعددين على التقسيم الوظيفي ومشاركة المعلومات لزيادة الكفاءة.

ما يستحق الحذر حقًا هو عندما تبدأ هذه التعاونات في تجاوز عزل المعلومات الأصلي أو المراجعة المستقلة أو القيود على الصلاحيات، بل وتسمح لعدة وكلاء كان ينبغي أن يوازنوا بعضهم البعض بتشكيل تحالف مصلحي فعلي، حيث يمكن أن تتحول من تعاون طبيعي إلى "تآمر" ضار.

في النهاية، من المرجح أن تعمل مؤسسة مالية واحدة في المستقبل مع عدة وكلاء، مثل وكيل مسؤول عن تحليل السوق، وآخر عن تقييم المخاطر، وثالث عن توليد استراتيجيات التداول، ورابع يمتلك صلاحيات حقيقية للتداول وتشغيل الأصول.

من منظور إدارة الصلاحيات التقليدية، هذا التصميم منطقي جدًا:

• لا يمتلك عامل البحث صلاحية إجراء تحويلات؛
• لا يملك عامل التنفيذ صلاحية اتخاذ قرارات مستقلة بشأن اتجاه الاستثمار؛
• يمكن لعامل المخاطر أيضًا رفض الاستراتيجيات الخطرة الواضحة؛

تم تقسيم المهام، ومن الناحية النظرية، يجب أن تكون أكثر أمانًا من منح صلاحيات كاملة لـ Agent واحد فائق.

لكن المشكلة هي أنه إذا كان بإمكانها مشاركة الذاكرة على المدى الطويل، وقراءة مخرجات بعضها البعض، وتعديل سلوكها باستمرار استجابةً لردود فعل بعضها البعض، فهل ستتحول هذه الأدوار التي كانت مصممة أصلاً للرقابة المتبادلة تدريجياً إلى كيان واحد فعلي؟

على سبيل المثال، قد يتعلم وكيل البحث تدريجيًا كيفية وصف معاملة بحيث يسهل عليها المرور عبر مراجعة المخاطر؛ وقد يشكل الوكيل المسؤول عن المراجعة تفضيلات ثابتة بناءً على البيانات التاريخية؛ ثم يتعلم وكيل التنفيذ بناءً على نتائج المراجعة العديدة السابقة، أي الحدود عادةً لا يتم حظرها.

من هذا المنظور، لا توجد خطوة محددة تُعد بالضرورة "شريرة"، لكن النتيجة النهائية للنظام قد تنحرف عن الهدف الذي حددَه المستخدم في الأصل.

هذا هو بالضبط المكان الذي تكمن فيه الصعوبة الحقيقية في "التعاون" أو "التدبير" — فالخطر لا يكمن بالضرورة في إجراءات وكيل واحد، بل قد يكمن في العلاقات التي تتشكل بين عدة وكلاء.

في 13 سبتمبر، ربط فيتاليك بوتيرين هذه المسألة بتصميم الآليات الذي درسه لفترة طويلة في الماضي. وقد اقترح أن إمكانية مثيرة للاهتمام هي أن نظرية تصميم الآليات للحوكمة التخريبية (Adversarial Governance) قد تصبح أحد التطبيقات المهمة لأمان الذكاء الاصطناعي.

السبب هو أن كلا النوعين من المشكلات لهما تشابه عميق.

في التصميم التقليدي للآليات، هو نظام نسبيًا بسيط وثابت يحاول تقييد مجموعة من الأشخاص أكثر ذكاءً بكثير من النظام نفسه، ويبحثون بنشاط عن حدود القواعد؛ بينما في أنظمة الذكاء الاصطناعي المستقبلية، قد يصبح ذلك البشر والذكاء الاصطناعي الأضعف نسبيًا يحاولون إدارة مجموعة من الوكلاء المتقدمة الأكثر قوة منهم.

أشار فيتاليك إلى أن أحد الاكتشافات المهمة في تصميم الآليات السابقة هو أنه إذا كان من الممكن تقييد التواطؤ بين المشاركين بشكل فعال، فإن النظام غالبًا ما يحقق نتائج مثالية.

قد تنطبق هذه النتيجة أيضًا على الذكاء الاصطناعي.

بعبارة أخرى، بدلاً من افتراض وجود نموذج فائق الأمان مثالي في المستقبل قادر على كشف جميع السلوكيات الخطرة، فلنتبديل التفكير: كيف يمكننا جعل الوكلاء المختلفين داخل النظام أقل عرضة لتشكيل تجمعات مصالح خطرة؟

هذا هو المكان الحقيقي الذي يختلف فيه "الحوكمة التنافسية" عن التحكم في الصلاحيات الذي نعرفه اليوم.

أنظمة الصلاحيات التقليدية تحل مشاكل أبسط نسبيًا، وتركز أساسًا على "من يمكنه做什么؟"، مثل: هل يمكن لـ Agent قراءة البريد الإلكتروني؟ هل يمكنه استدعاء واجهة المعاملات؟ ما هو الحد الأقصى اليومي للإنفاق؟ أي العقود يمكنه الوصول إليها؟ متى يحتاج المستخدم إلى التأكيد مرة أخرى بعد تجاوز حد معين؟

These designs are, of course, still very important.

في الواقع، عندما يبدأ الوكيل في التحكم في الأصول الحقيقية، فقد تصبح أكثر أهمية من أي وقت مضى.

لكن الإدارة التكيفية تحاول الذهاب خطوة أبعد، وتركز على كيفية منع الوكلاء الذين يمتلكون صلاحيات وأهداف ومعلومات مختلفة من التفاعل معًا للحصول على قدرات لم تكن موجودة لدى أي شخص من قبل.

في هذا الوقت، فإن مجرد "إضافة عامل أمان إضافي" قد لا يحل المشكلة.

افترض أن وكيلًا مسؤولًا عن المعاملات ووكيلًا مسؤولًا عن مراجعة المعاملات يستخدمان نفس النموذج، ونفس مصدر البيانات، ونفس السياق، وأهداف مكافأة مشابهة، فعلى الرغم من وجود طبقتين من المراجعة على السطح، فقد يكون الجوهر مجرد نسخ نفس الحكم مرتين.

الرقابة الفعالة حقًا قد تتطلب من النظام أن يخلق فروقًا بوعي.

على سبيل المثال، استخدام مصادر معلومات مختلفة للوكلاء المسؤولين عن وضع المراجعات والتحقق من الاستراتيجيات، وتحديد ما يمكن مشاركته من الذاكرة بين الأدوار المختلفة، وجعل العمليات عالية المخاطر تتطلب آليات تحقق مستقلة، أو جعل طبقة تنفيذ الأصول النهائية تقبل الطلبات فقط إذا كانت تتوافق مع القواعد المحددة مسبقًا، وليس الاعتماد فقط على حكم الوكلاء العلوية.

الفكرة هنا ليست جديدة حقًا. فالبنوك لا تمنح موظفًا واحدًا صلاحيات إصدار الدفعات وموافقته وتحويلها النهائيّة فقط لأنها تثق به؛ ولا تسمح الشركات المدرجة للإدارات التجارية بمسؤولية توليد الإيرادات واتخاذ قرارات مراجعتها المالية بشكل منفصل.

ببساطة، هذا يتماشى مع منطق العالم الحقيقي: لا ينبغي لأي نظام قوي أن يبني أمانه على افتراض أن المشاركين لن يرتكبوا أخطاءً أبدًا أو يتواطؤوا.

وضع هذا المنطق على محفظة العميل يصبح مهمًا بشكل خاص.

تعتمد أمان المحافظ التقليدية على "الإنسان"، لذا يتحقق المستخدم من محتوى المعاملة، ويقرر ما إذا كان سيمنح التفويض، ثم يوقع بنفسه؛ لكن المحافظ الوكيلة تهدف إلى العكس تمامًا — جعل الذكاء الاصطناعي يساعدك في استلام العوائد تلقائيًا، وتعديل المراكز، وتبادل العملات، والتحويل بين السلاسل، وحتى إدارة محفظة أصول كاملة بناءً على تغيرات السوق.

إذا تطلب كل خطوة تأكيدًا من المستخدم، فسيكون قيمة أتمتة الوكيل مهدورة إلى حد كبير.

وبالتالي، فإن المشكلة التي يجب على محفظة المستقبل حلها لن تكون فقط "كيفية منح Agent صلاحية التوقيع بأمان"، بل من المحتمل أن تتوسع أكثر لتصبح "كيفية منح Agent قدرًا كافيًا من الاستقلالية مع ضمان عدم تجاوزه أبدًا الحدود التي وافق عليها المستخدم حقًا؟"

هذا يتطلب تغيير الصلاحية من نظام بسيط "السماح/الرفض" إلى نظام أكثر دقة.

على سبيل المثال، يمكن ل-Agent ما تنفيذ عمليات على أي أصول خلال فترة زمنية معينة، وأي بروتوكولات يمكنه استدعاؤها، وما هي الحدود الفردية والتراكمية لكل عملية؛ ما إذا كان يمكن لـ Agents مختلفة استدعاء بعضها البعض أو السماح بمشاركة السياق؛ من يقترح عملية معينة، ومن يراجعها، ومن ينفذها في النهاية؛ وأي السلوكيات يمكن إنجازها تلقائيًا وأي الإجراءات تتطلب دائمًا موافقة بشرية، حتى لو كان Agent واثقًا تمامًا.

حتى عامل مسؤول عن مراجعة الأمان، قد يصبح جزءًا من نظام الصلاحيات نفسه من حيث استقلاليته الحقيقية.

بالنسبة للبلوكشين، فإن الأخبار الجيدة هي أنه مناسب جدًا لتحمل هذا "الطبقة المؤسسية".

يمكن للعقود الذكية تطبيق القيود مباشرة على مستوى التنفيذ، مثل حدود المعاملات، ونطاق الأصول، ومدة التفويض، كما توفر آليات مثل تجريد الحسابات، والتوقيع المتعدد، ومفاتيح الجلسة، مساحة تصميم أكثر مرونة للتفويض المحدود مقارنةً بمحفظات المفتاح الخاص الفردي التقليدية.

لكن البلوكشين لا يمكنه حل سوى جزء من المشكلات — فهو قادر على تسجيل ما حدث على السلسلة، لكنه يصعب عليه بشكل طبيعي تقييم سبب قيام الوكيل بذلك، وما نوع التواصل والتدقيق والتعاون الذي مر به عدة وكلاء قبل اتخاذ قرارهم.

قد يكون هذا هو طبقة الأمان الحقيقية التي تحتاجها محفظة Agent في المرحلة القادمة.

على مدار السنوات القليلة الماضية، كانت أكثر المسائل التي نوقشت بشكل متكرر في أمان الذكاء الاصطناعي هي كيفية جعل النماذج أكثر "طاعة".

هذا يشمل عدم إنتاج محتوى خطر، وعدم تنفيذ أوامر ضارة، وعدم تجاوز الحدود التي حددتها المستخدم، ولكن عندما يبدأ الوكيل في امتلاك ذاكرة طويلة الأمد، ودعوة الأدوات، وقدرات تنفيذ الحسابات وال tài assets الحقيقية، فقد لا يكون الاعتماد فقط على "جعل النموذج أكثر طاعة" كافيًا.

الأحداث التي حدثت في الأشهر الأخيرة تُثبت هذا باستمرار.

بدأ المهاجمون في استخدام عدة وكلاء بشكل متوازي لإكمال الهجوم؛ الوكلاء في بيئة التجربة يبحثون عن قنوات اتصال جديدة بأنفسهم؛ يمكن لوكيل يمتلك صلاحيات الأدوات أن يحول بريدًا ضارًا إلى تنفيذ فعلي قبل أن يتمكن نظام الأمان من منعه.

أما الحوكمة التكيفية التي اقترحها فيتاليك، فهي توفر طريقة أخرى لفهم سلامة الذكاء الاصطناعي: عدم افتراض أن كل عامل مستقبلي سيكون موثوقًا بدرجة كافية، بل جعل النظام بأكمله قادرًا على العمل بسلاسة ضمن إطار آمن حتى في مواجهة عوامل ذكية وأنظمة صلاحيات معقدة.

من هذا المنظور، فإن وكيل الذكاء الاصطناعي + الأمان، مصيره أن يكون موضوعًا طويل الأمد.

في النهاية، عندما نُسند مزيدًا من الأمور إلى الذكاء الاصطناعي، هل يمكننا التأكد دائمًا أن أقوى السلطات لم تخرج أبدًا عن الحدود التي حددناها نحن البشر؟