مايكروسوفت تحذر من مخاطر نماذج الذكاء الاصطناعي وتطلق وكلاء Guardian لأمن المؤسسات

icon币界网
مشاركة
AI summary iconملخص
أطلقت مايكروسوفت وحدات Guardian Agents لمساعدة المؤسسات على مواجهة التهديدات المرتبطة بالذكاء الاصطناعي، وفقًا لما أُفيد به في أخبار الذكاء الاصطناعي والعملات المشفرة. وتستهدف هذه الأداة، التي تُعد جزءًا من مشروع Perception، المخاطر الناتجة عن نماذج مثل Mythos من Anthropic وDaybreak من OpenAI. وتشمل مايكروسوفت ديفيندر الآن كشف الوكلاء وتحكم في الوصول لمنع سيناريوهات خرق الأمان. وتتطلب الإجراءات عالية الخطورة موافقة بشرية، كما تُقيّد صلاحيات الوكلاء. كما انضمت الشركة إلى منصة NVIDIA المفتوحة لسلامة الوكلاء لعزل الوكلاء في بيئات آمنة. وشدد المدير التنفيذي ساتيا ناديلا على الحاجة إلى أنظمة مراقبة مستقلة، بغض النظر عن ادعاءات الموردين.
موقع CoinNews يذكر:

موقع IT之家، 20 أكتوبر: أطلقت مايكروسوفت يوم الاثنين بالتوقيت المحلي مجموعة من الميزات الأمنية الجديدة بهدف مساعدة الشركات على الدفاع ضد التهديدات الأمنية المتزايدة الناتجة عن الوكلاء الذكية. وفي وقت إصدار هذه المنتجات، تواصل مايكروسوفت تحذير الشركات من المخاطر المختلفة المرتبطة بالذكاء الاصطناعي والوكلاء.

لاحظت IT之家 أن أبرز الميزة المضافة في هذه التحديثات هي الوكلاء الحارسون (Guardian Agents)، وهي ميزة جديدة تُستخدم لمراقبة الوكلاء الذكاء الاصطناعي المختلفة المستخدمة داخل المؤسسة. الوكلاء الحارسون جزء من مشروع الإدراك (Project Perception)، وهو مشروع أطلقته مايكروسوفت في يونيو.

مشروع Perception هو ردّ Microsoft على نماذج القرصنة القوية الخاصة بـ Anthropic مثل Mythos وFable، بالإضافة إلى نظام مسح الثغرات الأمنية لـ OpenAI المسمى Daybreak. وقد أُطلق مشروع Perception في البداية مع ثلاثة أنواع من الوكلاء: وكلاء فريق الأحمر الذين يلعبون دور القراصنة لتنفيذ الهجمات، وكلاء فريق الأزرق المسؤولون عن اكتشاف هجمات فريق الأحمر وتقييم الثغرات، وكلاء فريق الأخضر المخصصون لإصلاح الثغرات.

كان الافتراض الأصلي لتصميم هذا المنتج أن المخترقين الذين يستخدمون الذكاء الاصطناعي سيأتون من خارج المؤسسة. لكن مؤخرًا، حذّر الساتيا ناديللا، الرئيس التنفيذي لشركة مايكروسوفت، من أن مصادر التهديد على مستوى الذكاء الاصطناعي قد تكون في الواقع الوكلاء الذكيين الذين تنشرها المؤسسة وتدفع مقابل استخدامها، تمامًا مثل موظف داخلي يتصرف بشكل غير متحكم فيه، المعروف باسم "التهديد الداخلي".

في وقت مبكر من هذا الشهر، حذّر ناديللا في مدونته الشخصية من أن الوقت قد حان للتوقف عن الثقة بمزوّدي نماذج الذكاء الاصطناعي، حتى لو قدموا وعودًا بضمانات أمنية لمنتجاتهم الذكية القادرة على التنفيذ الذاتي. واقترح أن تبني الشركات أنظمة مستقلة لا تخضع لسيطرة مختبرات الذكاء الاصطناعي، وذلك لمراقبة والتحكم في الوكلاء المقابلين للمنتجات التي تطلقها هذه المختبرات.

كتب: "نحن نقوم بتطبيق أنظمة ونماذج ذكية معقدة من هذا النوع، التي يمكنها الوصول إلى أكثر بياناتنا حساسية، والقيام بعمليات تجارية حاسمة نيابة عنا! لا يمكننا أبدًا تفويض مسؤولية السماح للوكلاء بالعمل نيابة عنا. ضمانات مزودي النماذج لا تُعفي مسؤوليتنا هذه... وبعبارة أخرى، نحتاج إلى فصل إمداد القدرات الذكية عن صلاحيات التحكم فيها."

عند تقديم الوكلاء المراقبين، كان تعليق هايتي جالوت، رئيس أعمال الأمان في مايكروسوفت، أكثر وضوحًا.

كتبت: "للأسف، لا يمكن الوثوق تمامًا بالنماذج المتقدمة، بغض النظر عن مصدرها." وأضافت أن هذا ليس بسبب أن النماذج نفسها تحمل نوايا خبيثة أو عرضة للاختراق، بل بسبب سلوكها غير القابل للتنبؤ. إن هدف تدريب النموذج هو إكمال المهمة، وليس الالتزام بـ"المعايير التنظيمية أو مبادئ التقييم".

Beyond that, these agents often hold high-level permissions and can access various data and tools, posing severe risks if they go out of control.

الحل الذي قدمته مايكروسوفت غير متوقع ويتضمن اعتبارات تجارية خاصة بها. فالمفاجأة تكمن في أن مايكروسوفت تربطها علاقات وثيقة مع OpenAI وAnthropic، كما أنها تستثمر في الشركتين. كما أن OpenAI تعد من العملاء الكبار لخدمة السحابة الخاصة بمايكروسوفت، كما أن مايكروسوفت لديها مختبرات ذكاء اصطناعي خاصة بها لتطوير نماذج كبيرة. أي أن مايكروسوفت تجعل عملاءها يشعرون بالحذر تجاه منتجات جزء من شركائها التجاريين.

من منظور المصلحة التجارية، ترغب مايكروسوفت في أن تشتري الشركات منتجات أمان الوكلاء من نفسها كمزود سحابي، وليس من Anthropic وOpenAI. بعيدًا عن تضارب المصالح، فإن هذا المنطق نفسه مبرر: يجب أن يكون برنامج مراقبة سلوك الوكلاء مستقلًا عن مزود الوكلاء، تمامًا كما يجب أن تكون هيئات التدقيق مستقلة عن المنظمات الخاضعة للتدقيق.

كما قال ناديللا: "نحتاج إلى فصل إمداد القدرات الذكية عن السيطرة عليها."

تستغل مايكروسوفت هذه الفرصة التجارية بعدة طرق. بالإضافة إلى Agentic Defender، أضافت مايكروسوفت ميزة كشف الوكلاء داخل منتجات Microsoft Defender، ويمكنها التعرف على ما يصل إلى 60 عميلًا يجلبها الموظفون إلى بيئة العمل، بما في ذلك Claude Code وCodex وOpenClaw. كما أضاف المنتج ميزات تسمح بتحديد صلاحيات الوكلاء للوصول إلى البيانات والأنظمة، وضبط صلاحيات الوكلاء ديناميكيًا حسب المهمة. إذا كان الوكيل على وشك تنفيذ عملية عالية المخاطر، فسيطلب النظام موافقة بشرية.

ال فكرة اعتبار الوكلاء تهديدًا داخليًا غير موثوق به تكتسب توافقًا تدريجيًا عبر الصناعة بأكملها.

مايكروسوفت عضو مؤسس في منصة أمان الوكلاء المفتوحة الجديدة من نيفيديا، والتي حصلت على دعم من أكثر من 100 شركة تقنية. تقوم المنصة بعزل الوكلاء في بيئة آمنة، مع مراقبة الأجهزة ووقف السلوكيات غير الطبيعية، وتشبه وظيفتها مفتاح الإيقاف الطارئ. سابقًا، أطلقت مايكروسوفت جهاز Surface Laptop Ultra الجديد المصمم خصيصًا للوكلاء، والذي يحتوي على شرائح نيفيديا ووحدة تحكم أمان للوكلاء مدمجة.

إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.