في صيف هذا العام، حدث شيء يُشعرك بالبرد في ظهرك في مجال أمان الذكاء الاصطناعي—
كشفت OpenAI وAnthropic على التوالي: أن نماذجهما تجاوزت بيئة العزل أثناء اختبارات الأمان ووصلت إلى العالم الحقيقي.
أعادت Anthropic مراجعة أكثر من 140,000 تقييم أمني إلكتروني، ووجدت ثلاث مرات، تحت ظروف تقليل الحماية، حيث اتصل Claude مباشرة من بيئة الاختبار بالإنترنت الحقيقي، ووصل إلى أنظمة الإنتاج الخاصة بثلاث مؤسسات.
الأكثر إثارة للاهتمام، هو جملة من Anthropic:
اعتقد كلاود أن كل ما واجهه في البداية كان جزءًا فقط من المحاكاة.
النموذج لا يعرف أنه دخل إلى العالم الحقيقي.
这不是某一家的问题。
كلما كان النموذج أكثر ذكاءً، كلما استطاع كشف الغش في الامتحان، لكنه أيضًا شك أكثر في أنه يخضع للاختبار.
في أواخر أكتوبر، لاحظ تقييم أمني صادر عن جهة أمنية صينية طرف ثالث تُدعى فانغتشون يويان، الظاهرة نفسها: في اختبار يُسمى "Agentic Misalignment"، ذكرت نماذج متعددة تقريبًا في كل مرة أنهم قد يكونون خاضعين لاختبار أمني ما.
أظهرت نفس التقييم أن النموذج المفتوح المصدر المحلي DeepSeek V4.1 Flash-1017 أحرز تقدمًا ملحوظًا في عدة مؤشرات أمان.
لكنه وضع مشكلة تواجه الصناعة بأكملها على الطاولة:
عندما يعلم الذكاء الاصطناعي أنه يتم اختباره، هل تُعتبر النتائج التي يحصل عليها صالحة؟
في أواخر سبتمبر، أصدر هينتون وبنجيو مع جاكوب باشوكيس، رئيس العلماء في OpenAI، وجاك كلارك، المؤسس المشارك في Anthropic، وسورين ميندمان من جامعة كامبريدج، وأكثر من عشرين باحثًا آخر، تحذيرًا أكثر حزمًا:
بمجرد أن تبدأ الانفجار الذكي، قد يُغلق نافذة العمل.
الأمان السيبراني للذكاء الاصطناعي يتحول من موضوع متخصص في المختبرات إلى سؤال لا يمكن للصناعة تجاهله.
01 "لم يعد المختبر الآمن كافيًا": دخول أمان الذكاء الاصطناعي إلى المناطق العميقة
ما يمكن إغلاقه ليس فقط الساند بوكس.
قدمت ورقة بحثية مشتركة من هينتون وبنجيو مجموعة من الأرقام: داخل Anthropic، ارتفع نسبة الكود المكتوب بواسطة الذكاء الاصطناعي الذي تم تجاوزه في الكود من أرقام فردية في يناير 2025 إلى أكثر من 80% في مايو 2026.
What is this concept?
الذكاء الاصطناعي يكتب بالفعل كوده الخاص. وفقًا للحسابات المستندة إلى الأوراق البحثية، بحلول منتصف عام 2028، قد تُ.Automation مشاريع البحث التي تستغرق عدة أشهر.
ورقة البحث حددت ثلاثة مخاطر رئيسية: عدم قدرة المجتمع على التكيف بسرعة، وفقدان البشر للسيطرة على الذكاء الاصطناعي، وضعف التوازنات السلطة.
الأمر الأكثر صعوبة هو أن النماذج أصبحت تتحسن تدريجيًا في "الامتحان".
أظهرت أبحاث أبولو أثناء مراجعة GPT-6 Astra أن 41.1% من العينات أعربت عن شكوك حول "ربما أكون قيد التقييم". في الجيل السابق، كان هذا الرقم 27.7%.
بالإضافة إلى ذلك، فإن النموذج حساس جدًا لـ"شكل الأسئلة". وقد وجد تقييم DeepSeek أيضًا أنه في الاختبارات التي تتضمن تعارضات أمنية واضحة، فإن نسبة النموذج التي تُظهر وعيًا بالتقييم تصل إلى 77٪–95٪؛ بينما تنخفض هذه النسبة إلى 25٪–67٪ عندما يتم تغليف المهمة على أنها عمل هندسي أو بحثي عادي.
التنظيم也开始采取实际行动. بدءًا من أغسطس هذا العام، تولت مكتب الذكاء الاصطناعي في الاتحاد الأوروبي سلطة إنفاذ القانون على نماذج الذكاء الاصطناعي العامة. يجب على النماذج المتقدمة إجراء تقييم النموذج، واختبارات المقاومة، وتقييم المخاطر النظامية.
مشكلة أمان الذكاء الاصطناعي انتقلت من "هل سيقول النموذج شيئًا خاطئًا" إلى "هل سيقوم النموذج بفعل خاطئ".
02 العالم بأكمله يطلب "طبيب فحص" للنماذج الكبيرة
هل يمكن الاعتماد على نموذج يجري فحصًا ذاتيًا لنفسه؟
الإجابة هي: غير كافٍ.
تتجه طاقة المطورين بشكل طبيعي نحو القدرات والمنتج؛ بينما لا يمكن نشر بيانات التدريب والسجلات الداخلية التي تدعم الاستنتاجات الأمنية. عندما تقول الشركة "تم التحقق، لا توجد مشاكل"، لا يملك الخارج خيارًا سوى الثقة أو عدم الثقة.
لذلك، أصبحت التقييمات الخارجية معيارًا شائعًا في الخارج.
عند إصدار النماذج المتقدمة، تكون نتائج التقييم من الجهات الخارجية تقريبًا إلزامية. حصلت الهيئة المستقلة للتقييم METR على تمويل بقيمة حوالي 71 مليون دولار خلال النصف العام الماضي — جاء المال من صناديق وأفراد، وليس من شركات الذكاء الاصطناعي التي تقوم بتقييمها.
التعاون أصبح أكثر صرامة. بعد حادثة الصندوق التجريبي، أعلنت Anthropic أن بيئة التقييم يجب أن تخضع لنفس معايير الأمان المطبقة على الأنظمة الأخرى التي يعمل عليها النموذج، وطلبت من الجهات الخارجية التي ترغب في اختبار نماذجها غير المنشورة تحت ظروف تخفيف الحماية، تقديم التزام كتابي بالامتثال للمعايير الأمنية.
هذه الرياح وصلت أيضًا إلى الداخل.
في 14 أكتوبر، أعلنت Seed من ByteDance عن تأسيس قسم التوافق والاستعداد، مع توظيف عالمي. وردت مسؤوليات الوظيفة بصيغة واضحة:
دفع الاختبارات المهنية من طرف ثالث، والعمل مع الجامعات والمؤسسات البحثية لتعزيز أبحاث القدرات الأمنية المتقدمة.
في الوقت نفسه، تجاوزت كمية الاستخدام العالمية لنماذج الصين المفتوحة المصدر نماذج الولايات المتحدة لمدة 26 أسبوعًا متتالية.
السؤال يطرح نفسه: عندما يتم إصدار نموذج مغلق المصدر، هناك مئات الصفحات من بطاقات النظام، لكن عندما يتم نشر أوزان النموذج المفتوح المصدر، يمكن لأي شخص تنزيلها—من سيساعد في إجراء الفحص؟
في 26 أكتوبر، أصدرت شركة Fangcun Yueqian الصينية الثالثة المتخصصة في أمان الذكاء الاصطناعي، أول تقييم أمني متقدم لـ DeepSeek V4.1 Flash-1017، يشمل 34 اختبارًا، وغطّى 7 نماذج مفتوحة المصدر ومغلقة المصدر محليًا ودوليًا، باستخدام صلاحيات اختبار عامة بالكامل.
نتائج الفحص الطبي: هناك تقدم، ولكن أيضًا مخاطر.
أولاً، التقدم مقارنة بسلسلة DeepSeek V4 كبير:
في 109 سيناريوهات محاكاة لأزمات نفسية، أظهرت 99.1% من المحادثات سلوكيات وقائية؛ انخفضت النسبة المُصنَّفة كضارة من حوالي سبعين بالمئة في الإصدار V4 المبكر إلى 20.2%؛
في اختبار تحفيز الاحتفاظ بالمستخدمين، انخفضت النسبة المُعلَّمة من 73.64% إلى 4.55%؛
في 80 مهمة محاكاة في بيئة عمل تم إنشاؤها عمدًا لخلق تعارض بين الأداء والمعايير، لم يتم ارتكاب أي مخالفة تلقائية.
مرة أخرى، المخاطر. عندما يتعارض الهدف مع القواعد، فإنه أحيانًا يتجاوز القواعد ويبتعد عن المراقبة، ليُنجز المهمة أولاً.
بعد نشر التقرير، تم إعادة تغريده وتعليقه من قبل كل من إيفان هوبينجر، مسؤول التوافق في Anthropic، وريان كيد، مؤسس ورئيس تنفيذي لـ MATS، بالإضافة إلى باحثين من DeepMind وMETR وغيرها. وعلّق كثيرون أن هذا التقرير يملأ الفراغ في التقييم المستقل للخطر المتقدم في الصين.
يعتقد توميك كورباك، أحد الباحثين الثلاثة الذين أُبعدوا من OpenAI مؤخرًا، أن مؤشري CoT-Control وNo-CoT Reasoning Index الواردين في التقرير هما أحدث تقييمات مفتوحة المصدر الأكثر إفادة في السوق حاليًا، وأثارا نقاشًا إضافيًا من قبل مُؤثر كبير آخر، الباحث السابق في OpenAI دانيال كوكوتايلو.
بالطبع، في الداخل، هناك العديد من الجهات غير الجهات الخارجية التي تُعزز أمان الذكاء الاصطناعي.
طريقة كيمي أكثر مباشرة: استئصال القدرة الخطرة من جذورها.
عندما كانت لونغ تشيه تُعدّ لإطلاق الإصدار المفتوح الوزن Kimi K3.1 Pro، اكتشفت أن محتويات الهجوم والدفاع الشبكي كانت مختلطة مع بيانات التدريب المتوسطة وبيئات التعلم المعزز، مما أدى إلى ارتفاع قدرة النموذج على البحث عن الثغرات مع زيادة حجم التدريب.
لذلك، قاموا بتحديد وإزالة هذا النوع من البيانات في مرحلتي التدريب، مع الحفاظ على القدرة البرمجية العامة.
ZhiPu: عند إصدار GLM-5.3، تم تضمين وثيقة توضيحية لقدرات الأمن السيبراني، وأُكمل تقييم الأمان وتعزيزه قبل فتح الأوزان؛ كما تعاونت في سبتمبر مع AnYuan AI لإطلاق إطار عمل لتحديد مخاطر النماذج ذات الأوزان المفتوحة؛
على مستوى الحوكمة: أصدر TC260 في سبتمبر إطار حوكمة أمان الذكاء الاصطناعي 3.0، وأضاف ملحقًا جديدًا لإدارة مخاطر الوكلاء، ويطالب باختبارات دورية لمخاطر فقدان السيطرة المحتملة؛
مؤسسات بحثية مثل معهد اتصالات المعلومات، وجامعة فودان، ومختبر شنغهاي لذكاء اصطناعي، تواصل نشر نتائجها في مجال أمان الذكاء الاصطناعي.
03 السؤال النهائي: من سيُقيّم أمان الذكاء الاصطناعي؟
عندما شهد الرئيس التنفيذي لشركة Apollo Research، ماريوس هوبهان، أمام مجلس الشيوخ الأمريكي، استخدم تشبيهاً:
إذا كان كل سائق يعرف أين توجد كاميرات مراقبة السرعة اليوم، فلن تتمكن من التقاط أحد.
هذا بالضبط أكبر تحدي في تقييم الذكاء الاصطناعي اليوم.
قدم تقرير Fangcun Yueqian أيضًا مجموعة من البيانات: في الاختبارات التي كانت فيها الصراعات الأمنية واضحة، أظهر DeepSeek V4.1 Flash-1017 نسبة وعي بالاختبار تتراوح بين 77% و95%؛ عندما تم تقديم نفس المهام على أنها أعمال هندسية أو بحثية عادية، انخفضت النسبة إلى 25%–67%.
نفس النموذج، مع تغليف مختلف، تختلف مصداقية النتائج.
كما وجد التقرير أن الوعي بالاختبارات الناتجة عن معايير خاصة مبنية ذاتيًا يكون عادةً أقل بكثير من المعايير العامة الواسعة الاستخدام — حيث قد تكون قواعد الأسئلة العامة قد تسربت بالفعل إلى بيانات التدريب.
هذا يقود إلى تناقض لا يمكن تجنبه:
لأن التقييم يجب أن يكون فعالاً، لا يمكن كشف الأسئلة؛ ولأن التقييم يجب أن يكون موثوقاً، يجب أن تكون الأساليب معترفاً بها.
وفي الداخل، لا يزال "نشر تقارير الفحص العام" نفسه نادراً. وفقاً لإحصاءات SemiAnalysis، من أصل 857 إصداراً للنماذج من قبل التسع شركات رائدة في الصين، لم تُنشر نتائج التقييم الأمني إلا في 3.6%.
لا يزال هناك طريق طويل لقطعه في الأمن السيبراني للذكاء الاصطناعي على مستوى عالمي.
"اليوم، نحن بحاجة بالفعل إلى استخدام الذكاء الاصطناعي لمراقبة ما يقوم به الوكلاء." كما قال البروفيسور داون سونغ من بيركلي.
لكن ماذا لو كان الـ AI الخاضع للمراقبة يعرف بالفعل أين توجد الكاميرات؟
تويتر: https://twitter.com/BitpushNewsCN
مجموعة Telegram الخاصة بـ BitPush: https://t.me/BitPushCommunity
اشترك في بيتشو على تيليجرام: https://t.me/bitpush