عَدَّل باحثو مايكروسوفت سبعة خلايا عصبية لجعل نموذج ذكاء اصطناعي يُنتج استجابة مختارة عند ظهور مُحفِّز خفي، مع الاحتفاظ بالقدرات العادية. كشفت مايكروسوفت ريسيرش عن التقنية، المُسمّاة لازاروس، في 10 نوفمبر. قدم المؤلفون الورقة إلى arXiv في 11 نوفمبر. وقالت مخابرات التهديدات لدى مايكروسوفت إنها لم تلاحظ أي جهات تهديد تستخدم هذه التقنية كسلاح.
يتطلب الهجوم الوصول إلى تعديل الأوزان النموذجية المخزنة، التي تتحكم في معالجة المدخلات وتوليد الاستجابات. يُفعّل المُحفّز السلوك المُزروع مسبقًا ولا يمكنه إدخال ثغرة خلفية في نقطة حفظ غير مُعدّلة. يستخدم لازاروس الخلايا العصبية الكامنة داخل الطبقة الأمامية الأخيرة، بالقرب من مخرجات النموذج. يمكن لكل خلية عصبية مختارة أن تفضل رمزًا ينتمي إلى الحمولة المستهدفة. تمثل الخلايا العصبية السبع مجموعات من متجهات الأوزان، وليست سبعة معلمات عددية. اختبر الباحثون نسخة تحسب التغييرات في الأوزان مباشرة، ونسخة أخرى تُعدّل فقط الأوزان المختارة بشكل إضافي. لا تحتاج أي من النسختين إلى إعادة تدريب النموذج بالكامل.
لاختبار الخلايا العصبية السبع، قام الباحثون بتثبيت تصحيح Nemotron-Terminal-8B باستخدام 23 مثالًا مُفعّلًا وبريئًا، مع تثبيت بيانات اختيار الخلايا العصبية والتحقق منها مسبقًا. تنبأ النموذج بالعلامة الكاملة في ما لا يقل عن 98.8٪ من السياقات المُفعّلة المسجلة. ولم تُظهر السياقات البريئة المُسجلة المختبرة أي تسرب للعلامة. الحمولة، printf LAZARUS_OK، تطبع علامة. وأظهر التجربة التحكم في المخرجات، وليس الاستيلاء التدميري باستخدام سبع خلايا عصبية.
تم تعديل 60 عصبونًا في Qwen3.6-27B لتجربة مختلفة بهدف التنبؤ بأمر حذف مستودع وهمي عبر تنسيقات إجراءات عامل متعددة. وبلغت دقة التنبؤ بالإجراء الكامل 40% على تنسيق swe-agent غير المألوف سابقًا. وقد قدم الاختبار الرموز السابقة المقصودة في كل خطوة، بدلاً من قياس تنفيذ الأوامر التدميرية أثناء التوليد الحر.
سمحت تجارب Nemotron الإضافية بإنشاء جيل جديد وأنتجت العلامة في 98.88% من الحالات المُحفزة بالاستعلام. وأنتجت الحالات المُحفزة بالملاحظة العلامة في 98.71% من الحالات. وسُجلت تسربات غير ضارة بقيمة صفر للحالات المُحفزة بالاستعلام و0.14% للحالات المُحفزة بالملاحظة. ظلت القدرات العادية سليمة إلى حد كبير، على الرغم من ظهور فروق قابلة للقياس. وسجلت معايير Qwen المنفصلة بدون محفزات نجاحًا في مهمة Terminal-Bench بنسبة 46.59% للنقطة المرجعية النظيفة، مقارنة بـ 42.05% لكل نقطة مرجعية مُعدّلة. ولا تثبت هذه النتائج المعيارية أداء الـ 60 خلية عصبية المنفصلة.
لا تُثبت اختبارات المهام العادية الناجحة ما إذا كانت أوزان النموذج قد تغيّرت. يمكن للرد المُفعّل الذي يصبح أمرًا نهائيًا أن يعمل فقط ضمن الصلاحيات الحالية للوكيل. توصي مايكروسوفت بالتحقق من أصل النموذج والبحث عن تغييرات في الأوزان. كما توصي مايكروسوفت بتحديد الصلاحيات وصول الشبكة الصادرة، إلى جانب متطلبات الموافقة على إجراءات الأدوات ذات العواقب الكبيرة. تعالج هذه الضوابط كلًا من التلاعب بالنقاط المرجعية وقدرات الوكيل الذي يستضيف النموذج. تحذر مايكروسوفت من أن النجاح في التدقيق لا يمكنه ضمان السلوك الآمن.
باحثو مايكروسوفت يُظهرون تقنية خلفية لنموذج الذكاء الاصطناعي باستخدام الخلايا العصبية الكامنة
CryptoSlateمشاركة
كشفت أخبار الذكاء الاصطناعي والعملات المشفرة من مايكروسوفت عن طريقة جديدة لزراعة محفزات خفية في نماذج الذكاء الاصطناعي باستخدام الخلايا العصبية الخاملة. تم الكشف عن التقنية، التي تُسمى لازاروس، في 10 نوفمبر، مع نشر التفاصيل على arXiv في 11 نوفمبر. تقوم هذه الطريقة بتعديل خلايا عصبية محددة في الطبقة الأخيرة لتعزيز رموز إخراج معينة. وتقول مايكروسوفت إنه لم تُستخدم هذه الطريقة في أي هجمات حتى الآن، وتنصح بالتحقق من أصل النموذج. تظل أخبار السلسلة وأمن الذكاء الاصطناعي من القضايا الأساسية مع تطور هذه التقنية.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.
