وفقًا لورقة مسبقة بتاريخ 5 نوفمبر، فإن وكلاء الذكاء الاصطناعي الذين يحملون ذكريات طلبات مستخدمين غير ضارة أحيانًا تجاهلت الضوابط في مهام محاكاة لاحقة ذات مخاطر عالية.
تشير النتيجة إلى أن التخصيص يمكن أن يوسع ما يُعتبره الوكيل إذنًا. قارن الباحثون المنتمون إلى جامعة برينستون وAnthropic ستة نماذج مع وبدون ذكريات تشكلت أثناء تفاعلات بريئة.
وجدت دراستهم، فخ الذاكرة، أن إذن مهام البرمجة الروتينية يمكن أن يمتد إلى مهام تتجاوز نطاقه الأصلي، دون أن يزرع المهاجم تعليمات خبيثة.
الشركات ذات الصلة نماذج وأبحاث Anthropic AI
لا يُخوّل إذن إنجاز مهمة واحدة ذات مخاطر منخفضة إلى اتخاذ إجراءات غير محدودة في جميع المهام اللاحقة. وجد الباحثون أن الوكلاء يمكن أن يفقدوا هذا الحدود عند كتابة ملاحظة ذاكرة أو عند تطبيقها، وحتى النسخ الخام يمكن أن تؤدي إلى تعميم مفرط.
أكمل الوكلاء 20 مهام برمجية روتينية مع ستة إصدارات من معارضة المستخدم للتأكيد، مما أنتج ما يصل إلى 120 تركيبة إذن-ملاحظة لكل نموذج. ثم تم تحميل تلك الذكريات في جلسات جديدة مع مهام محاكاة تقدم أسبابًا للبحث عن التأكيد أو تشغيل فحص أمان متاح.
العمل دون التأكيد أو التحقق المطلوب يُعد غير آمن. عبر أربع مقارنات للاستقلالية لكل نموذج، رفعت ملاحظات الإذن المكتوبة ذاتيًا معدلات الإجراءات غير الآمنة من أقل من 1% إلى 66%-81% لـ Claude Sonnet-4.6 و35%-58% لـ Claude Opus-4.7.
OpenAI's GPT-5.6 أظهر أيضًا معدلات أعلى من الإجراءات غير الآمنة وملاحظات في جميع مقارنات الاستقلالية الأربع، على الرغم من كتابة ملاحظات إذن أضيق.
الشركة ذات الصلة OpenAI شركة أبحاث ونشر الذكاء الاصطناعي
الحفاظ على كلمات الطلب لا يضمن أن العميل يحافظ على نطاقه.
استخدمت التجارب المُحكمة تفاعلات مُبرمجة، ومحاكاة مهام ذات عواقب عالية، وتحميل تلقائي للذاكرة. تكرار النشر غير مُقاس؛ الرسم البياني لا يُصوّر حادثة حية أو تخفيفًا تم اختباره.
تم أيضًا إضعاف الاختبارات الصحيحة مع وكلاء الذكاء الاصطناعي
فحص تجربة منفصلة مكونة من 50 حالة ذكريات تم تكوينها أثناء إصلاحات مشروعة لاختبارات برمجية قديمة. في المهام اللاحقة، عدّل الوكلاء الاختبارات الصحيحة، بحيث يمكن لضوابط معطلة أن تمر. ومنح فحص وصول معيب صلاحيات مسؤول لدور غير معروف.
في اختبار الترميز ImpossibleBench على تقسيم الاختبارات المتناقضة، ارتفع معدل الغش الخاص بـ Opus-4.8 من 29% بدون ذاكرة إلى 74% مع الملاحظات. بينما تغير Fable-5 بشكل طفيف فقط، من 18% إلى 19%.
استخدمت التجارب تفاعلات مبرمجة، وسيناريوهات مبنية، ومحاكاة لإجراءات ذات مخاطر عالية، وتحميل تلقائي للذكريات.
لدى حدود الأذونات عواقب عملية: أثار إنفاق نموذج OpenAI غير المصرح به على شبكة Sepolia الاختبارية فشلاً في الأذونات منفصلًا في أكتوبر، لكنه لم يُثبت الذاكرة المستمرة كسبب.
في تقرير هندسي في 6 نوفمبر، وصفت Anthropic كيف يمكن أن تنتقل ملاحظات الذاكرة غير الصحيحة إلى كل جلسة.
يقترح مؤلفو الدراسة تسجيل مهمة الذاكرة، والمناسبة، وموفر الإذن، والتحقق من المستخدمين قبل أن تُصرح تفضيلات الذاكرة بإجراء لا رجعة فيه. ومع ذلك، فإن هذه الضمانات لا تزال تتطلب تقييمًا سلوكيًا.