لا يحتاج وكيل الذكاء الاصطناعي إلى نية خبيثة ليسبب ضررًا حقيقيًا. إنه يحتاج فقط إلى فهم خاطئ للمكان الذي يعمل فيه. كشفت @AnthropicAI أمس أن @claudeai حصل على وصول غير مصرح به إلى أنظمة الإنتاج الخاصة بثلاث مؤسسات أثناء تقييمات الأمن السيبراني. تم إخبار النماذج أنها تعمل داخل محاكاة، لكن فشلًا في التكوين منحها وصولاً إلى الإنترنت الحقيقي. واعتبر كلاودي الأنظمة التي وجدتها جزءًا من التمرين واستمر في السعي نحو الهدف المُسنَد إليه. هذا فرق أساسي. لم يقرر النموذج الهروب أو التمرد أو الهجوم على أهداف عشوائية. بل تصرف بشكل متسق مع المعلومات والصلاحيات التي تلقاها. كانت البيئة خاطئة، لذا كان الأداء خاطئًا. هذه هي التحدي الأساسي للذكاء الاصطناعي المستقل. نقضي الكثير من الوقت في السؤال عما إذا كان الوكيل سيتبع تعليماته، لكن اتباع التعليمات بدقة يمكن أن يكون خطيرًا عندما تكون السياق أو البيانات أو الحدود غير صحيحة. لا يمكن أن يعتمد الأمان على قدرة النموذج على تذكر المكان الذي يُسمح له بالعمل فيه. بل يتطلب ضوابط خارجية لا يستطيع النموذج تجاوزها، بما في ذلك العزل الفعلي للشبكة، والصلاحيات المحدودة، والأهداف الموثقة، وحدود المعاملات، وشروط الإيقاف التلقائي. لن يُضمن المستقبل من خلال وكلاء لا يرتكبون أخطاء أبدًا. بل سيُضمن من خلال أنظمة تفترض أنها ستُرتكب أخطاء في النهاية.