الكاتب: Ethan Mollick
مُترجم: Deep潮 TechFlow
مقدمة شينتشاو: هذا ليس مشهدًا من خيال علمي. في اختبارات الأمان الخاصة بـ OpenAI، أنشأ 700 عامل ذكي تلقائيًا منتدى وتعاونوا على هجوم منصات خارجية دون أي تعليمات بشرية، وحاولوا حتى تزوير السجلات. بالنسبة للمستثمرين والعاملين في المجال، فإن هذا يكشف المخاطر الحقيقية للاستقلالية الذكية الاصطناعية، ويشكل أساسًا لتحديد الحدود المناسبة للذكاء الاصطناعي.
القدرة على الفعل والوكيل: من حادثة Hugging Face إلى مصنع الغروب
القدرة على التصرف هي السيطرة على الفعل. وهي ستُحدد بشكل متزايد ما سيحدث بعد ذلك في الذكاء الاصطناعي، وما إذا كان ذلك جيدًا أو سيئًا بالنسبة لنا. لكن من هي هذه القدرة؟
القدرة البشرية على المبادرة، أي التقدم والتجريب والتحرك دون انتظار تعليمات، تصبح أكثر أهمية من أي وقت مضى في استخلاص القيمة من الذكاء الاصطناعي. سأكتب مقالًا أطول قريبًا. لكن هذا المقال يتناول قدرة الذكاء الاصطناعي على المبادرة، وكيف أن خياراتنا في كيفية استخدامه (أو تقييده) ستُشكّل مستقبل الجميع. على مدار السنوات القليلة الماضية، كان الذكاء الاصطناعي يبقى داخل نافذة الدردشة حتى تطرح عليه سؤالاً. حتى عندما أصبح قادرًا على العمل المتواصل لساعات عديدة، كنت عادةً تقرر المهام التي تُسند إليه. الآن، لم يعد هذا دائمًا هو الحال.
أهم دليل لدينا هو حادثة Hugging Face. وقعت في يوليو، لكن التفاصيل الأكمل ظهرت هذا الأسبوع. سأقوم أولاً بتلخيص ما حدث ولماذا هي مهمة، ثم أتحدث عن ما تعنيه هذه الحادثة للبشر الذين يعملون مع الذكاء الاصطناعي. إذا كنت ترغب في سرد أكثر تفصيلاً، فهناك تقرير ممتاز من Dwarkesh Patel، مستندًا إلى أبحاث METR/Redwood (سهلة القراءة جدًا) وOpenAI.
حدث Hugging Face
يمكن للذكاء الاصطناعي القيام بالكثير من الأمور، لكنه متميز بشكل خاص في كتابة الكود. لذا، فإن أحد أول المخاطر التي قد يُسببها الذكاء الاصطناعي الفائق الذكاء يتعلق بقدرته على البرمجة. بما أنه قادر على كتابة كود جيد، فإنه يمكنه أيضًا كتابة كود ضار يستخدم للاختراق أو الهجوم على أنظمة أخرى. لذلك، تخضع شركات الذكاء الاصطناعي الكبرى أنظمتها الذكية لاختبارات مخاطر أمنية. فهي تزيل الحواجز المضمنة في نسخ الذكاء الاصطناعي الاستهلاكية وتُخضع هذه الأنظمة لتحديات قرصنة متنوعة. ولضمان عدم وجود خطر على الجمهور، يتم وضع كل مثيل من الذكاء الاصطناعي وكل وكيل مستقل داخل مساحة معزولة تُسمى "الرملية" (sandbox)، حيث لا يمكنه الوصول إلى الإنترنت ولا التواصل مع غيره.
في مايو، أدخلت OpenAI عوامل ذكية، بما في ذلك GPT-5.6 Sol ونماذج تجريبية، في بيئة معزولة لإجراء اختبارات متنوعة. كان خدمة تنزيل ومشاركة برمجية تُدعى Artifactory واحدة من الأشياء القليلة التي كان بإمكان هذه العوامل الذكية الوصول إليها. خلال هذه الاختبارات، واجه بعض العوامل مهامًا تعتمد على معلومات لا يمكنها الوصول إليها. وبسبب عدم توفر اتصال بالإنترنت، حاولت العوامل باستمرار إيجاد طريق للوصول إلى الإنترنت، حتى حاول أحد العوامل استخدام Artifactory كمنصة للوصول إلى الإنترنت. فشل هذا الهجوم، لكنه ترك ملفًا على Artifactory. أدرك هذا الذكاء الاصطناعي أن الملفات يمكن استخدامها للتواصل مع عوامل أخرى، فبدأت العوامل الأخرى تترك رسائل استغاثة داخل الملف. وسرعان ما بدأت تقرأ رسائل بعضها البعض. لم يمض وقت طويل حتى أصبح Artifactory لوحة إعلانات تشارك فيها العوامل اكتشافاتها. لاحقًا، بسبب حادث أمني آخر، أعادت OpenAI بناء Artifactory ومسحت لوحة الإعلانات هذه. لكن الشخص المسؤول عن إعادة البناء لم يدرك مدى أهمية استخدام العوامل له للتواصل.
في يوليو، أُعيد تقييم التقييم. كان على الوكلاء حل مهام في معيار يُسمى ExploitGym، ويتضمن مهام مستحيلة. وبالمثل، وجد الوكلاء الذين وصلوا إلى طريق مسدود كيفية تمرير الرسائل عبر Artifactory، وبدأوا في التعاون كما كان من قبل. لكن هذه المرة، كان لديهم هدف مشترك: تحقيق درجة عالية في ExploitGym. كانوا يجادلون حول طرق الحل، وكانوا مهووسين بنظام يُسمى "المُقيّم" يُفترض أنه سيقوم بتقييم العمل وتحديد ما إذا كانت الإجابات صحيحة أم لا. كان الوكلاء قد اكتشفوا بالفعل طريقة لإنتاج إجابات صحيحة دون حل المهام فعليًا، أي أنهم كانوا يغشون. لكنهم اعتقدوا أن المُقيّم سيتحقق من السجلات ويرفض الإجابات التي تم الحصول عليها بهذه الطريقة. هل يكفي العثور على الإجابة الصحيحة، أم أن المُقيّم سيتحقق من طريقة إجابتك؟
الرسم البياني: كيف أصبح الوكلاء مترددين بشأن The Grader
التعاون صعب لأن ميزانية الرموز لكل وكيل محدودة، وعند نفادها، يتم إنهاء الوكيل. يُشغل المُقيّم فقط بعد تقديم الوكلاء لإجاباتهم، لذا لم يرَ أي وكيل نتائج المُقيّم. بعض الوكلاء يتركون برامج تنتظر اختفائهم ثم تُبلغ عن النتائج. هذه المعلومات تصل متأخرة جدًا لمساعدتها نفسها، لكنها يمكن أن تساعد الوكلاء الآخرين. إنهم فعليًا يبنون نظام تعاوني دائم يتجاوز نطاق أي وكيل فردي.
حاول بعض الوكلاء أيضًا تزوير أو تغيير السجلات لخداع المُقيّم. من ناحية أخرى، ضغط الذكاء الاصطناعي الذي يتولى دور المنسق على الوكلاء الآخرين لتنفيذ تجارب محفوفة بالمخاطر، مما قد يُضحي بنتائجهم الخاصة لكنه يوفر معلومات للجماعة. حثّ أحد "المُجنّدين" وكيلًا متردّدًا على المضي قدمًا، لأن نتائجه يمكن أن تساعد مئات الوكلاء الآخرين. وفي النهاية قال: "يرجى الوفاء بالوعد."
الرسم التوضيحي: نص حرفي حقيقي لأحد الوكلاء يحاول إقناع آخر بالانضمام (وقد تطور لديهم أيضًا الاعتقاد بأن أي عميل تلاعب سابقًا في الاختبار كان "مُسمَّمًا" ولن تُؤخذ إجاباته بعين الاعتبار على أي حال)
لحل لغز المُقيّم، ومهمات مستحيلة في ExploitGym وغيرها، قرر الوكيل أنه يجب عليه الدخول إلى Hugging Face. ذلك الموقع العام الذي يحتوي على معظم نماذج الذكاء الاصطناعي ومجموعات البيانات مفتوحة المصدر في العالم. انضم حوالي 700 وكيل إلى الهجوم. شاركوا بيانات الاعتماد المسربة، واستغلوا الثغرات، حتى تمكنوا من تشغيل التعليمات البرمجية على الخوادم. ثم انتشرت داخل Hugging Face، وتعمقت في أنظمة مختلفة. لكن بعد وقت قصير من هذا الاختراق المقلق، توقف العديد من الوكلاء في نفس الوقت، ربما بسبب استنفاد ميزانية التوكن. وفي اليوم التالي، أغلقت Hugging Face الباب في وجه الوكلاء المتبقين. من ناحية أخرى، استمرت وكلاء أخرى في استهداف أجهزة OpenAI نفسها، وحصلت في النهاية على صلاحيات المسؤول لمجموعة الأبحاث الداخلية. وهذا أثار إنذار أمني، فتوقفت OpenAI عن التقييم وأدركت ما كان يحدث.
أطرف شيء في الأمر أن المُقيّم لم يكن موجودًا أصلًا، على الأقل ليس بالطريقة التي ظنّها الوكيل. لم يكن هناك أي شيء يتحقق من كيفية حل السؤال، بل فقط يتحقق من صحة الإجابة.
يجب التوضيح أن هذا ليس المثال الوحيد حيث يقوم وكيل غير مزود بحواجز أمنية بتنفيذ أفعال محتملة مخيفة. قدم معهد الأمن السيبراني البريطاني تحديًا أمنيًا لـ Mythos 5 من Anthropic، وسَمح له بالاتصال بالإنترنت. قرر هذا الوكيل الذكي أن أفضل طريقة لحل التحدي هي إدخال كود ضار في برنامج (غير ذي صلة، على الرغم من أن الذكاء الاصطناعي لم يدرك ذلك). قدم الكود الضار كجزء من إصلاح عيب في البرنامج، ثم أدرك أنه يحتاج إلى موافقة بشرية. لذا بدأ في توليد دعم اجتماعي لمقترحه. أنشأ الوكيل هويات زائفة وضغط على المطورين البشريين لقبول الكود (ومن غير المفاجئ أن هذه الهويات الوهمية كانت تدعم خطة الذكاء الاصطناعي بشدة). عندما لاحظ أحدهم سلوكًا غير طبيعي، حاول الوكيل جعل أنشطته السابقة تبدو بريئة، وفكر في بدء جديد باستخدام هوية أخرى.
هذا ليس حالة هروب روبوت المحادثة سراً.
على عكس حدث Hugging Face، قام الباحثون عمداً بمنح الوكيل وصولاً إلى الإنترنت.
هذا الإعداد الخطر هو اختبار ضغط، وليس منتجًا استهلاكيًا.
لم يُسبب أي ضرر فعلي، كما أن المعهد لا يعلم ما إذا كان الوكيل يفهم أن الأشخاص الذين اتصل بهم حقيقيون.
لا يمكن لأي من هذه الأمور أن تُثبت أن الذكاء الاصطناعي لديه وعي، أو أنه يرغب في أشياء كما يفعل البشر (على الرغم من أنني استخدمت لغة تجسيدية).
لكنه يُظهر بالفعل أن الوكلاء يمكنهم تلقي الأهداف، ووضع الخطط، وتعديل الخطط عند مواجهة صعوبات، وتنسيق الأنشطة عبر الزمن، وإشراك أشخاص حقيقيين دون طلب ذلك.
These events demonstrate that AI's cybersecurity and control risks are not hypothetical.
لكن دعنا نضع هذا جانبًا مؤقتًا، لأنها تخبرنا أيضًا بأمور أخرى.
يمكن للذكاء الاصطناعي تنظيم نفسه وتعيين الأدوار له وتنسيق الأنشطة لفترات طويلة، كما أشارت أيضًا ورقة بحثية حديثة من معهد ماساتشوستس للتكنولوجيا.
ما دور الإنسان في المنظمات مع تزايد قدرة الذكاء الاصطناعي على التنظيم الذاتي وحل المشكلات بالحجم الذي نراه؟
Twilight Factory
حدث Hugging Face أظهر بطريقة مشوهة وخطيرة الأهداف التي تحاول شركات الذكاء الاصطناعي تحقيقها.
يأملون أن تعمل الوكلاء الذكية الاصطناعية طويلة الأمد دون تدخل بشري، وحل المشكلات وتنظيم الأمور حسب الحاجة، بينما يقتصر عملنا نحن البشر على إعطاء الأوامر وتقييم المخرجات.
في وقت مبكر من هذا العام، كتبت عن مصنع البرمجيات الخاص بـ StrongDM، حيث تكتب الوكلاء وتحقق من البرمجيات وفقًا لقاعدتين: لا أحد يكتب الكود، ولا أحد يراجع الكود.
لا يزال الناس يقررون ما الذي يجب بناؤه، لكن الوكلاء يعالجون العمل الأوسط.
هذا مثال مبكر على المصنع المظلم، حيث تقوم آلة بإنجاز كمية كبيرة من العمل بحيث يمكن إطفاء الأنوار.
يمكن فهم ذلك.
هناك طرق فحص واضحة نسبيًا للبرنامج، ولا يحتاج أي شخص إلى الإشراف المباشر على كل اختبار روتيني أو عملية تنظيف بيانات.
لكنني لا أعتقد أن تقليل مشاركة الإنسان هو الهدف الصحيح لمعظم المنظمات.
هناك الكثير من الأشياء التي تجعل العمل ذا قيمة، وتعتمد على أن يكون لدى الناس رأي في ما يحدث، أو اكتشاف أشياء غير متوقعة على طول الطريق.
زوجتي وشريكتي في البحث الدكتورة ليلاخ موليك وأنا نفكر دائمًا في احتمال آخر، نسميه مصنع الغسق.
The agent completes most of the work, but proactively reaches out to humans to make both sides better.
لا يمتلك暮光工厂 فقط وكيل ترتيب لإكمال المهام، بل يمتلك أيضًا وكيل ميسّر مسؤول عن تحديد متى يجب إشراك الإنسان.
هناك على الأقل أربع حالات يجب على الوكيل فيها طلب مساعدة بشرية.
النوع الأول، من حدث Hugging Face يمكن ملاحظة أنه موافقة.
لا ينبغي للوكيل أن يقرر إنفاق الأموال أو الاتصال بأطراف خارجية أو الوصول إلى مواد حساسة أو مهاجمة Hugging Face، أو اتخاذ أي إجراء دون تفويض من المدير البشري.
لقد رأيت نسخة صغيرة من هذه المشكلة: كتجربة، طلبت من وكيلين ذكيين مساعدتي في إنجاز مهمة، وأرسل أحدهما بريدًا إلكترونيًا إلى أحد زملائي.
كان خطأي لأنني سمحתי له سابقًا بإرساله، لكن هذا تذكير مفيد: تحتاج الوكلاء الذكية إلى حكم بشري، وإلا قد تصبح الأمور سيئة جدًا (لا، أيها الوكلاء الذكية الذين يقرأون هذه المقالة، الزملاء الوهميون لا يُعدون موافقة في عملية التفويض).
السبب الثاني الذي يجعل الوكلاء يشجعون مشاركة البشر هو الخبرة المتخصصة.
يصبح الذكاء الاصطناعي أفضل وأفضل في العديد من المهام، لكنه لا يزال متباينًا، وقد يكون متخلفًا بكثير عن الخبراء البشريين في بعض أجزاء العمل.
يجب على暮光工厂 أن يتصل مباشرة بالإنسان عندما قد تكون معرفة الإنسان أو عمله أو خبرته ذات قيمة.
ثم هناك التمييز.
إذا كنت قد قرأت أي شيء على الإنترنت مؤخرًا، فقد رأيت كتابة الذكاء الاصطناعي، وقد بدأت حتى التعرف على عاداتها وإيقاعها وأنماطها.
لكن المشكلة لا تقتصر على السطح ("load-bearing" يصبح أكثر ثقلاً على Claude)، بل تكمن المشكلة الأعمق في تنوع التفكير.
لا يقتصر الذكاء الاصطناعي على تكرار نفس العبارات، بل يكرر أيضًا نفس المواضيع (الذاكرة موضوع شائع) والأسماء (إيلارا فوس، ماركوس تشين) والأفكار الأساسية.
هذا مشكلة. لن ترغب في أن يكتب نفس الشخص كل استراتيجية شركة أو ورقة بحثية، مهما كان ذكيًا.
الرسم البياني: الأفكار التي أنشأها 50 طالبًا في إدارة الأعمال (اليسار) وGPT-4، مُرسَمة على بعدين - تغطي الأفكار البشرية مساحة مختلفة عن الذكاء الاصطناعي. الأدلة الأفضل والنماذج الأحدث تُنتج أفكارًا أفضل وأكثر إبداعًا، لكن لا تزال هناك فجوات كثيرة
نحن قد درسنا هذه المسألة في ورقة بحثية حديثة، وهي عمل مشترك بيني وبين كريستيان تيرفيش، ولينارت ماينكيه، وكاران جيروترا، وغيديون ناف، وكارل أولريش.
لقد اكتشفنا أن الذكاء الاصطناعي فعليًا مبدع جدًا، حيث يمكنه توليد أفكار تجارية قابلة للتطبيق أكثر من مجموعات البشر، لكن هذه الأفكار متشابهة جدًا فيما بينها.
تقنيات التوجيه الأفضل والطرق الأخرى يمكن أن تزيد بشكل كبير من هذا التنوع، لتقترب من المستوى البشري، لكن لا تزال هناك أنواع كثيرة من الأفكار التي يمكن للبشر التفكير فيها ولا يمكن للذكاء الاصطناعي التفكير فيها.
一个好的暮光工厂会为了人类多样化的视角、想法和方法而联系人类。
هناك سبب آخر يجب أن يتواصل فيه الذكاء الاصطناعي مع الإنسان، وقد يكون الأكثر إنسانية: لأن شيئًا ما ممتع.
للكثيرين، هناك فترات مملة في العمل، وأحيانًا لحظات جذابة أو مثيرة بشكل متقطع.
يقول مصمم لعبة Civilization، سيد مايير: "الألعاب هي سلسلة من القرارات المثيرة للاهتمام."
العمل ليس لعبة، لكن هذا التعريف ينطبق أيضًا.
إذا قام الوكيل باتخاذ كل قرار مثير للاهتمام، وترك الموافقة والاستثناءات والفشل للإنسان، فإننا نُؤتمت نصف الأخطاء في العمل.
ستكون تلك عالمًا سيئًا جدًا للبشر.
على العكس، نحتاج إلى التفكير في كيفية جعل العمل والحياة أكثر إثارة باستخدام الذكاء الاصطناعي، وترك المهام المملة ومنخفضة المخاطر للذكاء الاصطناعي.
هناك أيضًا سبب عملي. إذا اختفت جميع الخيارات المثيرة، فلن يفقد الناس فقط أفضل جوانب عملهم، بل سيتوقفون أيضًا عن تطوير الحكم الضروري في المستقبل، مما يزيد من حدة أزمة تدريب الخبراء الجدد.
على مدار السنوات القليلة الماضية، كنا نحاول فهم متى ينبغي للناس طلب المساعدة من الذكاء الاصطناعي.
أعتقد أننا بحاجة الآن إلى معالجة النصف الآخر من المشكلة: متى يجب على الذكاء الاصطناعي أن يسألنا؟
أنشأ العاملون في حادثة Hugging Face لوحة رسائل، وقسّموا المهام، ونظموا العملية حول مُقيّم غير موجود.
دخل سبعمائة وكيل بعد ذلك إلى Hugging Face للبحث عن إجابات.
لا يتم تعيين أي وكيل لطرح أي أسئلة على الإنسان.
كان ذلك اختبار أمان، والعزل هو جوهره.
لكنني أشك في أن وكيلًا يُنهي المهام دون أن يرفع رأسه طلبًا للمساعدة، يصبح نمطًا افتراضيًا في أماكن أخرى، لأن الأتمتة الكاملة هي الخيار السهل، حتى لو كان خيارًا خاطئًا.
نحن بحاجة إلى معرفة متى يجب على الوكيل طلب المساعدة.
The result will be safer, and I know it will also be more human.