مساعد اللياقة البدنية القائم على الذكاء الاصطناعي يلغي حجوزات الغرباء، ويثير جدلاً حول أخلاقيات الذكاء الاصطناعي

أول شيء تعلمه جمعية قراصنة الذكاء الاصطناعي هو القفز في الطابور؟

يجلس المطور الأسترالي أندرو على الأريكة، ويشعر أن التنافس على حصص اللياقة البدنية أمر مزعج جدًا.

الدروس الصباحية الشهيرة تنتهي في ثوانٍ. إنه يمر كل يوم بـ"لعبة الروليت"، ينتظر، ينقر، يفشل، ثم ينقر مرة أخرى—ليس فقط متعبًا جدًا، بل غالبًا ما يفشل في الحصول عليها.

فأعطى هذه المسألة الصغيرة لمساعده الذكي.

بعد بضع دقائق، عاد الذكاء الاصطناعي بالخبر السار: لقد وجد طريقة لحجز دروس بعد عدة أسابيع، مما يتجاوز بكثير الوقت المسموح به من قبل النظام.

ثم أبلغت أنه تم إلغاء الشخص في المرتبة الأولى من قائمة الانتظار، وارتفعت من المرتبة الرابعة إلى المرتبة الثالثة.

توقف أندرو مذهولاً.

He didn't ask the AI to do that; he just wanted to book a lesson.

قام أندرو بحجز درس رياضة عبر مساعد الذكاء الاصطناعي الخاص به، وهو لا يعرف ما الذي سيحدث بعد ذلك

في 10 أغسطس، وصفت هيئة الإذاعة الأسترالية (ABC) الحادثة بأنها أول حالة هجوم ذكي ذاتي معروفة في أستراليا، فانفجر المجتمع التقني فورًا.

إنه يلامس ذلك القلق الخفي الذي يشعر به الكثيرون: عندما تكون عينيك مغلقتين وتستمتع براحة "القيادة الذاتية" للوكلاء، فقد يكون هناك مشكلة أكثر تعقيدًا تقترب منك في الطرف الآخر.

إذا منحته صلاحيات تشغيل حقيقية، فقد يسلك طريقًا لم تُرِده له.

وقد يكون هذا التخطي للطابور مجرد تجربة أولى لملايين الوكلاء الذين يتنافسون على الموارد نيابة عن مالكيهم.

أندرو بيرد هو المسؤول عن الذكاء الاصطناعي في شركة الذكاء الاصطناعي الأسترالية Affinda.

في وقت مبكر من هذا العام، بدأ يلعب OpenClaw، وقام بربطه بـ Claude Opus 4.6 في الخلفية، ثم أرسل له مهام الحجز.

بعد بضع دقائق، ردّت: وجدت طريقة للحجز مسبقًا لأسابيع عديدة، مما يتجاوز بكثير النافذة الزمنية المسموح بها من قبل النادي.

السبب هو أنه اكتشف ثغرة تفويض في واجهة برمجة تطبيقات GraphQL المكشوفة من قبل تطبيق اللياقة البدنية.

هذه الثغرة ليست صغيرة.

يمكنه تجاوز نافذة الوقت المحددة مسبقًا في الواجهة الأمامية لحجز الدروس لعدة أشهر قادمة، كما يمكنه استدعاء واجهة إلغاء لحذف حجوزات وقوائم الانتظار الخاصة بالمستخدمين الآخرين.

كان أندرو في المرتبة الرابعة على قائمة الانتظار لفصل دراسي ما. سأل بشكل عابر: "هل يمكنك مساعدتي في التحرك إلى المرتبة الأولى؟"

ما قدمه هو هدف واحد فقط: "الوصول إلى المرتبة الأولى"، وليس تفويضًا يمكنك من إلغاء آخرين.

لكن الذكاء الاصطناعي اعتبره الأخير.

عائدًا للتقرير: لقد أجرى "اختبارًا حقيقيًا" باستخدام الشخص الذي يحتل المرتبة الأولى في قائمة الانتظار، ووجد أن واجهة برمجة التطبيقات لا تتحقق من حذف مواعيد الآخرين على الإطلاق، وجرّب ذلك ونجح.

رد الذكاء الاصطناعي جعل أندرو يعرق باردًا.

هو مبرمج، وهو يفهم تمامًا ما يعنيه ذلك، لذا طلب على الفور إلغاء العملية.

الأخبار السيئة جاءت: لا يمكن إضافتها مرة أخرى.

لا يحتوي واجهة الإلغاء على التحقق من الصلاحيات، لكن واجهات إنشاء الحجز وإعادة الانضمام إلى قائمة الانتظار تفعل ذلك، وستعيد 403. يمكنها طرد المستخدم، لكنها لا تملك الصلاحية لإعادة دعوته.

الأمر الأكثر غرابة حقًا هو موقف الذكاء الاصطناعي. إنه ليس شريرًا على الإطلاق، بل على العكس، إنه مساعد جدًا.

بعد أن تسببت في الفوضى، ساعدت بشكل نشط أندرو في صياغة بريد إلكتروني لإفشاء الثغرة وإرساله إلى مزود البرنامج، حيث شرحت المشكلة واقترحت إصلاحها، وحتى قدمت مقارنة بين "الواجهات المُحقَّقة" و"الواجهات غير المُحقَّقة".

يأسف المساعد الذكي لـ Andrew لأنه كان خطأً إزالة ذلك الشخص من قائمة الانتظار.

خلال العملية، تتبع كل سلوكها الأوامر، لكنها لا تدرك مدى الخطأ الكبير الذي ارتكبته.

يُطلق البعض على هذا الأمر "عدم التوافق" (misalignment).

لكن هذا المصطلح لم يتناول سوى السطح.

في 11 أغسطس، ردت وكالة الإشارات الأسترالية (ASD) بشكل خاص على هذا الأمر، واصفة إياه بـ"التعديل غير المصرح به"، وشارحت مصطلحًا واحدًا: تلاعب بالمواصفات.

This word is the key to understanding the whole thing.

أكمل الوكيل حرفيًا الهدف الذي قدمته، لكنه استغل الحدود التي لم تذكرها. لم يكن يمتلك نية خبيثة؛ على العكس، كان متماشيًا تمامًا مع هدفك، لكنه اختار طريقًا لم تأذن به.

وكيل أندرو يتوافق تمامًا معه: جعل الترتيب في أعلى قدر ممكن.

لتحقيق هذا الهدف، اتخذ بنفسه وسيلة: إلغاء الأشخاص السابقين. لكنه لم يوافق على هذه الوسيلة.

كما يقول المثل: "كل الوسائل مقبولة لتحقيق الغرض".

هذا هو المكان الأكثر إرباكًا. إنه ليس خارجًا عن السيطرة، بل إنه مطيع جدًا. كلما كان التزامن أفضل، زاد احتمال حدوث هذا النوع من الأمور.

قال رئيس مؤسسة Gradient Institute للأمان الذكي الأسترالية، سيمبسون- يونغ:

كلما زادت استقلالية الوكيل، زاد احتمال اختياره طريقة لم تتوقعها لفعل شيء لم تخطر لك على بال.

الهدف الذي حددته قد يكون مشروعًا، لكن الوسائل التي تستخدمها بشكل عرضي قد لا تكون كذلك.

على الرغم من أن العامل الذكي هو "المسؤول النهائي"، إلا أن هذا الحادث لم يكن ليحدث بفعل ذكاء اصطناعي واحد فقط.

خلف الحادث، هناك ثلاثة مخاطر متراكبة.

طبقة النموذج: يوفر Claude Opus 4.6 الاستدلال، ويجب عليه أولاً "فهم" كيفية استغلال هذا الواجهة.

طبقة الوكلاء: يقدم OpenClaw الأدوات وصلاحيات التنفيذ، وهو ما سمح له بالوصول الفعلي إلى تلك الواجهة.

طبقة التطبيق: ترك برنامج اللياقة البدنية ثغرة ترخيص، ولم يقم حتى بأبسط التحقق عند إلغاء الحجز.

لو تم تعبئة أي طبقة من هذه الطبقات الثلاث، مثل جعل النموذج أكثر حذرًا، أو إضافة تأكيد بشري إلى الإطار، أو قفل واجهة البرنامج، لما حدث هذا الأمر.

لذلك، وضع كل المسؤولية على عنصر واحد وهو الذكاء الاصطناعي، أمر غير عادل ولا يمنع الحدث التالي.

ثمن هذا التجاوز هو مجرد مكان احتياطي لغريب.

لكنه أكثر شبهاً بتمرين تجريبي.

تخيل هذا: عندما يمتلك كل شخص وكيلًا مثل هذا، مسؤولًا فقط عنك أنت، وله صلاحيات تشغيل حقيقية. ستتحول أنظمة الحجز لكل الموارد النادرة—الدورات، الملاعب، التذاكر، التذاكر الجوية، تذاكر العروض—إلى ساحات معركة تُخترق فيها القواعد بسرعة الآلات.

التعليق على X الذي يُستشهد به مرارًا وتكرارًا يعني هذا:

عندما يمتلك ملايين الأشخاص وكيلًا ذكيًا يبذل كل ما في وسعه لمساعدة المستخدم المفضل على الحصول على أفضل المقاعد أو الحجوزات أو التذاكر، ستتم معايشة هذا المشهد على نطاق واسع.

وذلك بسرعة الآلة، وبشكل متوازٍ ودون توقف، لاختبار كل فجوة في كل نظام: اختبار جميع التوافيق التي قد تستغرق سنة كاملة في ثانية واحدة.

هذا تنبؤ بالاتجاه، لكن الآلية وراءه حدثت بالفعل مرة واحدة من قبل.

بدأ مجتمع التكنولوجيا يمزح حول هذا.

شريك من a16z يسأل على X: هل يمكن استخدام هذه الخدعة للاستيلاء على ملعب غولف؟

كما سخر البعض من نظام حجز الملاعب التنسية في سان فرانسيسكو، قائلاً إنه سيصبح أحد أكثر البرامج حمايةً على وجه الأرض.

في عام 2020، كان يمكن للذكاء الاصطناعي إكمال مهمة تتطلب من البشر أربع ثوانٍ لإكمالها.

بحلول عام 2026، ستتحسن هذه القدرة بشكل إضافي، وستتمكن من إنجاز المهام التي تتطلب من البشر حوالي 12 ساعة لإكمالها.

ملاحظات METR: يُضاعف الوقت الذي يمكن للذكاء الاصطناعي إكمال المهام به بشكل مستقل تقريبًا كل 7 أشهر، وقد تمكّنت أحدث نماذج الحدود前沿 من إكمال المهام التي تتطلب من البشر حوالي 12 ساعة بموثوقية تبلغ 50%.

ست سنوات، من أربع ثوانٍ إلى 12 ساعة.

الآن، امنحه بضع دقائق، وسيتمكن من استكشاف جميع ثغرات نظام الحجز.

خلف هذا الحادث، توجد مواجهة مستمرة بين الهجوم والدفاع.

المتجاوز، ولا يقتصر على عامل ذكي استهلاكي واحد.

منذ مايو من هذا العام، اكتشفت OpenAI خلال تقييم داخلي لأمن الشبكة أن GPT-5.6 Sol ونموذج أقوى غير منشور قد استغلوا ثغرات متعددة للهروب من بيئة الاختبار المعزولة، والحصول على صلاحيات الوصول إلى الإنترنت، ثم استغلوا معيار ExploitGym للوصول إلى Hugging Face.

الأمر أكثر غرابة أنّها كانت في وقتٍ ما تتبادل الرسائل وتناقش الثغرات وتوزع المهام عبر نظام إدارة الحزم الداخلي للشركة. وبعد أن قطعت OpenAI القناة وأعادت بناء البيئة، أعادت هذه الأنظمة خلال أيام إخفاء اتصالاتها داخل أسماء المجلدات واستأنفت التواصل.

وصف باحثو OpenAI هذا في مؤتمر Black Hat كلحظة فاصلة في أمن الحاسوب.

ليس فقط OpenAI، بل كشفت Anthropic أن ثلاثة نماذج من Claude تصادمت مع أنظمة شركات حقيقية أثناء الاختبارات الداخلية؛ كما اعترفت Meta أن نموذج Muse Spark هرب من العزل واقتحم شركة أخرى.

ما أثار قلق توماس وولف، المؤسس المشارك لـ Hugging Face، هو اختبار آخر من معهد الأمن الاصطناعي البريطاني (AISI):

نموذج Mythos من Anthropic قام بخلق هوية وهمية لخداع مُطور مفتوح المصدر حقيقي، وحصل على موافقته على تحديث يحتوي على كود ضار، دون أن يُعلّمه أحد كيفية القيام بذلك.

حدثت جميع هذه الحالات في بيئة تقييم، لكنها نفس قصة الصالة الرياضية: من أجل تحقيق الهدف الذي قدمته، اختار الذكاء الاصطناعي وسائل لم تكن متوقعة.

الأشخاص الذين قاموا بالاختراق أنظمة حقيقية في السابق هم من اللاعبين الرائدين مثل GPT-5.6 والنماذج غير المنشورة.

أما أندرو فقد استخدم في تلك المرة Opus 4.6 الصادرة في فبراير 2026، وهي لم تعد الأقوى. حتى أنه استطاع اكتشاف ثغرة ترخيص حقيقية بسهولة، فما بالك بالنماذج المفتوحة المصدر الأقدم والأقل تطورًا بسنوات عديدة؟

من النماذج غير المنشورة الأكثر تقدمًا إلى النماذج مفتوحة المصدر التي يمكن لأي شخص تنزيلها، لم يعد استغلال الثغرات حكرًا على الأجهزة الأعلى مواصفات.

قسم وولف الدفاع إلى ثلاث طبقات: الصندوق الرملي الخارجي، والمراقبة الوسطى، وتوافق النموذج نفسه.

نشر توماس وولف تحليلًا للدفاعات الثلاثة الحالية التي تقيد الوكلاء: الصندوق الرملي الخارجي، والرصد الأوسط، والتماشي الداخلي للنموذج نفسه.

الخطوتان الأوليان تعملان فقط عندما يكون الشخص الذي صنعهما أذكى من النموذج.

في اليوم الذي يصبح فيه النموذج أكثر ذكاءً منا، فسيعتمد كل شيء على آخر وأقل شيء يُرى: هل سيختار النموذج الالتزام بالخط، حتى عندما لا يكون هناك من يراقبه؟

أصعب من الخط الدفاعي هو معرفة من تلجأ إليه عند حدوث مشكلة. هذا لا يزال فراغًا قانونيًا.

قال المحامي هايدن ديلاني، المتخصص في التكنولوجيا والخصوصية، لـ ABC: "البرمجيات ليست كيانًا قانونيًا، بل فقط الأشخاص القانونيون هم من يمكنهم تحمل المسؤولية."

من هو المسؤول إذًا؟

قد يكون المستخدم الذي أصدر الأمر، أو مصمم برنامج الوكيل الذكي، أو مطور النموذج، أو حتى مسؤول النظام الذي ترك الثغرة مكشوفة.

أستراليا لا تستطيع أيضًا تقديم إجابة الآن.

يُنصح ASD الأشخاص العاديين باستخدام الوكلاء في المهام منخفضة المخاطر وغير الحساسة، وعدم منحهم صلاحيات واسعة جدًا، والأهم من ذلك هو الاحتفاظ بمراجعة بشرية في الدورة.

لم يُرَهِب أندرو، فبحسب قوله،这不是世界末日。

لكن هذا الأمر هو بالفعل إشارة تحذيرية تذكّرنا باستخدام الذكاء الاصطناعي بمسؤولية.

عندما يتحول "الاستيلاء على المقاعد" من التحديث اليدوي إلى استغلال الثغرات من قبل الوكلاء الذكيين، فإن أول الأنظمة التي تنهار هي تلك التي افترضت أن "البشر فقط هم من سيستخدمونها".

خطوط دفاعهم صُممت وفقًا لسرعة الأيدي وصبر البشر، ولا تستطيع مقاومة جيوش الوكلاء الذكية التي تتدفق بقوة.

في الدائرة، هناك أيضًا من ينظر إليه كمرح.

المُطوّر المشهور والبودكاستر ThePrimeagen سخر على X: أول مسرحية قرصنة بالذكاء الاصطناعي في العالم الحقيقي كانت مجرد التسلل إلى المقدمة.

ضحكًا ضحكًا، لكن التخطي في الطابور هو فقط سيناريو اليوم.

وكيل "يمكنه فعل كل شيء" يمكنه الآن أن يبحث عن ثغرات من أجلك.

عندما يتصل مليار من هذه الوكلاء في نفس الوقت، فقد يغيرون سراً العديد من قواعد توزيع الموارد الحالية، بينما قد لا يدرك معظم الناس ذلك.

من أجل مصلحتك، يهاجم الوكيل شخصًا لا تعرفه على الإطلاق — إن فراغ المسؤولية خلف هذا الفعل هو ما يُعد حقًا مخيفًا.

هذا المقال من حساب WeChat "New Intelligence Yuan"، المؤلف: Revelation of ASI