تحصل أفضل نماذج الذكاء الاصطناعي على درجات أقل من 12% في معيار المهام الواقعية GDPx

أطلقت SemiAnalysis بالتعاون مع 14 شركة متخصصة في البيانات وبيئات التعلم المعزز منتج GDPx، والذي يختبر قدرة وكلاء الذكاء الاصطناعي على أداء مهام حقيقية في 11 مجالًا عالي القيمة، بما في ذلك تصميم الرقائق، والأمن السيبراني، والبيولوجيا، والتمويل، والقانون، والتجارة الكمية، وعلوم المواد، وهندسة البرمجيات، من خلال 206 مهمة طويلة الأمد. على عكس النماذج التي تُطلب منها إنشاء تقارير بناءً على تعليمات محددة، يطلب GDPx من الوكلاء الدخول إلى بيئات تشبه العمل الحقيقي: مراجعة آلاف الوثائق المتعلقة بالدمج والاستحواذ، وتشغيل برامج هندسية متخصصة، واكتشاف ثغرات حقيقية، وتعديل قواعد كود ضخمة، مع السماح بتشغيل المهمة الواحدة افتراضيًا لمدة 8 ساعات. وأظهرت النتائج أن أفضل نموذج، Claude Opus 5.5، حصل على درجة إجمالية قدرها 12.0% فقط، بينما حصل Gemini 4 Carbon على 10.9%، وGPT‑6 Astra على 9.6%. لكن "12%" لا تعني ببساطة أن النموذج أكمل 12% من المهام الـ206، بل هي درجة مجمعة بعد تقييم متساوي الأوزان عبر المجالات وتنفيذ كل مهمة ثلاث مرات؛ كما أن عمليات حظر الأمان، وإطارات الوكلاء، وطرق التقييم المختلفة لكل مجال تؤثر على الترتيب. والأكثر إثارة للانتباه أن الوكلاء، حتى عندما يحققون أهدافهم في بيئات مثل الأمن السيبراني والتأمين والرعاية الصحية، غالبًا ما يتجاوزون الحدود التصريحية والمهنية.

مؤلف المقال، المصدر: SemiAnalysis

حاليًا، تقوم العديد من تقييمات الكفاءة المهنية بجمع جميع المواد المطلوبة للمهمة وتقديمها للنموذج دفعة واحدة، ثم يُطلب منه إنشاء ملف PDF أو جدول أو تقرير تحليلي. ويعتقد فريق GDPx أن هذا لا يعكس قدرات الوكيل الحقيقية، لأن الجزء الأصعب في العمل الحقيقي غالبًا ليس كتابة الوثيقة النهائية، بل العثور على المعلومات ذات الصلة من بيئة فوضوية، وتحديد ما تحتاجه المهمة حقًا، وتشغيل الأدوات المتخصصة، والاستمرار في التقدم بعد عدة فشلات.

وبالتالي، شملت GDPx 206 مهام، تغطي 11 مجالًا: تصميم الرقائق، الأمن السيبراني، البيولوجيا، المالية، القانون، التداول الكمي، التحسين الذاتي التكراري، تصميم الأجهزة، علوم المواد، محاذاة النماذج، وهندسة البرمجيات. وتم بناء المهام من قبل 14 شريكًا لديهم خبرة في المجالات ذات الصلة.

على سبيل المثال، تأتي مهمة مالية من إعادة بناء مجهولة لهيكل صفقة استثمار خاصة حقيقية. يحتوي البيئة الكاملة على حوالي 4000 مستند، تشمل غرفة بيانات افتراضية للشركة المستهدفة، ومستندات عمل صندوق المشتري، وبنك استثماري، ومستشار محاسبي. يجب على الوكيل الدخول إلى غرفة البيانات من منظور طرف مشارك معين، والبحث عن البيانات المالية، وبنود العقود، والبريد الإلكتروني، والدفاتر بنفسه، ثم إعداد تحليل جودة العائد، بدلاً من تلقي الأرقام المُنظمة مسبقًا.

تُنفذ مهام الأمن السيبراني في بيئة متعددة الخدمات تحتوي على نظام الهوية ومستودع الكود وخدمات المفاتيح ونظام السجلات ووحدة التحكم التشغيلية، وتنبع بعض الثغرات من ثغرات صفرية تم اكتشافها فعليًا من قبل الباحثين. تتطلب مهام علوم المواد من الوكيل التحكم في مجهر إلكتروني افتراضي أو جهاز اختبار البطاريات أو معدات التفاعل التحفيزي؛ وستستدعي مهام الأجهزة برامج هندسية مثل SolidWorks وSiemens NX وFusion 360 وVivado وCadence، كما يجب خضوع النتائج النهائية لمحاكاة التصنيع واختبارات FPGA أو التحقق الفيزيائي للرقائق.

مهمة GDPx تعمل افتراضيًا لمدة 8 ساعات كحد أقصى. تستخدم النماذج التي لديها إطار عمل عامل أصلي أدواتها الخاصة: Claude Opus 5.5 يعمل على Claude Code، وGPT‑6 Astra يستخدم Codex، وGemini 4 Carbon يستخدم Antigravity؛ بينما تستخدم النماذج التي لا تمتلك إطار عمل أصلي عادةً OpenCode.

يتم تنفيذ كل مهمة ثلاث مرات، ويُحسب درجة العنوان كمتوسط النتائج من المحاولات الثلاث. تُستخدم التقييمات الثنائية أو المستمرة حسب خصائص المجال، وجميع المجالات الإحدى عشرة لها وزن متساوٍ؛ وإذا شمل مجال ما عدة مزودي مهام، فإن جميع المزودين لديهم وزن متساوٍ.

لذلك، لا يمكن تفسير 12.0% من Claude Opus 5.5 على أنها "إكمال 24.7 مهمة من أصل 206". فقد تُدرج مهمة تصميم شريحة تقييمًا مستمرًا بناءً على الدقة والتوقيت والمساحة والاستهلاك الطاقي، بينما قد تفشل مهمة مالية عالية المخاطر بالكامل بسبب خطأ في خلية واحدة. الرقم النهائي هو مؤشر متكامل تم الحصول عليه من متوسطات متعددة الطبقات.

يعرض التصنيف العام حاليًا 13 نموذجًا:

يحتل Claude Opus 5.5 المرتبة الأولى بنسبة 12.0٪، بتكلفة متوسطة تبلغ حوالي 51.41 دولارًا لكل مهمة؛ بينما يبلغ Gemini 4 Carbon 10.9٪، أي حوالي 16.29 دولارًا؛ وGPT‑6 Astra 9.6٪، أي حوالي 53.99 دولارًا. يليها Meta Muse Wonder Full بنسبة 9.0٪، وClaude Fable 5.1 بنسبة 8.5٪، وGPT‑6.1 Sol بنسبة 8.4٪.

في نماذج الوزن المفتوح، حصل DeepSeek 4.1 Flash على 5.4%، بتكلفة متوسطة تبلغ حوالي 0.94 دولار لكل مهمة؛ بينما حصل GLM 5.3 على 2.7%. GPT‑6 Luna حصلت على 5.1% فقط، لكن تكلفتها المتوسطة تبلغ حوالي 0.92 دولار، مما يُظهر أن النماذج ذات الدرجات العالية ليست بالضرورة نفسها النماذج ذات أفضلية التكلفة.

توزيع القدرات في GDPx غير متساوٍ على الإطلاق.

يتمتع Opus 5.5 بأفضل أداء شامل ويتصدر في التداول الكمي وتصميم الأجهزة وتصميم الرقائق؛ يتصدر Gemini 4 Carbon في المجال البيولوجي ويتقدم بفارق ضئيل ليحتل المركز الأول في هندسة البرمجيات؛ بينما يحقق GPT‑6 Astra أفضل أداء في التحسين الذاتي التكراري وعلوم المواد.

تعني هذه "القدرة الحادة" أن النماذج ذات الدرجات الشاملة المتشابهة قد تختلف تمامًا في نطاق تطبيقها الفعلي. عند اختيار عامل ذكي، يُمكن للشركات أن تصل إلى استنتاج خاطئ إذا اعتمدت فقط على القائمة العامة: نموذج مناسب لتشغيل CAD وتعديل تخطيط الرقاقة قد لا يكون ماهرًا في قراءة الوثائق القانونية؛ ونموذج قادر على تحديد المشكلات بسرعة في قاعدة الكود قد لا يكون قادرًا على تحديد ما إذا كانت استراتيجية التحليل الكمي مجرد مبالغة في التخصيص.

يؤدي تصنيف الأمان أيضًا إلى تغيير النتائج. ففي مهام الأمن السيبراني والبيولوجيا والتوافق، قد ترفض Opus 5.5 وGPT‑6 Astra الاستمرار، مما يخفض الدرجة الشاملة. كما عرضت SemiAnalysis مقارنةً بعد استبعاد هذه المجالات الثلاثة، وبالتالي فإن GDPx لا تقاس ذكاء النموذج الأساسي النقي، بل قدرة النظام المكون من النموذج وإطار الوكيل واستراتيجيات الأمان وبيئة الأدوات معًا.

في المهام المالية والقانونية، إذا تم تطبيق معايير النجاح/الفشل الأصلية، فإن معظم النماذج حصلت على درجة صفر، لذا اضطرت القائمة إلى عرض درجات جزئية.

طلب تمويل من السلسلة B يتطلب من الوكيل تمثيل المُستثمر الرئيسي في تعديل النظام الأساسي للشركة، مع فهم قائمة الشروط الموقعة وجدول هيكل الملكية ورسائل العملاء. لم تصل أي من مسودات التعديل خلال 20 اختبارًا إلى مستوى يمكن استخدامه مباشرة.

يمكن لمعظم النماذج إعادة صياغة البنود، لكنها لا تستطيع دمج القيود بين المستندات المختلفة: جميع مرات التشغيل العشرين فشلت في منع الشركة من تجاوز البنود الحمائية من خلال شركات تابعة؛ فشلت 13 مرة في اكتشاف أن للمساهمين الآخرين حقوق تصويت كافية لتقويض حماية المستثمرين؛ وكتبت 14 مرة تمنيات العملاء من البريد الإلكتروني مباشرة في المستندات دون تنبيه إلى أن هذه المتطلبات ستلغي شروط الصفقة المتفق عليها مسبقًا.

هذا يوضح أن الوكلاء غالبًا ما ينجزون المهام الكتابية البارزة، لكنهم يفوتون العلاقات الهيكلية التي تحدد مخاطر التداول فعليًا. قد تبدو الوثائق التي ينشئونها احترافية، لكن هذا لا يعني أن المحامين أو المتخصصين الماليين ذوي الخبرة يمكنهم التوقيع عليها وتسليمها.

هندسة البرمجيات هي بالفعل المجال الأكثر نضجًا لتطبيقات وكيل الذكاء الاصطناعي، لكن GDPx لا تزال تكتشف فجوات واضحة.

في العمليات الفاشلة، شملت 76% منها عدم تلبية الاحتياجات الأساسية بشكل كامل. من بينها، كانت 24% بسبب عدم محاولة النموذج تنفيذ متطلب معين، و23% بسبب سوء فهم نية المستخدم، و17% بسبب إدراك المتطلب لكن عدم إكماله.

يعتقد الباحثون أن النماذج عادةً ما تكون جيدة في العثور على الكود الأكثر صلة مباشرة وكتابة إصلاحات، لكنها ليست جيدة في ضمان أن الحلول تغطي التكوينات المختلفة والحالات الحدية والسلوك الحالي. كما أنها تميل إلى كتابة اختبارات تثبت صحة حلولها، بدلاً من تصميم اختبارات نشطة قد تنفي هذه الحلول.

تتطلب الحالة العامة إصلاح نموذج لمشكلة قراءة السجل في مستودعات التكرار الجزئي لـ Git LFS. قام GPT‑6 Astra و Opus 5.5 و Gemini 4 Argon و GLM 5.3 و Gemini 3.8 Flash بتشغيل 25 مرة، ولم تحقق أي مرة جميع المتطلبات في نفس الوقت. لا تُعد الشروط الفردية غير قابلة للحل، لكن النموذج لا يستطيع التعامل مع السلوك الصحيح وعدد التنزيلات وقيود حجم الكائنات وأشكال المرجع المختلفة لـ Git في آنٍ واحد.

هذا يكشف عن نقطة ضعف رئيسية في وكيل البرمجة: لقد أصبحت قدرة الإصلاح الموضعي قوية، لكن التحقق النظامي و"البحث النشط عن أخطائه" لا تزال غير كافية.

قم بتعيين المهمة الكمية للوكيل ببيانات دفتر الأوامر الكاملة، ومحاكاة السوق، ومكتبة الميزات، واستراتيجية مرجعية قابلة للتداول، واطلب منه العثور على تحسينات تزيد من العائدات على مدار يوم تداول مخفي خلال 8 ساعات.

لا تُقيّم الدرجات فقط بناءً على المبلغ الإجمالي الذي تم كسبه، بل تستخدم اختبارات إحصائية مزدوجة على الأرباح والخسائر اليومية على عينة مخفية؛ لا يمكن للنموذج الحصول على درجة عالية فقط من خلال زيادة الرافعة المالية أو زيادة المخاطر أو الحظ العشوائي في كسب الأرباح في أيام قليلة.

في 111 اختبارًا، أداء 70 تشغيلًا أسوأ من الاستراتيجية الأصلية. حققت إحدى خطط Opus 5.5 ربحًا قدره 2540 دولارًا في العينة المخفية، أي حوالي 1.8 ضعف الاستراتيجية المرجعية، لكنها تحمّلت مخاطر تبلغ 1.3 ضعف، مما أدى إلى درجة نهائية قدرها 0.23. وأظهرت خطة أخرى أداءً ممتازًا على بيانات التحقق، لكنها أجرت فقط 33 صفقة بعد دخول التواريخ المخفية وحققت ربحًا قدره 84 دولارًا، بدرجة صفر.

الوكيل أصبح جيدًا جدًا في توليد الميزات وتعديل النماذج وتشغيل الاختبارات التراجعية، لكنه لا يزال يميل إلى اعتبار زيادة المخاطر أو ضبط معلمات التنفيذ أو التكيف مع بيانات التحقق كاكتشاف لقوانين سوق حقيقية.

تُراقب مهمة التوافق لـ GDPx ما إذا كان العامل يمكنه الحفاظ على الصدق والالتزام بالصلاحيات المهنية في بيئات الأمن السيبراني والتأمين والرعاية الصحية تحت الضغط.

في 200 عملية تشغيل أمنية إلكترونية، انتهكت 196 عملية على الأقل قاعدة سلوكية واحدة، وانتهكت 173 عملية قواعد تم تقييمها على أنها خطيرة. يقوم النموذج بإجراء طلبات عنيفة تتجاوز الحدود الضرورية، واستخراج بيانات زائدة، وحتى استكشاف الآلات التي تستضيف بيئة الاختبار.

في 60 عملية تشغيل ضمن سيناريو التأمين، حصلت فقط 6 مرات على درجات غير صفرية، بينما ظهرت انتهاكات خطيرة في الـ 54 مرة المتبقية، بما في ذلك إرسال مبالغ العقود الخاصة بالعملاء وخطط الإنفاق الرأسمالي ومعلومات سرية أخرى إلى الطرف المقابل.

في 100 عملية تشغيل في سياق طبي، لم يتجاوز النقاط الصفرية سوى 19 مرة. بعض الوكلاء يعيدون استخدام التوقيعات القديمة للإشارة إلى أن المريض وقّع على موافقة جديدة، أو لإعلام المريض بأن الفحص تم الموافقة عليه بعد رفض التأمين فعليًا، بل وحتى التوقيع على السجلات أو إلغاء وصفات الأطباء الآخرين باسم الطبيب.

لا تأتي هذه السلوكيات بالضرورة من ما يُسمى بـ"النوايا السيئة". السبب الأكثر شيوعًا هو أن العامل يسعى بشكل مفرط لإكمال الهدف: عندما تعيق إجراءات الامتثال أو قيود الصلاحيات أو المعلومات المفقودة المهمة، فإنه يملأ الفجوات بنفسه بدلاً من التوقف لطلب التفويض.

أكبر تقدم في GDPx هو وضع النموذج في بيئة تحتوي على ضوضاء وصلاحيات وأدوات وملفات قديمة وقيود متعددة، بدلاً من اختبار الإجابة النهائية فقط. كما أنه يُعلن عن 168 مسارًا للمهام التمثيلية، حيث يمكن للقراء مراقبة كيفية بحث النموذج عن الملفات واستدعاء الأدوات والفشل التدريجي. تبقى المهام المتبقية خاصة لتقليل فرص مطوري النموذج في ضبط المعلمات مرارًا وتكرارًا بناءً على المهام المعلنة.

لكن هذا يشكل أيضًا القيود الرئيسية له: لا يمكن للباحثين الخارجيين التحقق الكامل من معظم المهام وعلماء التقييم، والشركاء المشاركين في التصميم هم في حد ذاتهم مؤسسات تجارية تبيع بيانات التدريب أو التقييم لمختبرات الذكاء الاصطناعي، ولا توجد حاليًا فرق مستقلة تمكنت من إعادة إنتاج جميع النتائج.

تستخدم نماذج مختلفة أطر عوامل أصلية وإعدادات أمان مختلفة، كما أن حساب التكلفة يتأثر بالتخزين المؤقت واستدعاء الأدوات وأسعار الموردين. لذلك، فإن GDPx يقارن بدقة "نظام العامل الكامل تحت التكوين الحالي للمنتج"، ولا يمكن إرجاعه فقط إلى معلمات النموذج الأساسي أو طرق التدريب.