فشل الذكاء الاصطناعي في نقل قواعد الكود: معدل فشل 94.6% في 20 مهمة

iconKuCoinFlash
مشاركة
AI summary iconملخص
أخبار الذكاء الاصطناعي والعملات المشفرة: أطلقت شركة Einsia، المتخصصة في وكلاء الذكاء الاصطناعي، منصة SWE Refactor Bench لاختبار وكلاء البرمجة على 20 هجرة كود واقعية. شملت المهام التحويل من C إلى Rust، ومن Maven إلى Gradle، ومن SQLite إلى WASI. نجح فقط 28 من أصل 520 تشغيلًا بالكامل، بمعدل نجاح قدره 5.4%. كان هناك 13 مهمة لم تُكمل بأي شكل. تصدرت إصدارة xhigh من Claude Opus 5 النتائج بخمسة تجاوزات كاملة. لم تؤثر أخبار أسعار الفائدة على النتائج.
ME AI رسالة، أخبار Beating AI: أصدرت شركة AI Agent Einsia SWE Refactor Bench، وهو اختبار مخصص لقياس قدرة عوامل البرمجة على نقل مكتبات الكود بالكامل ذاتيًا. تتضمن 20 مهمة مستمدة من مشاريع حقيقية مثل SQLite وzlib وlibsodium وGraphHopper، وتشمل تحويل C إلى Rust، وتحويل Maven إلى Gradle، ونقل SQLite إلى WASI. يُمنح كل عامل من 6 إلى 30 ساعة لكل مهمة. الاختبار الأول يتحقق من أن بنية التقنية القديمة تم استبدالها فعليًا، لمنع العوامل من الاحتفاظ بكواد قديمة للمرور؛ الاختبار الثاني ينفذ أكثر من 130 ألف فحص ثابت؛ وأخيرًا، يتم تكليف 6 عوامل برمجة مستقلة، كل منها يقضي ساعة واحدة للبحث عن أخطاء خفية. تم تشغيل 8 نماذج متقدمة بـ 26 تكوينًا، ما مجموعه 520 مرة. تم إكمال 340 عملية نقل فعليًا، ونجحت 88 عملية في تشغيل جميع الاختبارات المعدة مسبقًا بنجاح، لكن 60 منها اكتشفت أخطاء خفية في الجولة الأخيرة. في النهاية، نجح فقط 28 مرة بشكل كامل، بنسبة نجاح 5.4٪؛ وفشل جميع النماذج في إنجاز 13 مهمة من أصل 20. كان أفضل تكوين هو Claude Opus 5 xhigh، الذي أكمل 5 مهام كاملة من أصل 20. إن عوامل البرمجة الحالية قادرة على تغيير كميات كبيرة من الكود، لكنها لا تزال بعيدة جدًا عن تحقيق "تغيير كامل للنظام دون أي أخطاء على الإطلاق". (المصدر: BlockBeats)
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات. يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.