AI कोडबेस को स्थानांतरित करने में विफल: 20 कार्यों में 94.6% विफलता दर

iconKuCoinFlash
साझा करें
AI summary iconसारांश
AI + क्रिप्टो समाचार: एक AI एजेंट कंपनी Einsia ने 20 वास्तविक दुनिया के कोड माइग्रेशन पर कोडिंग एजेंट्स का परीक्षण करने के लिए SWE Refactor Bench जारी किया। कार्यों में C से Rust, Maven से Gradle और SQLite से WASI शामिल थे। 520 रन में से केवल 28 ने पूर्णतः सफलता प्राप्त की, जिसकी सफलता दर 5.4% थी। तेरह कार्यों में कोई पूरा होना नहीं था। Claude Opus 5 की xhigh कॉन्फ़िगरेशन ने पांच पूर्ण पास के साथ अग्रणी स्थिति प्राप्त की। ब्याज दर समाचार का परिणामों पर कोई प्रभाव नहीं पड़ा।
ME AI समाचार, Beating AI अपडेट: AI एजेंट कंपनी Einsia ने SWE Refactor Bench जारी किया, जो Coding Agent की क्षमता का परीक्षण करता है कि क्या वह पूरे कोडबेस को स्वयं स्थानांतरित कर सकता है। 20 कार्य SQLite, zlib, libsodium, GraphHopper जैसे वास्तविक प्रोजेक्ट्स से लिए गए हैं, जिनमें C से Rust में बदलाव, Maven से Gradle में बदलाव, और SQLite का WASI पर स्थानांतरण शामिल है। प्रत्येक कार्य के लिए Agent को 6 से 30 घंटे दिए गए हैं। परीक्षण का पहला चरण यह जांचता है कि पुरानी तकनीकी स्टैक वास्तव में हटा दी गई है या नहीं, ताकि Agent पुराने कोड को छुपाकर आगे न बढ़ सके; दूसरा चरण 1.3 लाख से अधिक स्थिर जांचों को चलाता है; और अंत में, 6 स्वतंत्र Coding Agent को भेजा जाता है, जो प्रत्येक 1 घंटे खर्च करके छिपे हुए बग्स की तलाश करते हैं। 8 अग्रणी मॉडल और 26 कॉन्फ़िगरेशन के साथ कुल 520 परीक्षण किए गए। 340 परीक्षण में स्थानांतरण सफलतापूर्वक पूरा हुआ, 88 परीक्षण में पूर्व-तैयार परीक्षण सभी पास हुए, लेकिन उनमें से 60 परीक्षणों में अंतिम चरण में छिपे हुए बग्स पाए गए। अंतिम रूप से केवल 28 परीक्षण पूरी तरह सफल रहे, जिसकी सफलता की दर 5.4% है; 20 में से 13 कार्य किसी ने भी पूरा नहीं किया। Claude Opus 5 का xhigh कॉन्फ़िगरेशन सबसे अच्छा रहा, जिसने 20 में से 5 कार्य पूरा किया। वर्तमान Coding Agent प्रमाणित स्तर पर कोड में परिवर्तन कर सकते हैं, लेकिन 'पूरे सिस्टम को पूरी तरह से बदलने के बाद भी कोई त्रुटि न हो' — इससे अभी बहुत दूर हैं। (स्रोत: BlockBeats)
स्रोत:मूल दिखाएं
डिस्क्लेमर: इस पेज पर दी गई जानकारी थर्ड पार्टीज़ से प्राप्त की गई हो सकती है और यह जरूरी नहीं कि KuCoin के विचारों या राय को दर्शाती हो। यह सामग्री केवल सामान्य सूचनात्मक उद्देश्यों के लिए प्रदान की गई है, किसी भी प्रकार के प्रस्तुतीकरण या वारंटी के बिना, न ही इसे वित्तीय या निवेश सलाह के रूप में माना जाएगा। KuCoin किसी भी त्रुटि या चूक के लिए या इस जानकारी के इस्तेमाल से होने वाले किसी भी नतीजे के लिए उत्तरदायी नहीं होगा। डिजिटल संपत्तियों में निवेश जोखिम भरा हो सकता है। कृपया अपनी वित्तीय परिस्थितियों के आधार पर किसी प्रोडक्ट के जोखिमों और अपनी जोखिम सहनशीलता का सावधानीपूर्वक मूल्यांकन करें। अधिक जानकारी के लिए, कृपया हमारे उपयोग के नियम और जोखिम प्रकटीकरण देखें।