AI کو کوڈ بیسز منتقل کرنے میں ناکامی: 20 کاموں میں 94.6% ناکامی کی شرح

iconKuCoinFlash
بانٹیں
AI summary iconخلاصہ
AI + کرپٹو خبریں: ای آئی ایجینٹ کمپنی Einsia نے SWE Refactor Bench جاری کیا، جسے 20 حقیقی دنیا کے کوڈ مائیگریشنز پر ٹیسٹ کرنے کے لیے استعمال کیا گیا۔ کاموں میں C سے Rust، Maven سے Gradle، اور SQLite سے WASI شامل تھے۔ صرف 520 میں سے 28 رن مکمل طور پر کامیاب رہے، جس کی کامیابی کی شرح 5.4% تھی۔ تیرہ کاموں میں کوئی مکمل کامیابی نہیں ہوئی۔ Claude Opus 5 کا xhigh کنفگریشن پانچ مکمل پاسز کے ساتھ سب سے آگے رہا۔ سود کی شرح کی خبروں کا نتائج پر کوئی اثر نہیں پڑا۔
ME AI خبر، Beating AI کی تازہ ترین اطلاعات، AI ایجینٹ کمپنی Einsia نے SWE Refactor Bench جاری کیا ہے، جو Coding ایجینٹ کی صلاحیت کا جائزہ لینے کے لیے ڈیزائن کیا گیا ہے کہ وہ کیسے ایک مکمل کوڈ بیس کو منتقل کر سکتا ہے۔ 20 کام SQLite، zlib، libsodium، GraphHopper جیسے حقیقی منصوبوں سے لیے گئے ہیں، جن میں C سے Rust میں تبدیلی، Maven سے Gradle میں تبدیلی، اور SQLite کا WASI پر منتقل کرنا شامل ہے۔ ہر کام کو ایجینٹ کو 6 سے 30 گھنٹے دیے گئے۔ پہلا جائزہ یہ چیک کرتا ہے کہ پرانا ٹیکنالوجی اسٹیک حقیقت میں تبدیل ہو گیا ہے یا نہیں، تاکہ ایجینٹ پرانے کوڈ کو چھپا کر آسانی سے گزر نہ جائے؛ دوسرا جائزہ 130,000 سے زائد فکسڈ چیکس چلایا جاتا ہے؛ اور آخر میں 6 مستقل Coding ایجینٹس کو بھیجا جاتا ہے، جنہوں نے ہر ایک ایک گھنٹہ صرف کرکے پوشیدہ بگز تلاش کیں۔ 8 آگے کے ماڈلز اور 26 ترتیبات نے مل کر 520 بار ٹیسٹ کیے۔ 340 بار مکمل منتقلی ممکن ہوئی، 88 بار پہلے سے تیار کردہ ٹیسٹس سب سبز ہو گئے، لیکن ان میں سے 60 بار آخری دور میں پوشیدہ بگز دریافت ہوئے۔ آخرکار صرف 28 بار مکمل کامیابی حاصل ہوئی، جس کا پاس ریٹ 5.4% تھا؛ 20 میں سے 13 کام کسی نے بھی مکمل نہیں کیا۔ Claude Opus 5 کا xhigh ترتیب سب سے بہتر رہا، جس نے 20 میں سے 5 مکمل کامیابی حاصل کی۔ ابھی موجودہ Coding ایجینٹس بڑے پیمانے پر کوڈ تبدیل کر سکتے ہیں، لیکن "مکمل نظام کو تبدیل کرنا اور بالکل کوئی غلطی نہ آنے دینا" تک پہنچنے میں اب بھي بہت دور ہیں۔ (ذرائع: BlockBeats)
ذریعہ:اصل دکھائیں۔
اعلان دستبرداری: اس صفحہ پر معلومات تیسرے فریق سے حاصل کی گئی ہوں گی اور یہ ضروری نہیں کہ KuCoin کے خیالات یا خیالات کی عکاسی کرے۔ یہ مواد کسی بھی قسم کی نمائندگی یا وارنٹی کے بغیر صرف عام معلوماتی مقاصد کے لیے فراہم کیا گیا ہے، اور نہ ہی اسے مالی یا سرمایہ کاری کے مشورے کے طور پر سمجھا جائے گا۔ KuCoin کسی غلطی یا کوتاہی کے لیے، یا اس معلومات کے استعمال کے نتیجے میں کسی بھی نتائج کے لیے ذمہ دار نہیں ہوگا۔ ڈیجیٹل اثاثوں میں سرمایہ کاری خطرناک ہو سکتی ہے۔ براہ کرم اپنے مالی حالات کی بنیاد پر کسی پروڈکٹ کے خطرات اور اپنے خطرے کی برداشت کا بغور جائزہ لیں۔ مزید معلومات کے لیے، براہ کرم ہماری استعمال کی شرائط اور خطرے کا انکشاف دیکھیں۔