AI không thành công trong việc di chuyển cơ sở mã: Tỷ lệ thất bại 94,6% trong 20 nhiệm vụ

KuCoinFlash

Thời gian phát hành: 2026/08/26 08:55:57

Chia sẻ

Tóm tắt

Tin tức AI + tiền mã hóa: Einsia, một công ty AI Agent, đã phát hành SWE Refactor Bench để kiểm tra các tác nhân lập trình trên 20 lần di chuyển mã thực tế. Các nhiệm vụ bao gồm chuyển từ C sang Rust, Maven sang Gradle và SQLite sang WASI. Chỉ có 28 trong số 520 lần chạy hoàn toàn thành công, với tỷ lệ thành công 5,4%. Thirteen nhiệm vụ không có bất kỳ lần hoàn thành nào. Cấu hình xhigh của Claude Opus 5 dẫn đầu với năm lần hoàn thành toàn bộ. Tin tức về lãi suất không ảnh hưởng đến kết quả.

ME AI Tin tức, Beating AI Nhanh tin, Công ty AI Agent Einsia vừa công bố SWE Refactor Bench, công cụ chuyên dùng để đánh giá khả năng của Coding Agent trong việc tự di chuyển toàn bộ kho mã nguồn. 20 nhiệm vụ được lấy từ các dự án thực tế như SQLite, zlib, libsodium, GraphHopper, bao gồm chuyển C sang Rust, chuyển Maven sang Gradle, và di chuyển SQLite sang WASI. Mỗi nhiệm vụ dành cho Agent từ 6 đến 30 giờ. Vòng đánh giá đầu tiên kiểm tra xem liệu nền tảng cũ có thực sự bị thay thế hay không, nhằm ngăn Agent lừa bằng cách giữ lại mã cũ; vòng thứ hai chạy hơn 130.000 bài kiểm tra cố định; cuối cùng, 6 Coding Agent độc lập sẽ được huy động, mỗi người dành 1 giờ để tìm lỗi ẩn. Tổng cộng đã chạy 520 lần với 8 mô hình tiên tiến và 26 cấu hình. 340 lần hoàn thành thành công việc di chuyển, 88 lần chạy hết tất cả bài kiểm tra sẵn có và đạt màu xanh, nhưng trong số đó có 60 lần bị phát hiện lỗi ẩn trong vòng cuối cùng. Cuối cùng chỉ có 28 lần vượt qua hoàn toàn, tỷ lệ đạt 5,4%; trong 20 nhiệm vụ, có 13 nhiệm vụ không ai thực hiện được. Cấu hình xhigh của Claude Opus 5 đạt kết quả tốt nhất, hoàn thành trọn vẹn 5 trong số 20 nhiệm vụ. Hiện tại, Coding Agent đã có thể thay đổi quy mô lớn mã nguồn, nhưng để đạt được mức độ “toàn bộ hệ thống được sửa đổi mà hoàn toàn không có lỗi” thì vẫn còn một khoảng cách rất lớn. (Nguồn: BlockBeats)

Nguồn:Hiển thị bản gốc

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụng và Tiết lộ rủi ro của chúng tôi.