AI 無法遷移程式碼庫:20 項任務中失敗率達 94.6%

iconKuCoinFlash
分享
AI summary icon精華摘要
AI 與加密貨幣新聞:AI 代理公司 Einsia 發布了 SWE Refactor Bench,用於測試 20 個真實世界的程式碼遷移任務。任務包括 C 轉 Rust、Maven 轉 Gradle,以及 SQLite 轉 WASI。520 次運行中僅有 28 次完全通過,成功率为 5.4%。十三項任務完全無人完成。Claude Opus 5 的 xhigh 配置以五次完全通過領先。利率新聞對結果沒有影響。
ME AI 消息,動察 Beating AI 快訊,AI Agent 公司 Einsia 發布 SWE Refactor Bench,專門測試 Coding Agent 是否能自行遷移整個程式碼庫。20 個任務來自 SQLite、zlib、libsodium、GraphHopper 等真實專案,包括 C 改 Rust、Maven 改 Gradle、SQLite 移植到 WASI。每項任務給予 Agent 6~30 小時。 評測第一關檢查舊技術棧是否真的被替換,防止 Agent 留下舊程式碼蒙混過關;第二關運行超過 13 萬項固定檢查;最後再派遣 6 個獨立 Coding Agent,各自花費 1 小時專門尋找隱藏 bug。 8 個前沿模型、26 種配置共執行了 520 次。340 次確實完成遷移,88 次將預先準備的測試全部跑通,但其中 60 次在最後一輪被發現隱藏 bug。最終僅有 28 次完全通過,通過率為 5.4%;20 個任務中有 13 個無人完成。Claude Opus 5 的 xhigh 配置表現最佳,20 個任務中完整通過 5 個。 目前的 Coding Agent 已能大規模修改程式碼,但要達到「整個系統修改完後仍完全無誤」的水平,仍有很遠的距離。(來源:BlockBeats)
免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款和風險披露 。