AIがコードベースの移行に失敗：20のタスクで94.6％の失敗率

KuCoinFlash

公開時期： 2026/08/26 08:55:57

概要

AI＋暗号通貨ニュース：AIエージェント企業のEinsiaが、20の実世界のコード移行をテストするためのSWE Refactor Benchをリリースしました。タスクにはCからRustへの移行、MavenからGradleへの移行、SQLiteからWASIへの移行が含まれました。520回の実行のうち、完全にパスしたのは28回だけで、成功率は5.4％でした。13のタスクでは完全な完了がゼロでした。Claude Opus 5のxhigh設定が5回の完全パスでトップでした。金利ニュースは結果に影響を与えませんでした。

ME AI ニュース、動察 Beating AI ニュース、AIエージェント企業EinsiaがSWE Refactor Benchをリリース。これは、コーディングエージェントがコードベース全体を自力で移行できるかを測定するためのもの。SQLite、zlib、libsodium、GraphHopperなどの実際のプロジェクトから抽出した20のタスクを含み、CからRustへの変更、MavenからGradleへの移行、SQLiteのWASIへの移植などが含まれる。各タスクには6～30時間の時間が与えられる。評価の第1段階では、旧技術スタックが本当に置き換えられたかを確認し、エージェントが旧コードを残してごまかすのを防ぐ。第2段階では13万以上の固定チェックを実行。最後に、6つの独立したコーディングエージェントを派遣し、それぞれ1時間かけて隠れたバグを特定する。 8つの最先端モデルと26種類の設定で合計520回の実行が行われた。340回は移行を実際に完了し、88回は事前に用意されたテストをすべてパスしたが、そのうち60回は最終ラウンドで隠れたバグが発見された。最終的に完全に合格したのは28回のみで、合格率は5.4%。20のタスクのうち13個は誰も成功しなかった。Claude Opus 5のxhigh設定が最も優れ、20タスク中5つを完全にパスした。現在のコーディングエージェントは大規模なコード変更は可能だが、「システム全体を変更しても完全にエラーなしで動作させる」にはまだ遠く及ばない。（出典：BlockBeats）

出典:原文を表示

免責事項: 本ページの情報はサードパーティからのものであり、必ずしもKuCoinの見解や意見を反映しているわけではありません。この内容は一般的な情報提供のみを目的として提供されており、いかなる種類の表明や保証もなく、金融または投資助言として解釈されるものでもありません。KuCoinは誤記や脱落、またはこの情報の使用に起因するいかなる結果に対しても責任を負いません。デジタル資産への投資にはリスクが伴います。商品のリスクとリスク許容度をご自身の財務状況に基づいて慎重に評価してください。詳しくは利用規約およびリスク開示を参照してください。