AI Gagal Migrasi Basis Kode: Tingkat Kegagalan 94,6% dalam 20 Tugas

iconKuCoinFlash
Bagikan
AI summary iconRingkasan
Berita AI + kripto: Einsia, perusahaan agen AI, merilis SWE Refactor Bench untuk menguji agen pemrograman pada 20 migrasi kode dunia nyata. Tugas-tugasnya mencakup C ke Rust, Maven ke Gradle, dan SQLite ke WASI. Hanya 28 dari 520 percobaan yang berhasil sepenuhnya, dengan tingkat keberhasilan 5,4%. Tiga belas tugas tidak memiliki penyelesaian sama sekali. Konfigurasi xhigh Claude Opus 5 memimpin dengan lima penyelesaian penuh. Berita suku bunga tidak berdampak pada hasil.
ME AI Berita, Beating AI Berita Cepat, perusahaan AI Agent Einsia merilis SWE Refactor Bench, yang dirancang khusus untuk menguji apakah Coding Agent dapat memindahkan seluruh basis kode sendiri. 20 tugas berasal dari proyek nyata seperti SQLite, zlib, libsodium, dan GraphHopper, termasuk migrasi C ke Rust, Maven ke Gradle, serta porting SQLite ke WASI. Setiap tugas memberi Agent waktu 6～30 jam. Fase evaluasi pertama memeriksa apakah teknologi lama benar-benar diganti, mencegah Agent menghindari dengan tetap mempertahankan kode lama; fase kedua menjalankan lebih dari 130.000 pemeriksaan tetap; terakhir, 6 Coding Agent independen ditugaskan masing-masing selama 1 jam untuk secara khusus mencari bug tersembunyi. Delapan model mutakhir dan 26 konfigurasi menjalankan total 520 uji coba. 340 kali berhasil menyelesaikan migrasi, 88 kali menjalankan semua tes pra-siap hingga lulus, namun di antaranya 60 kali ditemukan bug tersembunyi pada putaran terakhir. Akhirnya, hanya 28 kali yang lulus sepenuhnya, dengan tingkat kelulusan 5,4%; dari 20 tugas, 13 tidak berhasil diselesaikan oleh siapa pun. Konfigurasi xhigh Claude Opus 5 paling unggul, berhasil menyelesaikan seluruh 20 tugas sebanyak 5 kali. Coding Agent saat ini sudah mampu mengubah kode dalam skala besar, tetapi untuk mencapai "seluruh sistem diubah tanpa kesalahan sama sekali", masih jauh dari sempurna. (Sumber: BlockBeats)
Sumber:Tampilkan versi asli
Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.