AI Gagal Migrasikan Pangkalan Kod: Kadar Kegagalan 94.6% dalam 20 Tugasan

iconKuCoinFlash
Kongsi
AI summary iconRingkasan
Berita AI + kripto: Einsia, sebuah syarikat agen AI, telah mengeluarkan SWE Refactor Bench untuk menguji agen pengaturcaraan terhadap 20 migrasi kod dunia nyata. Tugasan termasuk C ke Rust, Maven ke Gradle, dan SQLite ke WASI. Hanya 28 daripada 520 larian yang lulus sepenuhnya, dengan kadar kejayaan 5.4%. Thirteen tugasan mempunyai tiada penyelesaian. Konfigurasi xhigh Claude Opus 5 memimpin dengan lima lulus penuh. Berita kadar faedah tidak memberi kesan terhadap keputusan.
ME AI Berita, Beating AI Berita Cepat, syarikat AI Agent Einsia melancarkan SWE Refactor Bench, yang khusus menguji sama ada AI Agent mampu memindahkan seluruh pangkalan kod sendiri. 20 tugas berasal daripada projek sebenar seperti SQLite, zlib, libsodium, dan GraphHopper, termasuk pindahan C ke Rust, Maven ke Gradle, dan pemindahan SQLite ke WASI. Setiap tugas memberikan 6 hingga 30 jam kepada Agent. Fasa pertama penilaian memeriksa sama ada teknologi lama benar-benar digantikan, untuk mengelakkan Agent meninggalkan kod lama; fasa kedua menjalankan lebih 130,000 pemeriksaan tetap; akhirnya, 6 AI Agent pengkodean berasingan dikerahkan, masing-masing menghabiskan satu jam untuk mencari bug tersembunyi. 8 model terkini dan 26 konfigurasi menjalankan 520 ujian. 340 ujian berjaya menyelesaikan pemindahan, 88 ujian menjalankan semua ujian pra-sedia dengan berjaya, tetapi 60 daripadanya ditemui mempunyai bug tersembunyi dalam putaran terakhir. Akhirnya, hanya 28 ujian lulus sepenuhnya, dengan kadar lulus 5.4%; 13 daripada 20 tugas tidak ada yang dapat diselesaikan. Konfigurasi xhigh Claude Opus 5 paling cemerlang, berjaya menyelesaikan 5 daripada 20 tugas sepenuhnya. AI Pengkodean semasa sudah mampu mengubah kod dalam skala besar, tetapi untuk mencapai "seluruh sistem diubah tanpa sebarang ralat", masih jauh lagi. (Sumber: BlockBeats)
Sumber:Tunjukkan artikel asal
Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.