AI, Kod Tabanlarını Taşıyamıyor: 20 Görevde %94,6 Başarısızlık Oranı

iconKuCoinFlash
Paylaş
AI summary iconÖzet
AI + kripto haberleri: Bir AI Ajenti şirketi olan Einsia, kod ajentlerini 20 gerçek dünya kod geçişinde test etmek için SWE Refactor Bench’i yayınladı. Görevler arasında C'den Rust'a, Maven'den Gradle'e ve SQLite'tan WASI'ye geçişler yer aldı. 520 çalışmadan sadece 28'i tamamen başarılı oldu ve başarı oranı %5,4 oldu. On üç görevde tamamlama yapılmadı. Claude Opus 5’in xhigh yapılandırması, beş tam geçişle önde geldi. Faiz oranı haberleri sonuçları etkilemedi.
ME AI Haberi, Dondurucu AI Hızlı Haberi: AI Agent şirketi Einsia, SWE Refactor Bench’i duyurdu; bu araç, bir Coding Agent’ın tam bir kod tabanını kendi başına taşıyıp taşıyamayacağını ölçer. 20 görev, SQLite, zlib, libsodium, GraphHopper gibi gerçek projelerden alınmıştır ve C’den Rust’a geçiş, Maven’dan Gradle’e geçiş, SQLite’nin WASI’ye taşınması gibi işleri içerir. Her bir görev için Agent’a 6 ila 30 saat verilir. Değerlendirme ilk aşamasında, eski teknoloji yığınının gerçekten değiştirilip değiştirilmediği kontrol edilir; Agent’ın eski kodları bırakarak geçişi zorlamasını engellemek için. İkinci aşamada, 130.000’den fazla sabit kontrol çalıştırılır. Son aşamada ise 6 bağımsız Coding Agent, her biri 1 saat harcayarak gizli hataları bulmak için özel olarak görevlendirilir. 8 öncü model ve 26 farklı yapılandırma toplamda 520 kez test edildi. 340 kez taşıma tamamlandı, 88 kez önceden hazırlanmış tüm testler geçildi; ancak bu 88 testin 60’ında son turda gizli hatalar bulundu. Sonuçta sadece 28 kez tam olarak geçiş başarıyla tamamlandı; başarı oranı %5,4; 20 görevin 13’ünde kimse başarılı olamadı. Claude Opus 5’in xhigh yapılandırması en iyisiydi ve 20 görevden 5’ini tamamen geçti. Şu anda Coding Agent’lar büyük ölçekli kod değişimlerini yapabiliyor; ancak “tüm sistemi değiştirdikten sonra tamamen hata yapmadan çalıştırma” seviyesine ulaşmak için hâlâ çok uzaklar. (Kaynak: BlockBeats)
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir. Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.