AI не вдалося мігрувати кодові бази: 94,6% невдач у 20 завданнях

iconKuCoinFlash
Поділитися
AI summary iconКороткий зміст
Новини штучного інтелекту та криптовалют: компанія Einsia, що розробляє AI-агенти, випустила SWE Refactor Bench для тестування кодових агентів на 20 реальних міграціях коду. Завдання включали перехід з C на Rust, Maven на Gradle та SQLite на WASI. Лише 28 із 520 спроб повністю пройшли, що становить 5,4% успішності. Тринадцять завдань не були виконані зовсім. Конфігурація xhigh Claude Opus 5 показала найкращий результат — п’ять повних успішних спроб. Новини про відсоткові ставки не вплинули на результати.
ME AI Новини, Beating AI — швидкі новини: компанія AI Agent Einsia випустила SWE Refactor Bench, спеціалізований інструмент для перевірки здатності Coding Agent самостійно мігрувати цілі кодові бази. 20 завдань взяті з реальних проектів, таких як SQLite, zlib, libsodium, GraphHopper, і включають перехід з C на Rust, з Maven на Gradle, міграцію SQLite на WASI. Кожному Agent надається 6–30 годин на виконання. Перший етап оцінки перевіряє, чи дійсно стара технологічна стек було замінено, щоб запобігти тому, щоб Agent просто залишив старий код. Другий етап запускає понад 130 000 фіксованих перевірок. Нарешті, шість незалежних Coding Agent отримують по одній годині на пошук прихованих багів. Було запущено 520 тестів з 8 передових моделей і 26 конфігурацій. 340 разів міграцію було успішно завершено, 88 разів пройшли всі попередньо підготовлені тести, але серед них 60 разів були знайдені приховані баги на останньому етапі. У підсумку лише 28 разів завдання було виконано повністю без помилок — показник успішності 5,4%; з 20 завдань 13 не вдалося виконати жодному Agent. Найкращий результат показав Claude Opus 5 у конфігурації xhigh — повністю виконав 5 із 20 завдань. Сьогоднішні Coding Agent вже можуть масштабно змінювати код, але досягти «повної безпомилковості після повної міграції системи» — ще дуже далеко. (Джерело: BlockBeats)
Джерело:Показати оригінал
Відмова від відповідальності: Інформація на цій сторінці може бути отримана від третіх осіб і не обов'язково відображає погляди або думки KuCoin. Цей контент надається лише для загального інформування, без будь-яких запевнень або гарантій, а також не може розглядатися як фінансова або інвестиційна порада. KuCoin не несе відповідальності за будь-які помилки або упущення, а також за будь-які результати, отримані в результаті використання цієї інформації. Інвестиції в цифрові активи можуть бути ризикованими. Будь ласка, ретельно оцініть ризики продукту та свою толерантність до ризику, виходячи з ваших власних фінансових обставин. Для отримання додаткової інформації, будь ласка, зверніться до наших Умов використання та Розкриття інформації про ризики.