ИИ не справляется с миграцией кодовых баз: 94,6% неудач при выполнении 20 задач

iconKuCoinFlash
Поделиться
AI summary iconСводка
Новости ИИ и криптовалют: компания Einsia, разрабатывающая ИИ-агентов, выпустила SWE Refactor Bench для тестирования кодирующих агентов на 20 реальных миграциях кода. Задачи включали переход с C на Rust, Maven на Gradle и SQLite на WASI. Полностью успешно прошли только 28 из 520 запусков, что составляет 5,4% успеха. Тринадцать задач не были выполнены ни разу. Наибольшее количество полных прохождений (пять) показала конфигурация xhigh Claude Opus 5. Новости об процентных ставках не оказали влияния на результаты.
ME AI Новости, Beating AI — компания Einsia, специализирующаяся на AI-агентах, выпустила SWE Refactor Bench, специально разработанный для тестирования способности кодирующих агентов самостоятельно мигрировать целые кодовые базы. 20 задач взяты из реальных проектов, таких как SQLite, zlib, libsodium и GraphHopper, включая перевод с C на Rust, с Maven на Gradle и портирование SQLite на WASI. Каждой задаче выделяется от 6 до 30 часов. Первый этап оценки проверяет, действительно ли устаревший стек технологий был заменён — чтобы исключить возможность, что агент просто оставит старый код. Второй этап запускает более 130 000 фиксированных проверок. Затем шесть независимых кодирующих агентов по одному часу каждый тратят на поиск скрытых багов. Было проведено 520 тестов с участием восьми передовых моделей и 26 конфигураций. 340 раз миграция была успешно завершена, 88 раз все предварительно подготовленные тесты прошли успешно, но из них 60 раз были обнаружены скрытые баги на финальном этапе. В итоге только 28 тестов прошли полностью, что составляет 5,4% проходимости; 13 из 20 задач остались невыполненными. Лучший результат показала конфигурация xhigh модели Claude Opus 5 — она полностью выполнила 5 задач из 20. Современные кодирующие агенты уже способны масштабно изменять код, но добиться «полной корректности работы всей системы после полной миграции» — ещё очень далеко. (Источник: BlockBeats)
Источник:Показать оригинал
Отказ от ответственности: Информация на этой странице может быть получена от третьих лиц и не обязательно отражает взгляды или мнения KuCoin. Данный контент предоставляется исключительно в общих информационных целях, без каких-либо заверений или гарантий, а также не может быть истолкован как финансовый или инвестиционный совет. KuCoin не несет ответственности за ошибки или упущения, а также за любые результаты, полученные в результате использования этой информации. Инвестиции в цифровые активы могут быть рискованными. Пожалуйста, тщательно оценивайте риски, связанные с продуктом, и свою устойчивость к риску, исходя из собственных финансовых обстоятельств. Для получения более подробной информации, пожалуйста, ознакомьтесь с нашими Условиями использования и Уведомлением о риске.