Команда безопасности 1Password провела оценку, в которой использовала шесть сложных уязвимостей в таких программных продуктах, как Linux и Chrome, чтобы заставить ChatGPT 5.5 и Claude Opus 4.8 сгенерировать патчи, в итоге оценив 6080 попыток. Это исследование было опубликовано 6 августа. Результаты показали, что 26% патчей устранили уязвимости без нарушения существующей функциональности; 20,1% закрыли уязвимость, но нарушили другое поведение программы. Примерно половина не исправила исходную уязвимость, а некоторые даже добавили новые уязвимости. Исследователи обнаружили, что при столкновении с уязвимостью Spring AI модели часто выбирают обработку нескольких специальных символов из примера атаки. Сама атакующая команда переставала работать, но код, вызывающий уязвимость, оставался нетронутым. При другом вводе риск может вернуться. Патч, предоставленный вам, выглядит полезным и действительно блокировал одну атаку — это легко заставляет снизить бдительность. «Ожидаемая ценность патчей, полностью сгенерированных крупными моделями без человеческого контроля, явно отрицательна» — также является выводом авторов статьи. Они опасаются именно такой ситуации: старая проблема не решена, но создается ложное ощущение, что всё уже исправлено. Я считаю, что при оценке повышения эффективности программирования с помощью ИИ необходимо учитывать затраты на проверку, переделку и последствия сбоев. Если считать только скорость генерации кода, бухгалтерия выглядит красиво. Люди, пишущие код, экономятся — а кто готов сэкономить на тех, кто способен заметить проблемы в коде?