Команда з безпеки 1Password провела оцінку, використовуючи 6 складних уразливостей у програмах, таких як Linux і Chrome, щоб змусити ChatGPT 5.5 і Claude Opus 4.8 створити патчі, після чого оцінили 6080 спроб. Це дослідження було опубліковане 6 серпня. Результати показали, що 26% патчів виправили уразливості, не порушивши існуючих функцій; 20,1% закрили уразливості, але зламали інші аспекти програми. Приблизно половина не виправила початкову уразливість, а деякі навіть додали нові. Дослідники виявили, що щодо уразливостей Spring AI моделі часто обирали обробку кількох спеціальних символів з прикладу атаки. Атакуюча команда перестала працювати, але код, що викликав уразливість, залишився незмінним. При іншому вводі ризик може повернутися. Патч, що потрапив до вас, виглядає корисним і дійсно зупинив одну атаку — це легко може змусити вас знизити обережність. «Очікувана цінність патчів, повністю згенерованих великою мовою без людського контролю, явно негативна» — це також висновок авторів статті. Вони стурбовані саме цим: стара проблема не вирішена, але люди отримують хибне враження, що все вже вирішено. Я вважаю, що при оцінці ефективності AI у програмуванні потрібно враховувати витрати на перевірку, передоробку та наслідки помилок. Якщо рахувати лише швидкість генерації коду, баланс звичайно виглядає добре. Люди, що пишуть код, економляться — чи готові так само економити тих, хто має здатність побачити проблеми в коді?