1Passwordのセキュリティチームは、LinuxやChromeなどのソフトウェアに存在する6つの複雑な脆弱性を用いて、ChatGPT 5.5とClaude Opus 4.8にパッチを生成させ、合計6,080回の試行を評価した。この研究は8月6日に発表された。 結果として、26%のパッチは脆弱性を修正しつつ、既存の機能を損なわなかった。20.1%は脆弱性を塞いだが、プログラムの他の動作を破壊していた。約半数は元の脆弱性さえ修正できず、その一部は新たな脆弱性を追加していた。 研究者たちは、Spring AIの脆弱性に対して、モデルが攻撃サンプル内の特定の文字列に対処しようとする傾向があることを発見した。その攻撃コマンドが無効化されたため、脆弱性の原因となったコードは変更されていなかった。入力を変更すれば、リスクは再び現れる可能性がある。手元に届いたパッチは有効に見え、一度は攻撃を防いだように見えるため、注意を怠りがちになる。 論文の著者たちは、「人間によるレビューなしで大規模モデルが完全に生成したパッチの期待値は明確に負である」と結論づけている。彼らが懸念するのは、古い問題が解決されないまま、既に問題が解決されたと誤解される状況である。 私は、AIによるプログラミングの効率化を評価する際には、レビュー・再作業・事故発生のコストも含めて計算すべきだと考えている。コード生成の速さだけを計れば、帳簿は確かにきれいに見える。しかし、コードを書く人の手間が減ったからといって、コードの問題を見抜く人の手間も省いてよいのだろうか？