Ginawa ng security team ng 1Password ang isang pagtataya kung saan ginamit ang anim na malalaking butas sa software tulad ng Linux at Chrome, at pinayagang lumikha ng mga patch ang ChatGPT 5.5 at Claude Opus 4.8, na nagresulta sa 6,080 na pagsubok. Ipinakilala ang pag-aaral noong Agosto 6. Ang resulta: 26% ng mga patch ay nakatulong sa pag-aayos ng mga butas nang hindi nasira ang orihinal na paggana; 20.1% ay nakapigil sa mga butas ngunit nasira ang iba pang aspeto ng programa. Halos kalahati ay hindi nakapag-aayos ng orihinal na butas, at ilan ay nagdagdag pa ng bagong mga butas. Nakita ng mga mananaliksik na sa pagharap sa mga butas ng Spring AI, madalas na pumili ang mga modelo ng pagtrato sa ilang espesyal na karakter sa mga halimbawa ng pag-atake. Ang utos ng pag-atake ay nabigo, ngunit ang code na nagdudulot ng butas ay hindi binago. Kung gagamitin ang ibang input, maaaring bumalik ang panganib. Ang patch na ibinigay sa iyo ay maaaring mukhang epektibo at talagang nakapigil sa isang pag-atake, kaya madaling mawala ang pag-iingat. Ayon sa mga may-akda ng papel, “ang inaasahang halaga ng mga patch na ganap na nilikha ng malalaking modelo nang walang tao na pagsusuri ay malinaw na negatibo.” Ang kanilang pag-aalala ay ang sitwasyong ito: hindi natutugunan ang lumang problema, at nagiging sanhi ito ng maling paniniwala na narepaso na ang lahat. Sa tingin ko, kapag sinusukat ang pagpapabilis ng AI sa pagprograma, kailangan isama ang gastos sa pagsusuri, pag-uulit, at mga insidente. Kung tanging isusukat ang bilis ng paglikha ng code, maganda ang accounting. Naiiwasan na ba ng mga programmer ang pagtingin kung may problema ba sa code?