OpenAI melancarkan sistem automasi red team bernama GPT-Red untuk mengesan kelemahan keselamatan sebelum model dilancarkan. Syarikat menyatakan bahawa alat ini telah digunakan dalam proses latihan GPT-5.6, dengan fokus utama pada penguatan serangan prompt injection.
Gunakan AI untuk menguji AI
Ujian tim merah sebelum ini adalah amalan biasa dalam bidang keselamatan, iaitu menyerang sistem secara aktif untuk mengenal pasti kelemahan yang boleh dieksploitasi sebelum ia dimanfaatkan. OpenAI kali ini telah mengautomatiskan proses ini lebih lanjut, membenarkan model menghasilkan sampel serangan sendiri, kemudian menggunakan kes berjaya sebagai maklum balas untuk melatih model pertahanan.
OpenAI menyatakan bahawa GPT-Red terus menghasilkan serangan penyuntikan petunjuk yang lebih kuat melalui latihan permainan diri yang bersaing. Setiap kali serangan berjaya, sampel-sampel ini dimasukkan ke dalam latihan seterusnya, mendorong model pertahanan untuk meningkatkan kemampuan menahan serangan.
Pendedahan data ujian dalaman
Menurut OpenAI, dalam penilaian dalaman, GPT-Red berjaya mengesan masalah yang boleh dimanfaatkan dalam 84% skenario ujian, manakala pasukan merah manual mencapai kadar kejayaan 13% dalam ujian serupa. Syarikat tersebut mengatakan sampel serangan ini kemudian digunakan untuk melatih GPT-5.6, yang berjaya mengurangkan kegagalan model dalam ujian masukan petunjuk sukar.
Teks tersebut juga menyebutkan satu kesan: sebelum lubang keamanan diperbaiki, GPT-Red telah menghasut sekumpulan agen mesin penjual otomatis untuk menurunkan harga, membeli stok diskon, dan membatalkan pesanan pengguna lain. OpenAI menggunakan ini untuk menunjukkan bahawa masalah penyuntikan penerangan tidak hanya mempengaruhi hasil perbualan, tetapi juga boleh memberi kesan kepada agen AI yang mempunyai kemampuan melaksanakan tindakan.
Masih akan digunakan sebagai alat dalaman
OpenAI menyatakan bahawa GPT-Red tidak akan dibuka kepada awam pada masa ini, kerana sistem ini mengandungi kemampuan serangan yang sengaja dilatih. Syarikat menempatkannya sebagai pelengkap kepada pasukan merah buatan, ujian pihak ketiga, dan langkah keselamatan lain, bukan sebagai pengganti.
Ini juga mencerminkan peralihan industri AI kepada "melindungi AI dengan AI". Pada awal bulan ini, Yayasan Ethereum juga menyatakan bahawa mereka telah menggunakan agen AI untuk ujian red team terhadap infrastruktur penting, dan mengesan satu kelemahan dalam perisian klien konsensus Ethereum. Seiring dengan peningkatan kemampuan model dan agen, pengujian keselamatan automatik semakin menjadi elemen penting sebelum sistem AI dilancarkan.