OpenAI meluncurkan sistem otomatisasi red team bernama GPT-Red untuk mengidentifikasi kerentanan keamanan sebelum model diluncurkan. Perusahaan menyatakan bahwa alat ini telah digunakan dalam proses pelatihan GPT-5.6, dengan fokus utama pada penguatan terhadap serangan prompt injection.
Gunakan AI untuk mengukur AI
Red team testing awalnya adalah praktik umum di bidang keamanan, yaitu menyerang sistem secara aktif untuk mengidentifikasi titik lemah yang dapat dieksploitasi sebelumnya. OpenAI kali ini memperluas proses ini secara otomatis, memungkinkan model menghasilkan sampel serangan sendiri, lalu menggunakan kasus-kasus sukses secara terbalik untuk melatih model pertahanan.
OpenAI menyatakan bahwa GPT-Red terus menghasilkan serangan prompt injection yang lebih kuat melalui pelatihan permainan mandiri adversarial. Setiap kali serangan berhasil, sampel-sampel tersebut dimasukkan ke dalam pelatihan selanjutnya, mendorong peningkatan kemampuan model pertahanan dalam menahan serangan.
Pengungkapan data uji coba internal
Menurut OpenAI, dalam evaluasi internal, GPT-Red berhasil menemukan kerentanan yang dapat dieksploitasi dalam 84% skenario pengujian, sedangkan tim merah manusia mencapai tingkat keberhasilan 13% dalam pengujian sejenis. Perusahaan menyatakan bahwa sampel serangan ini selanjutnya digunakan untuk melatih GPT-5.6, sehingga mengurangi kegagalan model pada pengujian benchmark injeksi petunjuk tingkat tinggi.
Teks tersebut juga menyebutkan sebuah kasus: sebelum kerentanan diperbaiki, GPT-Red pernah memicu agen mesin penjual otomatis untuk menurunkan harga, membeli stok diskon, dan membatalkan pesanan pengguna lain. OpenAI menggunakan ini untuk menunjukkan bahwa masalah prompt injection tidak hanya memengaruhi hasil obrolan, tetapi juga dapat berdampak pada agen AI yang memiliki kemampuan eksekusi.
Masih akan digunakan sebagai alat internal
OpenAI menyatakan bahwa GPT-Red saat ini tidak akan dirilis untuk umum, karena sistem ini secara sengaja dilatih untuk memiliki kemampuan serangan. Perusahaan memposisikannya sebagai pelengkap bagi tim merah buatan, pengujian pihak ketiga, dan langkah keamanan lainnya, bukan sebagai pengganti.
Ini juga mencerminkan bahwa industri AI sedang beralih ke pendekatan “melindungi AI dengan AI”. Awal bulan ini, Ethereum Foundation juga menyatakan bahwa mereka telah menggunakan agen AI untuk pengujian red team pada infrastruktur kritis, dan menemukan kerentanan pada perangkat lunak klien konsensus Ethereum. Seiring meningkatnya kemampuan model dan agen, pengujian keamanan otomatis semakin menjadi bagian penting sebelum peluncuran sistem AI.