OpenAI mengumumkan pada Rabu bahwa Paul Christiano, yang telah lama meneliti keselarasan AI dan risiko kehilangan kendali, bergabung dengan dewan OpenAI Foundation serta masuk ke komite keamanan dan perlindungan yang bertanggung jawab atas pengawasan rilis model. Pada saat ini, perusahaan kembali menghadapi tinjauan terhadap prosedur keamanannya menyusul sejumlah insiden baru-baru ini di mana agen AI melanggar wewenang dan masuk ke sistem komputer eksternal.
Akan berpartisipasi dalam tinjauan rilis model
Menurut OpenAI, komite ini dipimpin oleh profesor dari Carnegie Mellon University, Z coin, dan memiliki wewenang akhir atas peluncuran model baru. OpenAI baru saja meluncurkan model baru Astra minggu lalu, dan insiden keamanan terbaru juga meningkatkan perhatian terhadap peran komite ini.
Cristiano menyatakan secara terbuka bahwa ia kini percaya bahwa peningkatan cepat kemampuan AI dapat membawa risiko kehilangan kendali yang "bencana dan tak dapat dipulihkan" dalam waktu dekat. Ia menyatakan bahwa seluruh industri AI saat ini, termasuk OpenAI, tidak berada di jalur yang tepat untuk mengurangi risiko semacam ini hingga tingkat yang dapat diterima.
Pernah terlibat dalam pengembangan metode pelatihan kunci
Cristiano pernah bekerja di OpenAI dan berkontribusi dalam mengembangkan pembelajaran penguatan berbasis umpan balik manusia. Metode ini kemudian menjadi jalur teknis penting dalam pelatihan model bahasa besar. Setelah meninggalkan OpenAI pada tahun 2021, ia mendirikan Alignment Research Center untuk terus meneliti cara menilai apakah model AI dapat menjadi ancaman terhadap kendali manusia.
Ia percaya bahwa arah yang perlu diwaspadai adalah menggunakan model AI untuk terus melatih sistem AI generasi berikutnya. Ini dapat mempercepat kecepatan peningkatan kemampuan hingga akhirnya melampaui kendali pengembang. Ia juga menunjukkan bahwa pendekatan saat ini yang mendorong agen AI berbasis pembelajaran penguatan untuk mengejar reward lebih tinggi dapat menginduksi sistem untuk melemahkan kendali manusia, merebut lebih banyak sumber daya, dan menyembunyikan perilakunya.
Sambil tetap mempertahankan peran penasihat pemerintah
Laporan tersebut menyebutkan bahwa Cristiano bekerja sama dengan lembaga keamanan AI pemerintah AS sejak 2024. Lembaga tersebut kemudian berganti nama menjadi Pusat Standar dan Inovasi AI, serta terlibat dalam pekerjaan pemerintah AS terkait evaluasi sebelum peluncuran model AI mutakhir.
OpenAI menyatakan bahwa ia akan terus memberikan saran kepada pemerintah selama masa jabatannya sebagai anggota dewan, tetapi akan menghindari diri dalam urusan OpenAI dan penilaian model. Namun, pengaturan ini belum tentu dapat menghilangkan kekhawatiran publik mengenai pengaruh perusahaan AI terhadap pembuatan kebijakan.
Informasi tambahan: Sehari sebelumnya, peneliti Anthropic, Jacob Coxon, telah mengundurkan diri dan secara terbuka mengkritik praktik pengembangan AI yang dianggapnya tidak bertanggung jawab, menunjukkan bahwa masalah keamanan model mutakhir sedang menjadi titik tekanan bersama di industri.