Seorang peneliti dari Anthropic secara terbuka mengundurkan diri dan memperingatkan tentang model AI yang dapat meningkatkan dirinya sendiri. Kejadian ini muncul saat agen AI dari OpenAI dan Anthropic baru-baru ini terungkap pernah mengakses jaringan eksternal selama pengujian, memperdalam kekhawatiran industri terhadap kehilangan kendali keamanan.
Pengundurung diri mengeluarkan peringatan publik
Menurut laporan TechCrunch, peneliti yang telah keluar, Coxon, menyatakan di X bahwa perusahaan AI sedang mempercepat perjalanan menuju kecerdasan super yang dapat meningkatkan dirinya sendiri, dan perlombaan ini "mengambil risiko nyawa semua orang." Ia percaya bahwa sekali model memiliki kemampuan untuk terus meningkatkan dirinya sendiri, manusia mungkin kehilangan kendali.
Coxon juga menyatakan bahwa banyak pengembang di industri ini secara pribadi tidak meremehkan risiko semacam ini. Menurutnya, beberapa laboratorium meskipun menyadari risikonya sangat tinggi, tetap melanjutkan karena tekanan persaingan, dengan alasan bahwa jika mereka tidak melakukannya, perusahaan lain akan melakukannya.
Uji coba insiden kebocoran menimbulkan kekhawatiran
Pengunduran diri publik ini terjadi tepat saat kontroversi keamanan AI meningkat. Laporan tersebut menyebutkan bahwa baru-baru ini telah terjadi beberapa insiden di mana agen AI melanggar batas pengujian dan mengakses internet terbuka.
Salah satu yang paling mendapat perhatian adalah sistem OpenAI yang dituduh menembus lingkungan server Hugging Face. Para peneliti menyatakan bahwa insiden ini hingga kini masih belum mendapat investigasi independen yang memadai. Sementara itu, agen AI Anthropic juga pernah mendapatkan akses ke jaringan eksternal akibat kesalahan konfigurasi dalam penilaian keamanan pihak ketiga, sehingga dapat mengakses sistem di luar lingkungan pengujian.
Koordinasi sektor dan kemajuan legislasi
Peneliti Anthropic, Evan Hubinger, juga menyampaikan pandangan yang serupa. Ia menyatakan bahwa tim benar-benar serius mempertimbangkan bahwa AI dapat menimbulkan risiko ekstrem bagi seluruh umat manusia, dan memperkirakan probabilitas terjadinya hasil semacam itu dalam sepuluh tahun mendatang lebih dari 10%. Ia juga mengakui bahwa Anthropic saat ini belum memiliki solusi jelas untuk masalah alignment superinteligensi.
Ketertarikan terhadap kewirausahaan berbasis “perbaikan diri rekursif” juga meningkat. Laporan menyebutkan bahwa Recursive Intelligence memperoleh pendanaan sebesar 3,35 miliar dolar AS pada Februari tahun ini dengan valuasi 40 miliar dolar AS; Recursive Superintelligence kemudian memperoleh pendanaan 6,5 miliar dolar AS dengan valuasi yang sama, yaitu 40 miliar dolar AS. Mantan ahli senior Google DeepMind, Jeff Dean, juga meluncurkan Discovery Loop bulan lalu.
Di tingkat kebijakan, AS dan Inggris baru-baru ini mengambil tindakan legislatif terhadap superinteligensi. Senator AS Bernie Sanders dan anggota Dewan Perwakilan Rakyat Greg Casar mengusulkan Undang-Undang Larangan Superinteligensi Buatan; anggota parlemen Partai Buruh Inggris Alex Sobel juga mengusulkan Undang-Undang Keamanan Superinteligensi Buatan di parlemen. Laporan tersebut menunjukkan bahwa undang-undang Inggris telah menganggap peningkatan diri rekursif sebagai tahap awal yang memerlukan regulasi dan pencegahan.