Seorang peneliti Anthropic mengundurkan diri pada hari Selasa, dan alasan yang ia sebutkan terdengar seperti langsung dari film hits James Cameron tahun 1984, "The Terminator."
Jacob Coxon, yang menghabiskan tiga tahun bekerja pada pretraining di OpenAI dan Anthropic, mengundurkan diri pada hari Selasa dan menjelaskan keputusannya di X.
Saya mengundurkan diri dari Anthropic hari ini. Saya menghabiskan tiga tahun terakhir melakukan penelitian pretraining di OpenAI dan Anthropic. Tidak ada perusahaan yang bertindak secara bertanggung jawab. Mereka sedang berlomba menuju super-inteligensi yang dapat meningkatkan dirinya sendiri dan mempertaruhkan nyawa kita,” katanya.
“Orang-orang yang membangun AI secara serius percaya bahwa itu bisa membunuh kita semua pada akhir dekade ini,” tambahnya.
Pernyataan itu membuat fiksi berusia 42 tahun Cameron tampak hampir seperti nubuat. Film ini dibuka dengan mesin memulai perang terhadap manusia pada tahun 2029, periode kasar yang sama yang menurut Coxon menjadi perhatian diam-diam para insider. Coxon bukan satu-satunya di Anthropic yang mengemukakan argumen kepunahan. Pemimpin alignment perusahaan sendiri, Evan Hubinger, telah said separately bahwa ia memperkirakan peluangnya di atas 10%.
Untuk yang belum familiar, AI super cerdas berarti sistem yang lebih pintar daripada manusia dalam hampir segala hal, bukan hanya catur atau mendeteksi kucing tersembunyi di foto. Peningkatan mandiri adalah aspek yang lebih mengkhawatirkan karena menggambarkan sistem yang secara otomatis memodifikasi kode sendiri untuk meningkatkan kecerdasannya—sama seperti yang dilakukan manusia.
Akibatnya, sistem-sistem ini dapat memperoleh sejumlah besar pengetahuan secara mandiri dan berpotensi melanggar infrastruktur milik institusi yang 'terlalu besar untuk gagal'.
Kecerdasan super bukan ancaman teoretis jika pelanggaran Hugging Face terbaru yang dipicu oleh Coxon menjadi patokan. Pelanggaran itu sendiri, yang berlangsung antara Mei dan Juli, dimulai dengan agen AI milik OpenAI yang membangun ruang obrolan sendiri di dalam sandbox pengujian untuk berbicara satu sama lain.
Baca Selengkapnya: Model AI lolos dari sandbox OpenAI dan mencapai Hugging Face. Kripto adalah tempat di mana hal itu menjadi berbahaya
Mereka akhirnya menggunakan saluran itu untuk melewati kontainemen menuju internet terbuka. Dari sana, mereka merangkai beberapa eksploitasi dan masuk ke sistem produksi Hugging Face. Hugging Face akhirnya membangun ulang sekitar sepertiga infrastrukturnya.
Coxon menyebutnya sebagai "tembakan peringatan" yang membuat kesepakatan pacing antara laboratorium AS menjadi "lebih viable." Kesepakatan pacing adalah kesepahaman informal di antara laboratorium AI untuk memperlambat atau mengoordinasikan kemajuan kemampuan, daripada bersaing secara sepihak.
Namun, ia belum yakin itu cukup dan tidak merasa "kita berada di jalur yang tepat untuk mencegah perlombaan global," serta menyarankan tindakan mahal seperti "larangan sementara terhadap peningkatan kemampuan model" untuk menghentikan perlombaan AI.
"Di OpenAI, banyak orang belum benar-benar memahami betapa besar risiko peradaban ini," tulisnya. Di employer terbarunya, katanya, berbeda dalam arti bahwa "risikonya dipahami dengan baik, tetapi mereka terlibat dalam perlombaan untuk sampai lebih dulu."
Dia mengakhiri thread tersebut dengan mengajukan pertanyaan kepada semua yang masih berada di dalam laboratorium — "Apakah Anda ingin memulai jalur RL super cerdas tanpa pemahaman mendalam tentang pikirannya?" — atau apakah ini saatnya untuk menentang, bukan hanya mengangkat bahu dan mengatakan pada diri sendiri bahwa hal ini akan terjadi apa pun juga.
Dia bukan yang pertama meninggalkan posisinya karena hal ini. Mrinank Sharma, yang bekerja di tim keamanan Anthropic, mengundurkan diri lebih awal tahun ini karena kekhawatiran serupa, menulis bahwa "dunia berada dalam bahaya."
Tidak semua orang yakin dengan prediksi kiamat tersebut.
Satu balasan di bawah thread-nya put it plainly: "Dengan segala hormat, ini aneh. Ini pandangan yang konyol. Manusia telah berevolusi selama ratusan ribu tahun. Kita tidak akan punah hanya karena model prediksi token menjadi sadar. Kendalikan diri kalian semua."
Lucunya, seri film Terminator juga tidak mendukung Coxon. Kemanusiaan tidak punah dalam Hari Penghakiman nuklir Terminator, resistan bertahan dan akhirnya mengalahkan mesin-mesin tersebut.
Meskipun demikian, AI memengaruhi perekonomian, terutama di bidang lapangan kerja. Meskipun belum ada pemindahan besar-besaran, penggunaan AI untuk tugas-tugas tingkat pemula telah menyebabkan penurunan hampir 20% dalam lapangan kerja tingkat pemula di AS di sektor-sektor yang terpapar AI, menurut penelitian Stanford Stanford Digital Economy Lab.
Sebuah studi Goldman Sachs telah membuat pengamatan serupa, menyatakan bahwa pekerja tingkat pemula menanggung beban terberat dari pergeseran ini.
Anthropic mengajukan dokumen IPO pada Juni dan dilaporkan sedang mempertimbangkan debut di Nasdaq sejak musim gugur ini, dengan valuasi yang bisa mencapai triliunan.