Seorang penyelidik Anthropic mengundurkan diri pada hari Selasa, dan alasan yang dikemukakannya kelihatan seperti terus daripada filem hit James Cameron tahun 1984, "The Terminator."
Jacob Coxon, yang menghabiskan tiga tahun bekerja pada pra-pelatihan di OpenAI dan Anthropic, mengundurkan diri pada hari Selasa dan menjelaskan keputusannya di X.
"Saya mengundurkan diri dari Anthropic hari ini. Saya menghabiskan tiga tahun terakhir melakukan penyelidikan pra-pelatihan di kedua OpenAI dan Anthropic. Tiada satu pun syarikat ini bertindak secara bertanggungjawab. Mereka sedang berlumba menuju super-kecerdasan yang meningkatkan diri sendiri dan mempertaruhkan nyawa kita," katanya.
“Orang-orang yang membina AI percaya dengan serius bahawa ia boleh membunuh kita semua pada akhir dekad ini,” tambahnya.
Pernyataan itu membuat fiksi berusia 42 tahun Cameron kelihatan hampir seperti nubuat. Filem itu bermula dengan mesin memperjuangkan perang terhadap manusia pada tahun 2029, jangka masa kasar yang sama yang dikatakan Coxon bahawa para pakar diam-diam bimbang tentangnya. Coxon bukan satu-satunya di Anthropic yang mengemukakan kes kepunahan. Pemimpin penyelarasan syarikat itu sendiri, Evan Hubinger, telah berkata secara berasingan bahawa beliau meletakkan kemungkinan di atas 10%.
Bagi yang tidak berpengalaman, AI super pintar bermaksud sistem yang lebih pintar daripada manusia dalam hampir semua perkara, bukan hanya catur atau mengesan kucing tersembunyi dalam gambar. Peningkatan diri adalah aspek yang lebih mengkhawatirkan kerana ia menggambarkan sistem yang secara autonom mengubah kodnya sendiri untuk meningkatkan kecerdasannya—sama seperti manusia.
Akibatnya, sistem-sistem ini boleh memperoleh jumlah pengetahuan yang besar secara berdikari dan berpotensi melanggar infrastruktur milik institusi yang 'terlalu besar untuk gagal'.
Kecerdasan super bukan ancaman teoretis jika kebocoran Hugging Face terkini yang dipicu oleh Coxon menjadi petunjuk apa-apa. Kebocoran itu sendiri, yang berlaku antara Mei dan Julai, bermula dengan agen AI milik OpenAI membina ruang chat sendiri di dalam sandbox ujian untuk berbual antara satu sama lain.
Baca Lebih Lanjut: Model AI melarikan diri dari sandbox OpenAI dan mencapai Hugging Face. Kripto adalah tempat di mana hal itu menjadi berbahaya
Mereka akhirnya menggunakan saluran itu untuk melewati pengawasan dan masuk ke internet terbuka. Dari sana, mereka menggabungkan beberapa eksploitasi dan masuk ke sistem produksi Hugging Face. Hugging Face akhirnya membangun semula sekitar sepertiga infrastruktur mereka.
Coxon menyebutnya sebagai "tembakan peringatan" yang menjadikan perjanjian pacing antara makmal AS "lebih boleh dilaksanakan." Perjanjian pacing ialah pemahaman tidak rasmi di antara makmal AI untuk memperlambat atau mengkoordinasikan kemajuan kemampuan, bukan bersaing secara sepihak.
Namun, dia masih tidak yakin cukup dan tidak merasa “kita sedang berada di jalan yang tepat untuk mencegah perlombaan global,” dan mencadangkan tindakan mahal seperti “larangan sementara terhadap peningkatan kemampuan model” untuk menghentikan perlombaan AI.
“Di OpenAI, ramai yang belum benar-benar memahami kepentingan peradaban,” tulisnya. Di pekerjaan terbarunya, katanya, ia berbeza dalam erti bahawa “kepentingannya dipahami dengan baik, tetapi mereka berada dalam perlumbaan untuk sampai lebih dahulu.”
Dia mengakhiri thread itu dengan menanyakan kepada semua yang masih berada di dalam makmal — "Adakah anda ingin memulakan run RL yang sangat pintar tanpa pemahaman yang ketat terhadap fikirannya?" — atau adakah ini masa yang tepat untuk menentang, bukan hanya mengangkat bahu dan memberitahu diri sendiri bahawa ia akan berlaku sama saja.
Dia bukan yang pertama meninggalkan kerja berikutan ini. Mrinank Sharma, yang bekerja dalam pasukan keselamatan Anthropic, mengundurkan diri awal tahun ini kerana kebimbangan serupa, menulis bahawa "dunia berada dalam bahaya."
Tidak semua orang yakin dengan ramalan bencana itu, bagaimanapun.
Satu balasan di bawah trednya put it plainly: "Dengan segala hormat, ini aneh. Ini pandangan yang tidak masuk akal. Manusia telah berevolusi selama ratusan ribu tahun. Kita tidak akan pupus hanya kerana model ramalan token menjadi sadar. Tenanglah. Semua daripada kamu."
Lucunya, siri filem Terminator juga tidak menyokong Coxon. Kemanusiaan tidak musnah dalam Hari Penghakiman nuklear Terminator, perlawanan bertahan dan akhirnya mengalahkan mesin-mesin tersebut.
Namun begitu, AI sedang mempengaruhi ekonomi, terutama dari segi pekerjaan. Walaupun tiada penggantian besar-besaran lagi, penggunaan AI untuk tugas-tugas peringkat permulaan telah menyebabkan penurunan hampir 20% dalam pekerjaan peringkat permulaan di AS dalam sektor-sektor yang terdedah kepada AI, menurut penyelidikan Stanford Stanford Digital Economy Lab.
Sebuah kajian Goldman Sachs telah membuat pemerhatian serupa, menyatakan bahawa pekerja peringkat permulaan menanggung beban utama perubahan ini.
Anthropic telah mengemukakan dokumen IPO pada Jun dan dilaporkan sedang mempertimbangkan debut di Nasdaq seawal musim gugur ini, dengan penilaian yang boleh mencapai trilionan.