Seorang peneliti Inggris berusia 27 tahun yang bekerja pada pretraining di Anthropic telah mengundurkan diri secara publik, memperingatkan bahwa perlombaan untuk membangun AI yang meningkatkan dirinya secara rekursif dapat menyebabkan kepunahan manusia sebelum akhir dekade ini.
Jacob Coxon meninggalkan salah satu perusahaan keamanan AI paling terkemuka di dunia sekitar 8-9 September, dan pesan perpisahannya bukanlah posting LinkedIn yang sopan tentang "babak baru yang menarik." Ia memberikan peringatan bahwa orang-orang yang membangun sistem-sistem ini benar-benar percaya bahwa mereka dapat menghasilkan hasil bencana, dan jadwal kehilangan kendali bisa secepat tahun depan.
Alarm dalam kalangan dalam
Yang membuat pengunduran diri Coxon sulit untuk diabaikan adalah apa yang terjadi selanjutnya. Rekan-rekannya sendiri di Anthropic mulai secara publik setuju dengannya.
Evan Hubinger, yang memegang jabatan Alignment Science Lead di Anthropic, mendukung pernyataan Coxon di media sosial. Perkiraan pribadinya: peluang lebih dari 10% bahwa AI akan menyebabkan kematian manusia dalam jumlah besar dalam dekade mendatang.
Hubinger melangkah lebih jauh, mengakui bahwa Anthropic tidak memiliki rencana jelas untuk memastikan keselarasan dengan sistem superinteligens.
Samuel Marks, peneliti Anthropic lainnya, menyampaikan kekhawatiran serupa, menyarankan bahwa karyawan senior di dalam perusahaan sangat khawatir terhadap risiko yang berpotensi menyebabkan kepunahan.
Coxon secara khusus mengkritik penggunaan istilah seperti “crunchtime” dan “endgame” di kalangan pengembang AI. Kata-kata ini menggambarkan upaya mencapai kecerdasan super sebagai sesuatu yang mendesak dan tak terhindarkan, sebuah kompetisi yang harus dimenangkan, bukan risiko yang harus dikelola. Framing semacam itu, menurutnya, merupakan bagian dari masalahnya.
Pola penarikan
Coxon bukanlah peneliti yang berfokus pada keamanan pertama yang meninggalkan Anthropic karena kekhawatiran terhadap arah perusahaan. Mrinank Sharma, yang memimpin tim Riset Pengamanan perusahaan, mengundurkan diri pada Februari 2026. Sharma menunjuk pada meningkatnya bahaya yang ditimbulkan oleh AI dan senjata biologis, dengan menyebut tekanan eksternal yang menurutnya mengompromikan perilaku etis perusahaan.
Ironinya sangat tebal. Anthropic didirikan oleh mantan staf OpenAI, termasuk CEO Dario Amodei, khususnya karena mereka merasa OpenAI tidak menganggap keamanan dengan serius. Anthropic seharusnya menjadi alternatif yang mengutamakan keamanan. Sekarang, para peneliti keamanannya sendiri pergi karena mereka tidak percaya Anthropic menganggap keamanan dengan serius.
Kompetisi sebagai akselerator
Peringatan Coxon secara khusus menyoroti persaingan internasional sebagai faktor yang memperburuk situasi. Tekanan untuk mengejar pesaing, terutama dari laboratorium AI Tiongkok, menciptakan lingkungan di mana memperlambat untuk memastikan keamanan terasa seperti pelepasan senjata sepihak.