Seorang penyelidik British berusia 27 tahun yang bekerja dalam pra-pelatihan di Anthropic telah mengundurkan diri secara awam, memperingatkan bahawa perlumbaan untuk membina AI yang meningkatkan diri secara rekursif boleh menyebabkan kepunahan manusia sebelum akhir dekad ini.
Jacob Coxon meninggalkan salah satu syarikat keselamatan AI paling terkemuka di dunia sekitar 8-9 September, dan pesan perpisahannya bukanlah pos LinkedIn yang sopan tentang “bab baru yang menarik.” Ia merupakan amaran bahawa orang-orang yang membina sistem ini benar-benar percaya mereka boleh menghasilkan kesan bencana, dan jangka masa untuk perkara menjadi tidak terkawal boleh segera berlaku pada tahun depan.
Alarm dalaman
Apa yang membuat perletakan jawatan Coxon sukar untuk diabaikan ialah apa yang berlaku seterusnya. Rakan-rakannya sendiri di Anthropic mula bersetuju dengannya secara awam.
Evan Hubinger, yang memegang gelar Alignment Science Lead di Anthropic, menyokong dakwaan Coxon di media sosial. Anggaran peribadinya: lebih daripada 10% kemungkinan AI akan menyebabkan kematian manusia dalam jumlah besar dalam dekad seterusnya.
Hubinger melangkah lebih jauh, mengakui bahawa Anthropic tidak mempunyai rancangan yang jelas untuk memastikan keselarasan dengan sistem superinteligens.
Samuel Marks, seorang penyelidik Anthropic lain, meniru kebimbangan serupa, mencadangkan bahawa pekerja senior di dalam syarikat tersebut sangat bimbang terhadap risiko yang boleh menyebabkan kepunahan.
Coxon secara khusus mengkritik penggunaan istilah seperti “crunchtime” dan “endgame” dalam kalangan komuniti pembangunan AI. Kata-kata ini merangka usaha mencapai superintelligence sebagai sesuatu yang mendesak dan tidak terelakkan, satu pertandingan yang perlu dimenangi bukannya risiko yang perlu dikelolakan. Framing itu, katanya, adalah sebahagian daripada masalah.
Pola penarikan
Coxon bukan penyelidik yang berfokus pada keselamatan pertama yang meninggalkan Anthropic dengan kebimbangan terhadap arah syarikat tersebut. Tuan Mrinank Sharma, yang memimpin pasukan penyelidikan Safeguards syarikat itu, mengundurkan diri pada Februari 2026. Sharma menunjuk kepada bahaya yang semakin meningkat akibat AI dan senjata biologi, merujuk kepada tekanan luar yang menurutnya merosakkan kelakuan etika syarikat tersebut.
Ironinya sangat tebal. Anthropic didirikan oleh bekas kakitangan OpenAI, termasuk CEO Dario Amodei, khususnya kerana mereka merasa OpenAI tidak mengambil keselamatan dengan serius. Ia sepatutnya menjadi alternatif yang mengutamakan keselamatan. Kini, penyelidik keselamatan sendiri sedang meninggalkan Anthropic kerana mereka tidak percaya Anthropic mengambil keselamatan dengan serius.
Pertandingan sebagai pemercepat
Peringatan Coxon secara khusus menandakan persaingan antarbangsa sebagai faktor yang memperburuk keadaan. Tekanan untuk mengejar langkah pesaing, terutama dari makmal AI Cina, menciptakan persekitaran di mana perlambatan untuk memastikan keselamatan kelihatan seperti pelepasan senjata sepihak.