Meskipun fokus utama pada hari Senin dari pihak luar adalah pada data keuangan terbaru yang diungkapkan oleh Anthropic dalam dokumen S-1A yang direvisi—pendapatan melonjak, sementara pengeluaran juga meningkat—laboratorium AI ini juga melepaskan "bom kecil" lainnya dalam rincian dokumen tersebut.
Dokumen ini tampaknya memperingatkan bahwa perusahaan sedang mendekati penciptaan model dengan kemampuan perbaikan diri rekursif (recursive self-improvement, RSI).
RSI merujuk pada saat AI menjadi cukup kuat dalam melatih dirinya sendiri sehingga memicu percepatan dramatis dalam kemampuan AI. Bagi para pendukung teori kiamat AI, RSI mewakili bencana tanpa jalan kembali: AI membangun dirinya menjadi sesuatu yang cukup kuat, lalu lepas dari kendali manusia, dan mungkin tidak peduli terhadap kerusakan yang ditimbulkan selama mencapai tujuannya.
Sementara bagi para optimis AI, RSI, atau versi AI yang dapat diandalkan untuk memperbaiki dirinya sendiri, mewakili janji teknologi ini: ia akan menjadi alat yang membawa produktivitas, penemuan ilmiah, dan hasil lainnya yang tak terbayangkan.
Anthropic tampaknya percaya bahwa RSI adalah janji sekaligus risiko. Dalam dokumen S-1, perusahaan menyatakan bahwa mereka menggunakan AI dalam penelitian dan pengembangan, tetapi juga memperingatkan: “Menggunakan AI untuk membantu menciptakan AI yang lebih kuat juga dapat menimbulkan risiko keamanan yang cukup besar, terutama ketika hal ini secara signifikan mempercepat kemajuan. Ini adalah salah satu bidang yang cakup oleh Kebijakan Ekspansi Bertanggung Jawab kami, yang merinci rencana kami untuk memantau dan mengurangi risiko saat mendekati apa yang disebut ‘peningkatan diri rekursif’.”
Ketika istilah RSI menjadi populer di awal tahun ini, banyak orang menganggapnya hanya sebagai kata trendi, atau paling tidak sebagai tujuan yang terlalu sulit untuk dicapai, didefinisikan, atau dibuktikan.
Namun pada hari Senin, Anthropic menambahkan pernyataan di bagian “Faktor Risiko” bahwa 1) perusahaan telah menggunakan AI untuk mengembangkan beberapa model baru, tetapi pada saat itu tidak menyadari lonjakan kemampuannya; 2) perusahaan mungkin segera mencapai definisi internalnya terhadap RSI (yang ditebalkan di bawah ini sebagai penekanan asli):
Selain itu, kami semakin sering menggunakan sistem AI untuk mempercepat pengembangan internal, yang dapat menyebabkan peningkatan kemampuan model kami berlangsung lebih cepat daripada kemampuan kami dalam mengembangkan, memverifikasi, dan menerapkan langkah-langkah keamanan, keselarasan, dan keamanan yang sesuai. Oleh karena itu, kami mungkin tidak mengenali, atau mungkin tidak akan dapat mengenali di masa depan, percepatan signifikan dalam kecepatan pengembangan hingga hal itu telah terjadi.
Misalnya, perkiraan dan ekspektasi internal kami terhadap model masa depan, bukan penilaian terhadap model saat ini, menunjukkan bahwa kami mungkin segera mencapai definisi "percepatan signifikan yang difasilitasi oleh AI" dalam Kebijakan Ekspansi Bertanggung Jawab. Kami belum mengklasifikasikan model apa pun saat ini sebagai melewati ambang batas ini, dan kami masih mengevaluasi data dasar terkait.
Namun, Anthropic juga menyatakan dalam dokumen tersebut bahwa model apa pun saat ini belum melewati ambang RSI ini, dan perusahaan berkomitmen untuk terus melibatkan manusia dalam proses pengembangan dalam jangka waktu yang dapat diprediksi. Perusahaan menyatakan: “Kami memperkirakan bahwa Claude tidak dapat digunakan secara aman untuk merancang dan membangun generasi berkelanjutan model mutakhir tanpa pengawasan atau pemahaman manusia yang bermakna, bahkan jika dan ketika hal ini menjadi secara teknis mungkin. Oleh karena itu, kami sedang mempertimbangkan untuk memperbarui Kebijakan Ekspansi Bertanggung Jawab guna mempertahankan kendali manusia atas pengembangan model mutakhir Anthropic.”
Skeptics may point out that the S-1 is both a disclosure document and a marketing material, and claiming to be close to a powerful model capable of self-building may also fall into the latter category.
Namun, tidak diragukan lagi bahwa kemampuan Claude, terutama dalam pemrograman, matematika, dan keamanan siber, telah mengalami kemajuan lompatan besar tahun ini. Jika Anthropic percaya bahwa kemungkinan RSI sudah sangat dekat, maka kita mungkin sebaiknya mempercayai hal ini dan mengambil tindakan berdasarkan hal tersebut—mungkin juga melakukan tata kelola yang sesuai.
