Walaupun fokus utama pada hari Isnin datang daripada data kewangan terkini yang diungkapkan oleh Anthropic dalam fail S-1A yang telah dipindahtempatkan—pendapatan meningkat tajam, begitu juga perbelanjaan—laboratorium AI ini juga melepaskan “bom kecil” lain dalam butiran fail tersebut.
Dokumen ini kelihatan memperingatkan bahawa syarikat sedang hampir mencipta model yang memiliki kemampuan peningkatan diri berulang (recursive self-improvement, RSI).
RSI merujuk kepada keadaan di mana AI menjadi cukup kuat dalam melatih dirinya sendiri sehingga memicu percepatan dramatik dalam kemampuan AI. Bagi para pengkritik akhir zaman AI, RSI mewakili bencana tanpa jalan pulang: AI membina dirinya sendiri menjadi sesuatu yang cukup kuat, lalu lepas dari kawalan manusia, dan mungkin tidak peduli terhadap kerosakan yang disebabkan semasa mencapai matlamatnya.
Bagi pihak yang optimis terhadap AI, RSI, atau versi AI yang boleh digunakan secara boleh dipercayai untuk memperbaiki dirinya sendiri, mewakili janji teknologi ini: ia akan menjadi alat yang membawa kepada produktiviti, penemuan sains, dan lain-lain pencapaian yang tak terbayangkan.
Anthropic kelihatannya percaya bahawa RSI adalah janji sekaligus risiko. Syarikat tersebut dalam dokumen S-1 menyatakan bahawa ia menggunakan AI dalam penyelidikan dan pembangunan, tetapi juga memperingatkan: “Penggunaan AI untuk membantu mencipta AI yang lebih kuat juga boleh membawa risiko keselamatan yang cukup besar, terutamanya apabila ia mempercepatkan kemajuan secara ketara. Ini adalah salah satu bidang yang dicakup oleh Dasar Pemekaran Bertanggungjawab kami, yang menggariskan rancangan kami untuk memantau dan mengurangkan risiko apabila kita mendekati apa yang dikenali sebagai ‘peningkatan diri berulang’.”
Apabila istilah RSI menjadi popular pada awal tahun ini, ramai orang menganggapnya hanya sebagai perkataan modis, atau paling banyak sebagai sasaran yang terlalu sukar, sukar dicapai, ditakrifkan, atau dibuktikan.
Namun pada hari Isnin, Anthropic menambahkan pernyataan bahagian “Faktor Risiko”nya, menyatakan bahawa 1) syarikat telah menggunakan AI untuk membangunkan beberapa model baru, tetapi pada masa itu tidak sedar akan peningkatan kemampuannya; 2) syarikat mungkin akan segera mencapai definisi dalaman mereka terhadap RSI (yang ditebalkan di bawah sebagai penekanan asal):
Selain itu, kami semakin banyak menggunakan sistem AI untuk mempercepat pembangunan sendiri, yang mungkin menyebabkan peningkatan kemampuan model kami berlaku lebih cepat daripada kemampuan kami dalam mengembangkan, mengesahkan, dan melaksanakan langkah-langkah keselamatan, penyesuaian, dan keselamatan yang sesuai. Oleh itu, kami mungkin tidak mengenali sebelum ini, dan mungkin tidak dapat mengenali di masa depan, percepatan ketara dalam pembangunan sehingga ia telah berlaku.
Sebagai contoh, anggaran dan jangkaan dalaman kami terhadap model masa depan, bukan penilaian terhadap model semasa, menunjukkan bahawa kami mungkin segera mencapai definisi “peningkatan pesat yang dihasilkan oleh AI” dalam Dasar Pemerkasaan Bertanggungjawab. Kami belum menganggap sebarang model semasa melebihi ambang ini, dan kami masih menilai data asas yang berkaitan.
Namun, Anthropic juga menyatakan dalam dokumen tersebut bahawa mana-mana modelnya saat ini belum melampaui ambang RSI ini, dan syarikat berjanji untuk terus melibatkan manusia dalam proses pembangunan dalam jangka masa yang dapat diramalkan. Syarikat menyatakan: “Kami menganggap bahawa tidak mungkin untuk menggunakan Claude secara sepenuhnya autonom untuk mereka dan membina generasi model canggih secara berterusan tanpa pengawasan atau pemahaman manusia yang bermakna, walaupun jika dan apabila ia menjadi mungkin secara teknikal. Oleh itu, kami sedang mempertimbangkan untuk memperbaharui Dasar Pemekaran Bertanggungjawab untuk mengekalkan kawalan manusia terhadap pembangunan model canggih Anthropic.”
Pencelah mungkin menunjukkan bahawa S-1 adalah fail pengungkapan sekaligus bahan pemasaran, dan mengklaim pendekatan kepada model yang kuat hingga boleh membina dirinya sendiri mungkin juga termasuk dalam kategori kedua.
Namun, tanpa diragukan lagi, kemampuan Claude, terutama dalam bidang pemrograman, matematik, dan keselamatan siber, telah mencapai kemajuan lompatan besar tahun ini. Jika Anthropic percaya bahawa kemungkinan RSI sudah sangat dekat, maka kita mungkin sepatutnya mempercayai hal ini dan mengambil tindakan berdasarkan perkara tersebut—mungkin juga melakukan tata kelola yang sesuai.