Anthropic Memperingatkan Pendekatan Kemampuan AI Peningkatan Diri Rekursif

icon币界网
Bagikan
AI summary iconRingkasan
Anthropic mengungkapkan dalam pengajuan S-1A yang diperbarui bahwa perusahaan hampir mencapai recursive self-improvement (RSI) pada model AI. Indikator RSI, jika ditembus, dapat memicu kemajuan AI yang cepat. Perusahaan memperingatkan bahwa pengembangan yang didorong AI mungkin melampaui protokol keamanan. Di bawah Kebijakan Penskalaan Bertanggung Jawab, Anthropic secara ketat memantau isu ini. Tingkat support dan resistance dalam pertumbuhan kemampuan AI kini menjadi fokus utama. Pengawasan manusia akan tetap penting dalam jangka pendek. Belum ada model yang mencapai ambang RSI.
CoinDesk melaporkan:

Meskipun fokus utama pada hari Senin dari pihak luar adalah pada data keuangan terbaru yang diungkapkan oleh Anthropic dalam dokumen S-1A yang direvisi—pendapatan melonjak, sementara pengeluaran juga meningkat—laboratorium AI ini juga melepaskan "bom kecil" lainnya dalam rincian dokumen tersebut.

Dokumen ini tampaknya memperingatkan bahwa perusahaan sedang mendekati penciptaan model dengan kemampuan perbaikan diri rekursif (recursive self-improvement, RSI).

RSI merujuk pada saat AI menjadi cukup kuat dalam melatih dirinya sendiri sehingga memicu percepatan dramatis dalam kemampuan AI. Bagi para pendukung teori kiamat AI, RSI mewakili bencana tanpa jalan kembali: AI membangun dirinya menjadi sesuatu yang cukup kuat, lalu lepas dari kendali manusia, dan mungkin tidak peduli terhadap kerusakan yang ditimbulkan selama mencapai tujuannya.

Sementara bagi para optimis AI, RSI, atau versi AI yang dapat diandalkan untuk memperbaiki dirinya sendiri, mewakili janji teknologi ini: ia akan menjadi alat yang membawa produktivitas, penemuan ilmiah, dan hasil lainnya yang tak terbayangkan.

Anthropic tampaknya percaya bahwa RSI adalah janji sekaligus risiko. Dalam dokumen S-1, perusahaan menyatakan bahwa mereka menggunakan AI dalam penelitian dan pengembangan, tetapi juga memperingatkan: “Menggunakan AI untuk membantu menciptakan AI yang lebih kuat juga dapat menimbulkan risiko keamanan yang cukup besar, terutama ketika hal ini secara signifikan mempercepat kemajuan. Ini adalah salah satu bidang yang cakup oleh Kebijakan Ekspansi Bertanggung Jawab kami, yang merinci rencana kami untuk memantau dan mengurangi risiko saat mendekati apa yang disebut ‘peningkatan diri rekursif’.”

Ketika istilah RSI menjadi populer di awal tahun ini, banyak orang menganggapnya hanya sebagai kata trendi, atau paling tidak sebagai tujuan yang terlalu sulit untuk dicapai, didefinisikan, atau dibuktikan.

Namun pada hari Senin, Anthropic menambahkan pernyataan di bagian “Faktor Risiko” bahwa 1) perusahaan telah menggunakan AI untuk mengembangkan beberapa model baru, tetapi pada saat itu tidak menyadari lonjakan kemampuannya; 2) perusahaan mungkin segera mencapai definisi internalnya terhadap RSI (yang ditebalkan di bawah ini sebagai penekanan asli):

Selain itu, kami semakin sering menggunakan sistem AI untuk mempercepat pengembangan internal, yang dapat menyebabkan peningkatan kemampuan model kami berlangsung lebih cepat daripada kemampuan kami dalam mengembangkan, memverifikasi, dan menerapkan langkah-langkah keamanan, keselarasan, dan keamanan yang sesuai. Oleh karena itu, kami mungkin tidak mengenali, atau mungkin tidak akan dapat mengenali di masa depan, percepatan signifikan dalam kecepatan pengembangan hingga hal itu telah terjadi.

Misalnya, perkiraan dan ekspektasi internal kami terhadap model masa depan, bukan penilaian terhadap model saat ini, menunjukkan bahwa kami mungkin segera mencapai definisi "percepatan signifikan yang difasilitasi oleh AI" dalam Kebijakan Ekspansi Bertanggung Jawab. Kami belum mengklasifikasikan model apa pun saat ini sebagai melewati ambang batas ini, dan kami masih mengevaluasi data dasar terkait.

Namun, Anthropic juga menyatakan dalam dokumen tersebut bahwa model apa pun saat ini belum melewati ambang RSI ini, dan perusahaan berkomitmen untuk terus melibatkan manusia dalam proses pengembangan dalam jangka waktu yang dapat diprediksi. Perusahaan menyatakan: “Kami memperkirakan bahwa Claude tidak dapat digunakan secara aman untuk merancang dan membangun generasi berkelanjutan model mutakhir tanpa pengawasan atau pemahaman manusia yang bermakna, bahkan jika dan ketika hal ini menjadi secara teknis mungkin. Oleh karena itu, kami sedang mempertimbangkan untuk memperbarui Kebijakan Ekspansi Bertanggung Jawab guna mempertahankan kendali manusia atas pengembangan model mutakhir Anthropic.”

Skeptics may point out that the S-1 is both a disclosure document and a marketing material, and claiming to be close to a powerful model capable of self-building may also fall into the latter category.

Namun, tidak diragukan lagi bahwa kemampuan Claude, terutama dalam pemrograman, matematika, dan keamanan siber, telah mengalami kemajuan lompatan besar tahun ini. Jika Anthropic percaya bahwa kemungkinan RSI sudah sangat dekat, maka kita mungkin sebaiknya mempercayai hal ini dan mengambil tindakan berdasarkan hal tersebut—mungkin juga melakukan tata kelola yang sesuai.

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.