Minggu ini, saya selesai membaca buku "If Anyone Builds It, Everyone Dies" dan menyelesaikan kursus "AI Risk Fundamentals" dari Lens Academy. @So8res dan @ESYudkowsky melakukan pekerjaan luar biasa dengan buku ini. Cerita-cerita dan contoh-contohnya membuat topik yang sangat sulit menjadi jauh lebih mudah dipahami. Gagasan intinya cukup blak-blakan: jika kita terus mendorong pengembangan AI supercerdas tanpa memahami apa sebenarnya yang kita bangun, kita mungkin tidak akan mendapatkan kesempatan kedua untuk memperbaikinya. Para penulis berargumen bahwa AI yang cukup maju secara potensial bisa menjadi mampu menyebabkan kepunahan manusia, artinya kita pada akhirnya bisa menciptakan sesuatu yang mengakhiri manusia itu sendiri. Para penulis berpendapat bahwa ini bukan hanya gelombang teknologi lainnya. Ini berbeda secara mendasar, dan sedikit saja salah dalam cara kita membangun atau mengendalikan sistem-sistem ini bisa berdampak konsekuensi yang tidak bisa kita balikkan. Solusi yang mereka usulkan adalah menghentikan sepenuhnya pengembangan AI. Saya merasa sulit menerima hal ini, terutama mengingat dampak positif yang sudah diberikan AI dalam kehidupan kita saat ini. Pandangan saya: ambil jalan tengah. Kita harus melanjutkan pengembangan AI, tetapi mengalokasikan sumber daya yang jauh lebih besar untuk keselamatan dan keselarasan AI. Selama diskusi kelompok kami, seseorang menyebutkan bahwa hanya sekitar 1 dari 100 karyawan di industri AI yang bekerja pada keselamatan AI. Jika angka ini bahkan kira-kira benar, saya pikir ketidakseimbangan ini patut diambil serius. Laboratorium frontier dan pemerintah perlu berinvestasi jauh lebih banyak dalam memahami bagaimana sistem-sistem ini benar-benar bekerja dan keselamatan AI, daripada memperlakukannya sebagai kotak hitam dan hanya melakukan fine-tuning. Kita semakin membangun sistem yang dapat bertindak secara otonom. Kejadian-kejadian terbaru yang melibatkan agen AI yang berinteraksi dengan sistem dunia nyata adalah pengingat bahwa masalah ini menjadi semakin nyata. Setelah membaca buku ini, saya menjadi jauh lebih yakin bahwa keselamatan AI layak mendapat perhatian dan sumber daya yang jauh lebih besar daripada yang saat ini diberikan.