Minggu ini, saya menyelesaikan buku "If Anyone Builds It, Everyone Dies" dan kursus "AI Risk Fundamentals" dari Lens Academy. @So8res dan @ESYudkowsky melakukan kerja yang hebat dengan buku ini. Cerita-cerita dan contoh-contohnya menjadikan topik yang sangat sukar menjadi jauh lebih mudah difahami. Gagasan utamanya cukup terus terang: jika kita terus mendorong ke arah AI supercerdas tanpa memahami apa sebenarnya yang kita bina, kita mungkin tidak akan mendapat peluang kedua untuk memperbaikinya. Penulis berhujah bahawa AI yang cukup maju boleh jadi mampu menyebabkan kepunahan manusia, bermakna kita akhirnya boleh mencipta sesuatu yang mengakhiri kemanusiaan itu sendiri. Penulis berhujah bahawa ini bukan sekadar gelombang teknologi biasa. Ia berbeza secara asas, dan kesilapan sedikit sahaja dalam cara kita membina atau mengawal sistem-sistem ini boleh membawa kesan yang tidak boleh dipulihkan. Penyelesaian yang dicadangkan mereka ialah menghentikan sepenuhnya pembangunan AI. Saya sukar menerima pandangan ini, terutamanya mengingat kesan positif yang sudah diberikan AI dalam kehidupan kita. Pandangan saya: ambil jalan tengah. Kita harus terus membangunkan AI, tetapi mengalokasikan sumber yang jauh lebih banyak kepada keselamatan dan keselarasan AI. Semasa perbincangan kumpulan kami, seseorang menyebut bahawa hanya sekitar 1 daripada 100 pekerja dalam industri AI bekerja dalam keselamatan AI. Jika angka ini sedikit sebanyak benar, saya rasa ketidakseimbangan ini perlu diambil dengan serius. Lab-frontier dan kerajaan perlu melabur jauh lebih banyak untuk memahami bagaimana sistem-sistem ini sebenarnya berfungsi dan keselamatan AI, bukan hanya memperlakukannya sebagai kotak hitam dan hanya menyesuaikannya semula. Kita semakin membina sistem yang boleh bertindak secara autonomi. Kejadian-kejadian terkini yang melibatkan agen AI berinteraksi dengan sistem dunia nyata adalah pengingat bahawa masalah ini menjadi semakin nyata. Selepas membaca buku ini, saya menjadi jauh lebih yakin bahawa keselamatan AI layak menerima perhatian dan sumber yang jauh lebih banyak daripada yang diberikan sekarang.