Tuần này, tôi đã hoàn thành cuốn sách “If Anyone Builds It, Everyone Dies” và khóa học “AI Risk Fundamentals” của Lens Academy. @So8res và @ESYudkowsky đã làm rất tốt với cuốn sách này. Những câu chuyện và ví dụ giúp làm rõ một chủ đề cực kỳ phức tạp. Ý tưởng cốt lõi khá trực diện: nếu chúng ta tiếp tục đẩy mạnh phát triển AI siêu thông minh mà không hiểu rõ mình đang xây dựng cái gì, chúng ta có thể sẽ không có cơ hội thứ hai để sửa chữa. Các tác giả lập luận rằng một AI đủ tiên tiến có thể trở nên capable gây ra sự diệt vong của loài người, nghĩa là cuối cùng chúng ta có thể tạo ra thứ gì đó có thể chấm dứt chính nhân loại. Các tác giả cho rằng đây không chỉ là một làn sóng công nghệ khác. Nó hoàn toàn khác biệt, và việc hiểu sai một chút về cách chúng ta xây dựng hoặc kiểm soát các hệ thống này có thể dẫn đến hậu quả không thể đảo ngược. Giải pháp mà họ đề xuất là ngừng hoàn toàn việc phát triển AI. Tôi thấy khó chấp nhận điều này, đặc biệt khi AI đang mang lại những tác động tích cực rõ rệt trong cuộc sống của chúng ta. Quan điểm của tôi: hãy chọn hướng đi trung dung. Chúng ta nên tiếp tục phát triển AI, nhưng phân bổ nhiều nguồn lực hơn đáng kể cho an toàn và đồng bộ hóa AI. Trong cuộc thảo luận nhóm, có người nhắc rằng chỉ khoảng 1 trong 100 nhân viên trong ngành AI làm việc về an toàn AI. Nếu con số này thậm chí chỉ gần đúng, tôi nghĩ sự mất cân bằng này đáng để nghiêm túc xem xét. Các phòng thí nghiệm hàng đầu và chính phủ cần đầu tư nhiều hơn nữa vào việc hiểu rõ cách các hệ thống này hoạt động và an toàn AI, thay vì coi chúng như những hộp đen và chỉ đơn thuần tinh chỉnh chúng. Chúng ta ngày càng xây dựng những hệ thống có thể hành động tự chủ. Những sự cố gần đây liên quan đến các tác nhân AI tương tác với các hệ thống thực tế là lời nhắc nhở rằng vấn đề này đang trở nên cụ thể hơn bao giờ hết. Sau khi đọc cuốn sách này, tôi càng tin chắc rằng an toàn AI xứng đáng nhận được nhiều sự chú ý và nguồn lực hơn rất nhiều so với hiện tại.