Anthropic cảnh báo AI có thể bước vào giai đoạn tự tăng tốc trong thời gian tới

Động sát Beating AI, Anthropic đã cảnh báo trong bản cập nhật hồ sơ IPO ngày 2 tháng 11 rằng AI có thể sớm vượt qua ngưỡng quan trọng liên quan đến “tự cải tiến đệ quy” (RSI), khiến tốc độ phát triển AI tăng tốc đáng kể. Trước đây đã từng xảy ra tình huống không phát hiện kịp thời sự gia tốc rõ rệt trong tiến bộ nghiên cứu, cho đến khi sự gia tốc đã xảy ra. Hiện tại, Claude đã tham gia vào việc viết mã, chạy thí nghiệm và xử lý dữ liệu huấn luyện, hỗ trợ phát triển các mô hình thế hệ tiếp theo mạnh mẽ hơn. Các mô hình mới lại có thể ngược lại thúc đẩy nhanh hơn các nghiên cứu tiếp theo, tạo thành vòng lặp tăng tốc liên tục. Theo chính sách an toàn của Anthropic, có hai trường hợp chạm đến ngưỡng quan trọng này: 1. AI có thể thực hiện toàn bộ công việc của cả đội ngũ nghiên cứu AI với chi phí tương đương; hoặc 2. Làm tăng tốc độ tiến bộ công nghệ AI ít nhất gấp đôi, rút ngắn tiến độ ban đầu cần hai năm xuống còn một năm. Khi AI ngày càng thâm nhập sâu hơn vào chính quá trình nghiên cứu của nó, năng lực mô hình có thể tăng nhanh hơn so với tốc độ cập nhật các đánh giá an toàn, nghiên cứu định hướng và các biện pháp phòng vệ. Anthropic hiện chưa xác định bất kỳ mô hình hiện tại nào đạt đến mức độ này; cảnh báo lần này chủ yếu dựa trên ước tính nội bộ và dự đoán về các mô hình tương lai. Hiện đang xem xét sửa đổi chính sách an toàn để đảm bảo các quy trình nghiên cứu then chốt vẫn được con người giám sát và kiểm soát.