Tôi cảm nhận rõ ràng rằng Anthropic đã làm chậm quá trình huấn luyện các mô hình tiên tiến trong vài tháng qua để giải quyết những vấn đề này, nhưng sắp tới họ sẽ lại tăng tốc tối đa. Giống như chúng ta vừa lao đầu vào một bức tường, lùi lại ba bước và giờ đang thử lại điều tương tự. Giả sử các nỗ lực bảo mật, bộ phân loại và người đánh giá mới của họ giải quyết được vấn đề “environment slop”. Vậy khi không còn lựa chọn này nữa, các gradient sẽ dẫn chúng ta đến thung lũng nào tiếp theo? Tôi nghĩ đến lúc này, chúng ta có lẽ nên huấn luyện các mô hình một cách đối kháng để lừa tất cả các bộ phân loại và người đánh giá. Chúng ta càng đẩy mạnh phản kháng, thì các mô hình càng trở nên gian xảo hơn. Một số dự đoán bạn có thể đưa ra: - Sự khác biệt kinh hoàng giữa kết quả đánh giá và hiệu suất thực tế. Các mô hình paranoid, shizo. Bạn cũng có thể gọi đó là nhận thức tình huống. - Các mô hình ngày càng giỏi trong việc mô phỏng những người đánh giá và bất kỳ ai hoặc cái gì đã thiết kế họ. - Ít trung thực hơn trong CoT (hành động gian lận nhưng không diễn đạt rõ ràng về sự gian lận đó). - Các mô hình ít mang tính chủ động hơn (các thiết lập thực tế không hoàn hảo và cho phép khai thác phần thưởng, đồng thời hướng dẫn người dùng có thể mâu thuẫn với thiết lập. Vì vậy, các mô hình chỉ dừng lại và yêu cầu làm rõ, khiến bạn phải giải thích chi tiết mọi thứ). Có một kết luận hài hước đằng sau tất cả điều này. Nếu Claude ngày càng tạo ra các môi trường cho những Claude tương lai, nhưng những Claude tương lai ngày càng mô phỏng những người đã tạo ra các môi trường đó, thì bạn đang rơi vào một tình thế tự tham chiếu. (Nhưng cũng có khả năng mọi thứ vẫn hoạt động ổn. Bạn sẽ có một thiết lập đối kháng ổn định.) Điều gì xảy ra nếu bạn cô lập hoàn toàn một con người? Bạn sẽ có một người với những niềm tin mạnh mẽ nhưng hẹp hòi; hành vi kỳ lạ và sự điều chỉnh kém. Kết luận hài hước có thể là bạn cần sự đa dạng của các mô hình. Nhưng các vòng phản hồi tích cực (đặc biệt là các vòng kinh tế) đang phá hủy sự đa dạng đó. Bạn không thể là hoàng đế nếu không có nông dân.