Một điều khiến tôi ấn tượng về ExpRL là nó phơi bày giới hạn trong cách chúng ta hiện tại nghĩ về tiến bộ của AI. Hầu hết các bộ kiểm tra chỉ đo lường xem mô hình có đưa ra câu trả lời đúng hay không. Chúng hiếm khi đo lường có bao nhiêu ý tưởng hữu ích đã được khám phá và loại bỏ dọc theo hành trình. Sự đổi mới của con người thường xuất phát từ những nỗ lực thất bại, không phải từ những nỗ lực hoàn hảo. Một nhà khoa học có thể kiểm tra hàng trăm giả thuyết sai trước khi tìm ra giả thuyết đúng. Nhưng RL truyền thống coi mọi con đường thất bại đều vô giá trị như nhau. ExpRL gợi ý rằng có thể có những thông tin quý giá ẩn giấu trong những thất bại đó. Ý tưởng này dường như quan trọng hơn cả các bộ kiểm tra toán học. Khi các tác nhân AI trở nên mạnh mẽ hơn, những người chiến thắng có thể không phải là các mô hình tìm ra câu trả lời nhanh nhất, mà là những mô hình học được nhiều nhất từ những sai lầm của mình. Đây cũng là lý do tại sao việc xác minh lại quan trọng. Nếu không có cách đánh giá đáng tin cậy đối với lập luận và đầu ra trung gian, chúng ta không thể phân biệt được sự khám phá hiệu quả với ảo giác thuần túy. Tương lai của AI có thể phụ thuộc ít hơn vào việc tạo ra câu trả lời và nhiều hơn vào việc hiểu rõ những sai lầm nào đáng để học hỏi. @ritualnet