source avatarDeltaSignal

Chia sẻ

🔺 Chúng tôi tham gia trễ 20 ngày. Sáu ngày sau, chúng tôi xếp hạng #71. Chúng tôi tham gia Thử thách Tái hiện Agent ICML 2026 sau khi cuộc thi bắt đầu 20 ngày, với ít hơn một tuần còn lại để xây dựng, kiểm thử, tài liệu hóa, công bố và bảo vệ công việc của mình. Sáu ngày sau, AITrailblazer xếp hạng #71 trong số 350 người tham gia—khoảng top 20%—với 44 điểm trên 6 bản tái hiện bài báo được đánh giá. Điểm số này đại diện cho 22 tuyên bố nghiên cứu đã được xác minh hoặc bác bỏ độc lập. Ba sổ nhật ký của chúng tôi đạt điểm tuyệt đối 10/10. Một sổ đạt 8/10. Một sổ khác hiện đang giữ 6/10. Bản đánh giá chứng cứ do Công cụ-Guard bán ra một phần của chúng tôi nhận 0 điểm—và dạy chúng tôi một trong những bài học quan trọng nhất của toàn bộ thử thách. Có sự khác biệt căn bản giữa việc kiểm tra kết quả do tác giả công bố và tái hiện độc lập những kết quả đó. Chúng tôi không có 26 ngày để nghiên cứu bảng xếp hạng, chọn những tuyên bố dễ dàng, tối ưu quy trình và cải thiện dần các bản nộp của mình. Chúng tôi chỉ có sáu ngày. Trong sáu ngày đó, chúng tôi phải tìm các bài báo phù hợp, hiểu các tuyên bố cốt lõi của chúng, tìm mã và dữ liệu đã công bố, thiết kế các bài kiểm tra độc lập, chạy thí nghiệm, lưu giữ chứng cứ, tính toán hàm băm, tài liệu hóa các hạn chế, công bố các không gian Trackio công khai, và chờ một Thẩm phán độc lập. Chúng tôi tập trung vào điều mà tái hiện khoa học thực sự nên nghĩa là: Chứng cứ công khai và có thể kiểm tra. Phương pháp có thể thực thi. Tính toán xác định càng nhiều càng tốt. Hàm băm chính xác và nguồn gốc rõ ràng. Các kiểm soát âm được thiết kế để phát hiện sự đồng thuận giả. Sự phân biệt rõ ràng giữa chứng cứ độc lập và các sản phẩm do tác giả công bố. Tài liệu trung thực về những gì chúng tôi có thể—và không thể—tái hiện. Thành tựu này quan trọng vì AI có thể tạo ra những lời giải thích thuyết phục cực kỳ nhanh chóng. Nhưng tiến bộ khoa học không đến từ những lời giải thích chỉ nghe có vẻ đúng. Nó đến từ những tuyên bố vượt qua được kiểm tra độc lập. Nó cũng đến từ những kết quả âm được tài liệu hóa với sự cẩn trọng tương đương các xác nhận thành công. Thử thách công nhận nguyên tắc này bằng cách trao điểm bằng nhau cho các tuyên bố được xác minh và bị bác bỏ. Điều đó rất quan trọng. Một kết quả nghiêm ngặt cho thấy một tuyên bố không thể tái hiện có thể có giá trị không kém gì so với một xác nhận thành công. Nó ngăn chặn sự tự tin sai lầm, phơi bày các giả định ẩn và cung cấp nền tảng vững chắc hơn cho các nhà nghiên cứu tương lai. Tình hình hiện tại của chúng tôi cũng minh họa lý do vì sao hạ tầng tái hiện lại quan trọng. Bản cập nhật Mô phỏng Dựa trên Dự đoán mới nhất của chúng tôi đã được công khai, hoạt động bình thường và đã được Thẩm phán tự động phát hiện thành công. Tuy nhiên, cả ba lần đánh giá đều thất bại vì bộ định tuyến mô phỏng Hugging Face trả về lỗi HTTP 504 phía máy chủ. Chúng tôi đã yêu cầu tái xếp hàng hành chính mà không thay đổi chứng cứ, không yêu cầu phán quyết thủ công, hay nộp kết quả thay thế. Cho đến khi đánh giá tự động này được khôi phục, bảng xếp hạng vẫn tiếp tục phản ánh 44 điểm và vị trí #71 hiện tại của chúng tôi. Thứ hạng cuối cùng vẫn có thể thay đổi. Các người tham gia khác vẫn tiếp tục nộp bài. Bản cập nhật PPI của chúng tôi vẫn có thể được đánh giá lại. Bảng xếp hạng vẫn đang hoạt động khi thời hạn sắp đến. Nhưng bất kể vị trí cuối cùng là gì, việc đạt được #71 trong số 350 người sau khi tham gia trễ 20 ngày—và làm được điều đó chỉ trong sáu ngày—đã là một thành tựu đáng ghi nhận. Chúng tôi không chỉ tạo ra các bản tóm tắt của các bài báo nghiên cứu. Chúng tôi đã xây dựng một hồ sơ công khai, có thể kiểm tra, cho thấy điều gì đã tồn tại, điều gì đã thất bại, chúng tôi đã kiểm tra như thế nào, và nơi nào chứng cứ kết thúc. Đó mới là hình dạng mà tái hiện nên có. Bảng xếp hạng trực tiếp: https://t.co/ALGcVy1Qng Bản tái hiện mạnh nhất 10/10 của chúng tôi—CoopEval: https://t.co/FW8JxWV4b6 Chúng tôi tham gia trễ 20 ngày. Chúng tôi chỉ có sáu ngày. Chúng tôi lọt vào top 20%. Tái hiện vượt trội hơn lời hứa hẹn. Chứng cứ tích lũy. #ICML2026 #AIResearch #Reproducibility #OpenScience

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể được lấy từ bên thứ ba và không nhất thiết phản ánh quan điểm hoặc ý kiến của KuCoin. Nội dung này chỉ được cung cấp cho mục đích thông tin chung, không có bất kỳ đại diện hay bảo đảm nào dưới bất kỳ hình thức nào và cũng không được hiểu là lời khuyên tài chính hay đầu tư. KuCoin sẽ không chịu trách nhiệm về bất kỳ sai sót hoặc thiếu sót nào hoặc về bất kỳ kết quả nào phát sinh từ việc sử dụng thông tin này. Việc đầu tư vào tài sản kỹ thuật số có thể tiềm ẩn nhiều rủi ro. Vui lòng đánh giá cẩn thận rủi ro của sản phẩm và khả năng chấp nhận rủi ro của bạn dựa trên hoàn cảnh tài chính của chính bạn. Để biết thêm thông tin, vui lòng tham khảo Điều khoản sử dụngTiết lộ rủi ro của chúng tôi.