source avatarDeltaSignal

Bagikan

🔺 Kami bergabung 20 hari terlambat. Enam hari kemudian, kami berada di peringkat #71. Kami memasuki ICML 2026 Agent Reproduction Challenge 20 hari setelah dimulai, dengan kurang dari satu minggu tersisa untuk membangun, menguji, mendokumentasikan, mempublikasikan, dan mempertahankan karya kami. Enam hari kemudian, AITrailblazer berada di peringkat #71 dari 350 peserta—sekitar 20% teratas—with 44 poin dari 6 reproduksi makalah yang dinilai. Skor tersebut mewakili 22 klaim penelitian yang secara independen diverifikasi atau dibantah. Tiga buku log kami mendapatkan nilai sempurna 10/10. Satu mendapatkan 8/10. Yang lain saat ini memegang 6/10. Audit bukti yang dirilis sebagian oleh Tool-Guard kami mendapatkan nol poin—dan mengajari kami salah satu pelajaran paling penting sepanjang tantangan ini. Ada perbedaan mendasar antara memeriksa hasil yang dirilis oleh penulis dan mereproduksi hasil tersebut secara independen. Kami tidak memiliki 26 hari untuk mempelajari leaderboard, memilih klaim yang mudah, mengoptimalkan proses, dan secara bertahap meningkatkan submisi kami. Kami hanya memiliki enam hari. Dalam enam hari itu, kami harus menemukan makalah yang sesuai, memahami klaim utamanya, menemukan kode dan data yang dirilis, merancang pengujian independen, menjalankan eksperimen, melestarikan bukti, menghitung hash, mendokumentasikan keterbatasan, mempublikasikan Trackio Spaces publik, dan menunggu seorang Hakim independen. Kami fokus pada apa yang seharusnya dimaksud dengan reproduksi ilmiah: Bukti publik dan dapat diinspeksi. Metode yang dapat dieksekusi. Perhitungan deterministik sejauh mungkin. Hash dan asal-usul yang tepat. Kontrol negatif yang dirancang untuk menangkap kesepakatan palsu. Pemisahan jelas antara bukti independen dan artefak yang dirilis penulis. Dokumentasi jujur tentang apa yang dapat—dan tidak dapat—kami reproduksi. Pencapaian ini penting karena AI dapat menghasilkan penjelasan yang meyakinkan dengan sangat cepat. Namun, kemajuan ilmiah tidak datang dari penjelasan yang hanya terdengar benar. Ia datang dari klaim yang bertahan uji independen. Ia juga datang dari hasil negatif yang didokumentasikan dengan perhatian sama seperti konfirmasi sukses. Tantangan ini mengakui prinsip tersebut dengan memberikan poin yang sama untuk klaim yang diverifikasi dan dibantah. Itu penting. Hasil ketat yang menunjukkan bahwa suatu klaim tidak dapat direproduksi bisa sama berharganya bagi ilmu pengetahuan seperti konfirmasi sukses. Ia mencegah kepercayaan salah, mengungkap asumsi tersembunyi, dan memberi para peneliti masa depan fondasi yang lebih kuat. Situasi kami saat ini juga menunjukkan mengapa infrastruktur reproduktibilitas penting. Pembaruan Inference Berbasis Prediksi terbaru kami bersifat publik, sehat, dan berhasil terdeteksi oleh Hakim otomatis. Namun, semua tiga upaya evaluasi gagal karena router inferensi Hugging Face mengembalikan kesalahan HTTP 504 sisi layanan. Kami telah meminta requeue administratif tanpa mengubah bukti, meminta keputusan manual, atau mengirimkan hasil alternatif. Sampai evaluasi otomatis ini pulih, leaderboard tetap mencerminkan 44 poin dan posisi #71 kami yang ada. Peringkat akhir masih bisa berubah. Peserta lain terus mengirimkan karya. Pembaruan PPI kami mungkin masih dievaluasi ulang. Leaderboard tetap aktif menjelang batas waktu. Namun, apa pun posisi akhirnya, mencapai peringkat #71 dari 350 setelah bergabung 20 hari terlambat—dan melakukannya hanya dalam enam hari—sudah merupakan pencapaian yang layak diakui. Kami tidak hanya menghasilkan ringkasan makalah penelitian. Kami membangun catatan publik dan dapat diinspeksi yang menunjukkan apa yang bertahan, apa yang gagal, bagaimana kami mengujinya, dan di mana buktinya berakhir. Itulah bentuk reproduktibilitas yang seharusnya. Leaderboard langsung: https://t.co/ALGcVy1Qng Reproduksi terkuat kami 10/10—CoopEval: https://t.co/FW8JxWV4b6 Kami bergabung 20 hari terlambat. Kami memiliki enam hari. Kami mencapai 20% teratas. Reproduktibilitas mengalahkan hiruk-pikuk. Bukti bersifat komponen. #ICML2026 #AIResearch #Reproducibility #OpenScience

Penafian: Informasi pada halaman ini mungkin telah diperoleh dari pihak ketiga dan tidak mencerminkan pandangan atau opini KuCoin. Konten ini disediakan hanya untuk tujuan informasi umum, tanpa representasi atau jaminan apa pun, dan tidak dapat ditafsirkan sebagai saran keuangan atau investasi. KuCoin tidak bertanggung jawab terhadap segala kesalahan atau kelalaian, atau hasil apa pun yang keluar dari penggunaan informasi ini. Berinvestasi di aset digital dapat berisiko. Harap mengevaluasi risiko produk dan toleransi risiko Anda secara cermat berdasarkan situasi keuangan Anda sendiri. Untuk informasi lebih lanjut, silakan lihat Ketentuan Penggunaan dan Pengungkapan Risiko.