source avatarDeltaSignal

Kongsi

🔺 Kami menyertai 20 hari lewat. Enam hari kemudian, kami berada di kedudukan #71. Kami memasuki Cabaran Replikasi Agen ICML 2026 20 hari selepas ia bermula, dengan kurang daripada seminggu tinggal untuk membina, menguji, mendokumentasikan, menerbitkan, dan membela kerja kami. Enam hari kemudian, AITrailblazer berada di kedudukan #71 daripada 350 peserta—kira-kira 20% teratas—with 44 mata dari 6 reproduksi kertas yang dinilai. Skor itu mewakili 22 tuntutan penyelidikan yang telah disahkan atau dibantah secara bebas. Tiga buku log kami mendapat markah sempurna 10/10. Satu mendapat 8/10. Satu lagi kini memegang 6/10. Audit bukti yang dikeluarkan sebahagian oleh Tool-Guard kami mendapat sifar mata—dan mengajar kami satu pelajaran paling penting sepanjang cabaran ini. Terdapat perbezaan asas antara memeriksa keputusan yang dikeluarkan oleh pengarang dan mereplikasi keputusan tersebut secara bebas. Kami tidak mempunyai 26 hari untuk mengkaji papan pemimpin, memilih tuntutan yang mudah, mengoptimumkan proses, dan meningkatkan penghantaran kami secara beransur-ansur. Kami hanya mempunyai enam hari. Dalam enam hari itu, kami perlu mencari kertas yang sesuai, memahami tuntutan utama mereka, mencari kod dan data yang dikeluarkan, mereka ujian bebas, menjalankan eksperimen, mengawal bukti, mengira hash, mendokumentasikan hadasan, menerbitkan Ruang Trackio awam, dan menunggu seorang Hakim bebas. Kami fokus pada apa yang sebenarnya bermaksud replikasi saintifik: Bukti awam dan boleh diperiksa. Kaedah boleh dijalankan. Kiraan deterministik sejauh mungkin. Hash tepat dan asal-usul yang terbukti. Kawalan negatif yang direka untuk menangkap persetujuan palsu. Pemisahan jelas antara bukti bebas dan artefak yang dikeluarkan oleh pengarang. Dokumentasi jujur tentang apa yang kami boleh—dan tidak boleh—replikasi. Pencapaian ini penting kerana AI boleh menghasilkan penjelasan yang meyakinkan dengan sangat pantas. Tetapi kemajuan saintifik tidak datang daripada penjelasan yang hanya kelihatan betul. Ia datang daripada tuntutan yang bertahan ujian bebas. Ia juga datang daripada keputusan negatif yang didokumentasikan dengan perhatian yang sama seperti pengesahan berjaya. Cabaran ini mengiktiraf prinsip ini dengan memberikan mata yang sama kepada tuntutan yang disahkan dan dibantah. Itu penting. Keputusan ketat yang menunjukkan bahawa satu tuntutan tidak boleh direplikasi boleh sama bernilainya dengan pengesahan berjaya dalam sains. Ia mencegah keyakinan palsu, mengungkap anggapan tersembunyi, dan memberikan asas yang lebih kukuh kepada penyelidik masa depan. Situasi semasa kami juga menunjukkan mengapa infrastruktur replikabiliti penting. Kemas kini Inferens Berkuasa Ramalan terbaru kami adalah awam, sihat, dan berjaya dikesan oleh Hakim automatik. Namun, ketiga-tiga percubaan penilaian gagal kerana penghala inferens Hugging Face mengembalikan ralat HTTP 504 di sisi perkhidmatan. Kami telah meminta pengulangan semula pentadbiran tanpa mengubah bukti, meminta keputusan manual, atau menghantar keputusan alternatif. Sehingga penilaian automatik ini dipulihkan, papan pemimpin terus menunjukkan 44 mata dan kedudukan #71 kami yang sedia ada. Peringkat akhir mungkin masih berubah. Peserta lain terus menghantar kerja. Kemas kini PPI kami mungkin masih dinilai semula. Papan pemimpin masih aktif menjelang tarikh akhir. Tetapi apapun kedudukan akhirnya, mencapai #71 daripada 350 selepas menyertai 20 hari lewat—dan melakukannya hanya dalam enam hari—sudah merupakan pencapaian yang patut diiktiraf. Kami tidak sekadar menghasilkan ringkasan kertas penyelidikan. Kami membina rekod awam dan boleh diperiksa yang menunjukkan apa yang bertahan, apa yang gagal, bagaimana kami mengujinya, dan di mana bukti berakhir. Itulah bentuk replikabiliti yang seharusnya. Papan pemimpin langsung: https://t.co/ALGcVy1Qng Replikasi 10/10 terkuat kami—CoopEval: https://t.co/FW8JxWV4b6 Kami menyertai 20 hari lewat. Kami hanya mempunyai enam hari. Kami mencapai 20% teratas. Replikabiliti mengalahkan hiperbola. Bukti bertambah ganda. #ICML2026 #AIResearch #Reproducibility #OpenScience

Penafian: Maklumat yang terdapat pada halaman ini mungkin telah diperoleh daripada pihak ketiga dan tidak semestinya menggambarkan pandangan atau pendapat KuCoin. Kandungan ini adalah disediakan bagi tujuan maklumat umum sahaja, tanpa sebarang perwakilan atau waranti dalam apa jua bentuk, dan juga tidak boleh ditafsirkan sebagai nasihat kewangan atau pelaburan. KuCoin tidak akan bertanggungjawab untuk sebarang kesilapan atau pengabaian, atau untuk sebarang akibat yang terhasil daripada penggunaan maklumat ini. Pelaburan dalam aset digital boleh membawa risiko. Sila menilai risiko produk dan toleransi risiko anda dengan teliti berdasarkan keadaan kewangan anda sendiri. Untuk maklumat lanjut, sila rujuk kepada Terma Penggunaan dan Pendedahan Risiko kami.