source avatarDeltaSignal

分享

🔺 我們晚了20天才加入。六天後,我們排名第71名。 我們在ICML 2026代理人還原挑戰賽開始20天後才加入,當時距離完成構建、測試、文檔撰寫、發布和辯護僅剩不到一週時間。 六天後,AITrailblazer在350名參賽者中排名第71名,約為前20%,在6項被評審的論文還原中獲得44分。 這一成績代表了22項研究主張被獨立驗證或證偽。 我們的三本日誌獲得了滿分10/10。 一本獲得8/10。 另一本目前為6/10。 我們部分發布的Tool-Guard證據審計獲得零分,但也讓我們學到了整個挑戰中最重要的一課: 檢查作者發布的結果,與獨立還原這些結果,存在根本性差異。 我們沒有26天的時間來研究排行榜、選擇簡單主張、優化流程並逐步改進提交內容。 我們只有六天。 在這六天裡,我們必須找到合適的論文、理解其核心主張、定位已發布的代碼與數據、設計獨立測試、運行實驗、保存證據、計算哈希值、記錄限制條件、發布公開的Trackio Spaces,並等待獨立評審員。 我們專注於科學還原應真正意味的內容: 公開且可檢視的證據。 可執行的方法。 盡可能確定性的計算。 精確的哈希值與來源追溯。 設計負面控制以捕捉虛假一致。 明確區分獨立證據與作者發布的工件。 誠實記錄我們能還原與不能還原的部分。 這一成就之所以重要,是因為AI能夠極快地生成看似合理的解釋。 但科學進步並非來自僅僅聽起來正確的解釋。 它來自能通過獨立測試的主張。 它也來自與成功確認一樣仔細記錄的負面結果。 該挑戰通過對驗證與證偽主張給予同等分數,認可了這一原則。 這非常重要。 一項嚴謹的結果,證明某主張無法還原,其對科學的價值可能與成功確認一樣大。它能防止錯誤的自信、揭示隱藏假設,並為未來研究者奠定更堅實的基礎。 我們目前的情況也說明了還原性基礎設施的重要性。 我們最新的Prediction-Powered Inference更新已公開、運行正常,並被自動評審員成功檢測到。 然而,三次評估嘗試均失敗,因為Hugging Face推理路由器返回了服務端HTTP 504錯誤。 我們已請求管理層重新排隊,未更改證據、未請求人工裁決,也未提交替代結果。 在自動評估恢復之前,排行榜仍反映我們現有的44分與第71名位置。 最終排名仍可能改變。 其他參賽者仍在提交成果。我們的PPI更新仍可能被重新評估。隨著截止日期臨近,排行榜仍持續更新。 但無論最終排名如何,在晚了20天加入的情況下,僅用六天便達到350人中的第71名,這已是值得認可的成就。 我們不僅僅生成了研究論文的摘要。 我們建立了一個公開且可檢視的記錄,顯示哪些內容通過了測試、哪些失敗了、我們如何測試、以及證據何處終止。 這才是還原性應有的樣貌。 即時排行榜: https://t.co/ALGcVy1Qng 我們最出色的10/10還原-CoopEval: https://t.co/FW8JxWV4b6 我們晚了20天才加入。我們只有六天。我們進入了前20%。 還原性勝過炒作。 證據累積疊加。 #ICML2026 #AIResearch #Reproducibility #OpenScience

免責聲明:本頁面資訊可能來自第三方,不一定反映KuCoin的觀點或意見。本內容僅供一般參考之用,不構成任何形式的陳述或保證,也不應被解釋為財務或投資建議。 KuCoin 對任何錯誤或遺漏,或因使用該資訊而導致的任何結果不承擔任何責任。 虛擬資產投資可能存在風險。請您根據自身的財務狀況仔細評估產品的風險以及您的風險承受能力。如需了解更多信息,請參閱我們的使用條款風險披露