🔺 私たちは20日遅れて参加しました。6日後、私たちは#71位です。 ICML 2026 Agent Reproduction Challengeには、開始から20日経過した時点で参加し、作成・テスト・文書化・公開・防衛のための残り期間は1週間未満でした。 6日後、AITrailblazerは350名の参加者中71位（上位約20％）となり、6つの審査対象論文の再現に対して合計44点を獲得しました。 この得点は、22の研究主張を独立して検証または反証した結果を表しています。 私たちのログブックのうち3つは満点の10/10を獲得しました。 1つは8/10、もう1つは現在6/10です。 一部公開されたTool-Guardの証拠監査は0点でしたが、この経験から、このチャレンジで最も重要な教訓の1つを学びました。 著者が公開した結果を確認することと、その結果を独立して再現することは本質的に異なります。 私たちは26日間、リーダーボードを分析し、簡単な主張を選定し、プロセスを最適化し、段階的に提出物を改善する時間はありませんでした。 たった6日間しかありませんでした。 その6日間で、適切な論文を見つけ、その中心的な主張を理解し、公開されたコードとデータを特定し、独立したテストを設計し、実験を実行し、証拠を保存し、ハッシュ値を計算し、制限事項を文書化し、公開されたTrackio Spacesを公開し、独立した審査官の判定を待つ必要がありました。 私たちは、科学的再現性が本来意味するところに焦点を当てました： 公開され、検証可能な証拠。 実行可能な方法。 可能な限り決定論的な計算。 正確なハッシュ値と由来情報。 偽の一致を検出するためのネガティブコントロール。 独立した証拠と著者が公開した成果物との明確な分離。 再現できたものとできなかったものを正直に文書化すること。 この成果が重要である理由は、AIが非常に迅速に説得力のある説明を生成できるからです。 しかし科学的進歩は、単に正しそうに聞こえる説明から生じるのではありません。 それは、独立した検証に耐えられる主張から生じます。 また、成功した確認と同じ丁寧さで記録されたネガティブな結果からも生じます。 このチャレンジは、検証された主張と反証された主張に同等の得点を与えることで、この原則を認めています。 これは重要です。 主張が再現できないことを示す厳密な結果は、成功した確認と同じくらい科学にとって価値があります。それは誤った自信を防ぎ、隠れた仮定を明らかにし、将来の研究者により堅固な基盤を提供します。 私たちの現在の状況は、再現性インフラがなぜ重要であるかも示しています。 私たちの最新のPrediction-Powered Inference更新版は公開され、正常に動作しており、自動審査官によって正常に検出されました。 しかし、すべての3回の評価試行が失敗しました。理由はHugging Faceの推論ルーターがサーバーサイドのHTTP 504エラーを返したためです。 私たちは証拠を変更せず、手動による判定を求めず、代替結果を提出せず、単に管理側による再キューイングを依頼しました。 この自動評価が回復するまで、リーダーボードは現在の44点と#71位の状態を維持しています。 最終的な順位はまだ変動する可能性があります。 他の参加者は引き続き提出を行っており、私たちのPPI更新版は再評価される可能性があります。締切が近づくにつれ、リーダーボードは引き続きアクティブです。 しかし最終的な順位がどうなるかに関わらず、20日遅れて参加し、わずか6日で350人中71位（上位20％）に到達したことは、すでに称賛に値する成果です。 私たちは単に研究論文の要約を生成したわけではありません。 何が成功し、何が失敗したか、どのように検証したか、証拠がどこで終わるかを示す公開され検証可能な記録を構築しました。 これが再現性が本来あるべき姿です。 リアルタイムリーダーボード： https://t.co/ALGcVy1Qng 私たちの最も優れた10/10再現-CoopEval： https://t.co/FW8JxWV4b6 私たちは20日遅れて参加しました。6日間しかありませんでした。しかし上位20％に到達しました。 再現性は宣伝に勝る。 証拠は累積する。 #ICML2026 #AIResearch #Reproducibility #OpenScience