🔺 Kumita namin ang 20 araw na huli. Anim na araw pagkatapos, nasa #71 kami. Nakilahok kami sa ICML 2026 Agent Reproduction Challenge 20 araw pagkatapos magsimula, na may higit sa isang linggo na natitira upang buuin, subukan, dokumentuhin, i-publish, at ipagtanggol ang aming gawa. Anim na araw pagkatapos, ang AITrailblazer ay nasa #71 sa gitna ng 350 na kalahok—tumutukoy sa top 20%—na may 44 puntos sa pamamagitan ng 6 na pinagpapasiyang pag-uulit ng papel. Ang puntos na ito ay kumakatawan sa 22 na mga pahayag ng pananaliksik na pinatotohanan o pinagbago nang hiwalay. Tatlo sa aming mga logbook ay nakakuha ng perpektong 10/10. Isa ay nakakuha ng 8/10. Ang isa pa ay kasalukuyang may 6/10. Ang aming bahagyang Tool-Guard na inilabas-ebidensya na audit ay nakakuha ng zero puntos—at nagturo sa amin ng isa sa pinakamahalagang aral ng buong challenge. May fundamental na pagkakaiba sa pag-check sa mga inilabas na resulta ng may-akda at sa pag-uulit nang hiwalay ng mga resultang iyon. Hindi kami may 26 araw upang pag-aralan ang leaderboard, piliin ang mga madaling pahayag, i-optimize ang aming proseso, at paulit-ulit na mapabuti ang aming mga pagsubmit. Mayroon kaming anim na araw. Sa anim na araw na iyon, kailangan naming hanapin ang mga angkop na papel, maunawaan ang kanilang pangunahing pahayag, hanapin ang inilabas na code at data, disenyoan ang mga hiwalay na pagsubok, patakbuhin ang mga eksperimento, panatilihin ang ebidensya, kalkulahin ang mga hash, dokumentuhin ang mga limitasyon, i-publish ang mga public Trackio Spaces, at maghintay sa isang hiwalay na Judge. Pinuntahan namin kung ano talaga ang dapat ibig sabihin ng scientific reproduction: Publiko at mainspect na ebidensya. Mga executable na paraan. Deterministikong kalkulasyon kung saan posible. Tumpak na mga hash at provenance. Negative controls na disenyo upang matukoy ang maling pagkakasundo. Malinaw na paghihiwalay sa pagitan ng hiwalay na ebidensya at mga inilabas na artifact ng may-akda. Tapat na dokumentasyon kung ano ang aming maaari—at hindi maaaring—ulitin. Mahalaga ang tagumpay na ito dahil maaaring gumawa ng kapani-paniwala mga paliwanag ang AI nang napakabilis. Ngunit hindi mula sa mga paliwanag na tila tama lamang ang pag-unlad ng agham. Ito ay mula sa mga pahayag na nakaligtas sa hiwalay na pagsubok. Ito rin ay mula sa mga negative resulta na dokumentado nang parehong karampatan tulad ng matagumpay na pagpapatotohanan. Kinikilala ng challenge ang prinsipyong ito sa pamamagitan ng pagbigay ng pantay na puntos sa mga pinatotohanan at pinagbagoang pahayag. Mahalaga ito. Ang isang masusing resulta na nagpapakita na isang pahayag ay hindi maaaring ulitin ay maaaring magkasinghalaga sa agham tulad ng isang matagumpay na pagpapatotohanan. Ito ay nagpapigil sa maling tiwala, nagpapakita ng lihim na aksiyoma, at nagbibigay ng mas matibay na pundasyon sa mga susunod na mananaliksik. Ang aming kasalukuyang kalagayan ay nagpapakita rin kung bakit mahalaga ang infrastruktura ng reproducibility. Ang aming pinakabagong PPI (Prediction-Powered Inference) update ay publiko, malusog, at matagumpay na natukoy ng automatic Judge. Gayunpaman, lahat ng tatlong pagtataya ay nabigo dahil ang Hugging Face inference router ay bumalik ng service-side HTTP 504 errors. Humingi kami ng administrative requeue nang hindi nagbago ng ebidensya, hindi humiling ng manual verdict, o sumubmit ng alternatibong resulta. Hanggang sa mabawi ang automatic evaluation, patuloy pa ring ipinapakita ng leaderboard ang aming umiiral na 44 puntos at #71 position. Ang huling ranking ay maaari pang magbago. Patuloy pa ring sumusubmit ang iba pang kalahok. Maaari pa ring mabawi ulit ang aming PPI update. Patuloy pa ring aktibo ang leaderboard habang malapit na ang deadline. Ngunit anuman ang huling posisyon, ang pagkamit ng #71 sa gitna ng 350 pagkatapos makilahok 20 araw na huli—at gawin ito sa anim lamang na araw—ay isang tagumpay na dapat kilalanin. Hindi lamang kami gumawa ng mga summary ng mga papel ng pananaliksik. Bumuo kami ng isang publiko at mainspect na rekord na nagpapakita kung ano ang tumagal, ano ang nabigo, paano namin ito sinubukan, at kung saan natapos ang ebidensya. Ito ang dapat mukha ng reproducibility. Live leaderboard: https://t.co/ALGcVy1Qng Ang aming pinakamatatag na 10/10 reproduction—CoopEval: https://t.co/FW8JxWV4b6 Kumita kami 20 araw na huli. Mayroon kaming anim na araw. Kumita kami sa top 20%. Ang reproducibility ay lumalampas sa hype. Ang ebidensya ay tumutubo. #ICML2026 #AIResearch #Reproducibility #OpenScience