🔺 Ми приєдналися зі запізненням на 20 днів. Через шість днів ми на #71. Ми вступили до виклику на відтворення агентів ICML 2026 через 20 днів після його початку, залишивши менше тижня на створення, тестування, документування, публікацію та захист нашої роботи. Через шість днів AITrailblazer займає 71-е місце з 350 учасників — приблизно топ-20% — з 44 балами за шість оцінених відтворень статей. Цей результат відповідає 22 науковим твердженням, незалежно перевіреним або спростованим. Три з наших журналів отримали ідеальні 10/10. Один — 8/10. Інший зараз має 6/10. Наша часткова перевірка з використанням випущеного інструменту Tool-Guard не отримала жодного балу — і навчила нас однієї з найважливіших уроків усього виклику. Існує фундаментальна різниця між перевіркою результатів, опублікованих автором, та незалежним відтворенням цих результатів. У нас не було 26 днів, щоб вивчити лідербординг, вибрати прості твердження, оптимізувати процес і поступово покращувати наші публікації. У нас було шість днів. За ці шість днів ми мусили знайти відповідні статті, зрозуміти їхні основні твердження, знайти опублікований код і дані, розробити незалежні тести, запустити експерименти, зберегти докази, розрахувати хеш-значення, задокументувати обмеження, опублікувати публічні Trackio Spaces та чекати на незалежного суддю. Ми зосередилися на тому, що насправді має означати наукове відтворення: Публічні та перевіряні докази. Виконувані методи. Детерміновані розрахунки, де це можливо. Точні хеш-значення та походження. Негативні контролі, розроблені для виявлення хибної згоди. Чітке розділення між незалежними доказами та артефактами, опублікованими автором. Щире документування того, що ми змогли — і не змогли — відтворити. Це досягнення має значення, бо ШІ може швидко генерувати переконливі пояснення. Але науковий прогрес не виникає з пояснень, які лише звучать правильно. Він виникає з тверджень, які витримують незалежне тестування. Він також виникає з негативних результатів, задокументованих з такою ж увагою, як і успішні підтвердження. Виклик визнає цей принцип, присуджуючи однакову кількість балів за підтверджені та спростовані твердження. Це важливо. Ригорозний результат, що показує, що твердження не вдається відтворити, може бути так само цінним для науки, як і успішне підтвердження. Він запобігає хибному самопереконанню, виявляє приховані припущення та надає майбутнім дослідникам міцнішу основу. Наша поточна ситуація також демонструє, чому інфраструктура відтворюваності має значення. Наше найновіше оновлення Prediction-Powered Inference є публічним, працездатним і було успішно виявлене автоматичним суддею. Проте всі три спроби оцінки провалилися через HTTP-помилки 504 на стороні сервера Hugging Face inference router. Ми подали запит на адміністративне повторне додавання без зміни доказових матеріалів, без запиту на ручне розглядання чи подання альтернативного результату. Доки автоматична оцінка не буде відновлена, лідербординг продовжує відображати наш поточний результат — 44 бали та #71 позицію. Остаточне місце ще може змінитися. Інші учасники продовжують подавати роботи. Наше оновлення PPI може бути повторно оцінене. Лідербординг залишається активним до закриття терміну. Але яким би не був остаточний результат, досягти #71 з 350 позицій після приєднання з запізненням на 20 днів — і зробити це лише за шесть днів — це вже досягнення, яке варте визнання. Ми не просто генерували короткi узагальнення наукових статей. Ми створили публічний, перевіряний запис того, що витримало перевірку, що не вдалося, як ми це тестували та де заканчувалися докази. Ось як має виглядати відтворюванiсть. Актуальний лідербординг: https://t.co/ALGcVy1Qng Наше найсильнiше вiдтворення 10/10 — CoopEval: https://t.co/FW8JxWV4b6 Ми приєдналися з запiзненням на 20 днiв. У нас було шiсть днiв. Ми потрапили до топ-20%. Вiдтворюванiсть перемагає гучний шум. Докази накопичуються. #ICML2026 #AIResearch #Reproducibility #OpenScience