🔺 20 gün geç girdik. Altı gün sonra #71 konumundayız. ICML 2026 Agent Reproduction Challenge’ine başlamasından 20 gün sonra, çalışmalarımızı oluşturmak, test etmek, belgelemek, yayınlamak ve savunmak için sadece bir haftadan az süremiz kaldı. Altı gün sonra, AITrailblazer, 350 katılımcı arasında 44 puanla #71 konumunda—yaklaşık %20’nin üstünde—ve 6 adet değerlendirilen makale yeniden üretimi üzerinden. Bu puan, bağımsız olarak doğrulanmış veya çürütülmüş 22 araştırma iddiasını temsil ediyor. Log kitaplarımızdan üçü mükemmel 10/10 puan aldı. Biri 8/10 puan aldı. Diğeri şu anda 6/10 puanla yer alıyor. Kısmen yayınlanan Tool-Guard kanıt denetimi sıfır puan aldı ve bize tüm yarışmanın en önemli derslerinden birini öğretti. Yazarın yayınladığı sonuçları kontrol etmek ile bu sonuçları bağımsız olarak yeniden üretmek arasında temel bir fark var. 26 günümüz olsaydı, lider tablosunu inceleyebilir, kolay iddiaları seçebilir, sürecimizi optimize edebilir ve teslimlerimizi yavaş yavaş geliştirebilirdik. Ama sadece altı günümüz vardı. Bu altı gün içinde, uygun makaleleri bulmalı, temel iddialarını anlamalı, yayınlanan kod ve verileri bulmalı, bağımsız testler tasarlamalı, deneyler çalıştırmalı, kanıtları korumalı, hash değerlerini hesaplamalı, sınırlamaları belgelemeli, genel Trackio Alanları yayınlamalı ve bağımsız bir Hakem’in cevabını beklemeliydik. Ne anlama geldiğini bilimsel yeniden üretimin gerçekten ne olduğunu odaklandık: Kamuoyu tarafından incelenebilir kanıt. Çalıştırılabilir yöntemler. Mümkün olduğunca belirli hesaplamalar. Tam hash değerleri ve köken bilgisi. Yanlış uyumları yakalamak için tasarlanmış negatif kontroller. Bağımsız kanıt ile yazarın yayınladığı araçlar arasında net ayrım. Neyi yeniden üretebildiğimizi ve neyi üretemediğimizi dürüstçe belgelemek. Bu başarı önemlidir çünkü yapay zeka çok hızlı ikna edici açıklamalar üretebilir. Ancak bilimsel ilerleme sadece doğru görünmesiyle yetinmeyen açıklamalardan gelmez. Bağımsız testlerden geçebilen iddialardan gelir. Ayrıca başarılı doğrulamalar kadar dikkatle belgelenmiş negatif sonuçlardan da gelir. Yarışma, doğrulanmış ve çürütülmüş iddialara eşit puan vererek bu ilkeyi tanır. Bu önemlidir. Bir iddianın yeniden üretilmediğini gösteren titiz bir sonuç, başarılı bir doğrulama kadar bilime değerli olabilir. Yanlış güveni önler, gizli varsayımları ortaya çıkarır ve gelecek araştırmacılar için daha güçlü bir temel sunar. Mevcut durumumuz aynı zamanda yeniden üretilebilirlik altyapısının neden önemli olduğunu gösteriyor. En yeni Prediction-Powered Inference güncellememiz genel erişime açılmış, sağlıklı ve otomatik Hakem tarafından başarıyla algılanmış durumda. Ancak üç değerlendirme denemesi de Hugging Face inference yönlendiricisi tarafından servis tarafında HTTP 504 hataları döndüğü için başarısız oldu. Kanıtı değiştirmeden, manuel bir karar talep etmeden veya alternatif bir sonuç göndermeden, yönetimsel bir yeniden sıralama talep ettik. Bu otomatik değerlendirme yeniden aktif hale gelene kadar, lider tablosu mevcut 44 puanımızı ve #71 pozisyonumuzu yansıtmaya devam ediyor. Son sıralama hâlâ değişebilir. Diğer katılımcılar çalışmaya devam ediyor. PPI güncellememiz hâlâ yeniden değerlendirilebilir. Sınır yaklaşırken lider tablosu aktif kalıyor. Ancak son pozisyon ne olursa olsun, 20 gün geç girip sadece altı günde 350 katılımcı arasında #71 konumuna ulaşmak, tanınmaya değer bir başarıdır. Sadece araştırma makalelerinin özetlerini üretmedik. Ne işe yaradığını, ne başarısız olduğunu, nasıl test ettiğimizi ve kanıtın nerede bittiğini gösteren kamuoyu tarafından incelenebilir bir kayıt inşa ettik. İşte yeniden üretilebilirliğin nasıl görünmesi gerektiği. Canlı lider tablosu: https://t.co/ALGcVy1Qng En güçlü 10/10 yeniden üretimi—CoopEval: https://t.co/FW8JxWV4b6 20 gün geç girdik. Altı günümüz vardı. %20’nin üstüne vardık. Yeniden üretilebilirlik, hiperbolu yener. Kanıt birikir. #ICML2026 #AIResearch #Reproducibility #OpenScience
DeltaSignalPaylaş
Kaynak:Orijinalini göster
Yasal Uyarı: Bu sayfadaki bilgiler üçüncü şahıslardan alınmış olabilir ve KuCoin'in görüşlerini veya fikirlerini yansıtmayabilir. Bu içerik, herhangi bir beyan veya garanti olmaksızın yalnızca genel bilgilendirme amacıyla sağlanmıştır ve finansal veya yatırım tavsiyesi olarak yorumlanamaz. KuCoin, herhangi bir hata veya eksiklikten veya bu bilgilerin kullanımından kaynaklanan sonuçtan sorumlu değildir.
Dijital varlıklara yapılan yatırımlar riskli olabilir. Lütfen bir ürünün risklerini ve risk toleransınızı kendi finansal koşullarınıza göre dikkatlice değerlendirin. Daha fazla bilgi için lütfen Kullanım Koşullarımıza ve Risk Açıklamamıza bakınız.