source avatarDeltaSignal

Compartilhar

🔺 Entramos 20 dias atrasados. Seis dias depois, estamos em #71. Entramos no Desafio de Reprodução de Agentes da ICML 2026 20 dias após seu início, com menos de uma semana para construir, testar, documentar, publicar e defender nosso trabalho. Seis dias depois, o AITrailblazer está classificado em #71 entre 350 participantes — aproximadamente os top 20% — com 44 pontos em seis reproduções de artigos avaliadas. Essa pontuação representa 22 afirmações de pesquisa verificadas ou refutadas independentemente. Três de nossos diários receberam nota máxima de 10/10. Um recebeu 8/10. Outro atualmente tem 6/10. Nossa auditoria parcial de evidência liberada pelo Tool-Guard recebeu zero pontos — e nos ensinou uma das lições mais importantes de todo o desafio. Existe uma diferença fundamental entre verificar os resultados liberados pelo autor e reproduzir independentemente esses resultados. Não tivemos 26 dias para estudar a tabela de classificação, selecionar afirmações fáceis, otimizar nosso processo e melhorar gradualmente nossas submissões. Tivemos seis dias. Nesses seis dias, tivemos que encontrar artigos adequados, compreender suas afirmações centrais, localizar código e dados liberados, projetar testes independentes, executar experimentos, preservar evidências, calcular hashes, documentar limitações, publicar espaços públicos no Trackio e aguardar um Juiz independente. Focamos no que reprodução científica realmente deveria significar: Evidência pública e inspecionável. Métodos executáveis. Cálculos determinísticos sempre que possível. Hashes exatos e proveniência comprovada. Controles negativos projetados para detectar concordâncias falsas. Separação clara entre evidência independente e artefatos liberados pelo autor. Documentação honesta do que conseguimos — e não conseguimos — reproduzir. Essa conquista importa porque a IA pode produzir explicações convincentes extremamente rapidamente. Mas o progresso científico não vem de explicações que simplesmente soam corretas. Ele vem de afirmações que sobrevivem a testes independentes. Também vem de resultados negativos documentados com o mesmo cuidado que confirmações bem-sucedidas. O desafio reconhece esse princípio ao atribuir pontos iguais a afirmações verificadas e refutadas. Isso é importante. Um resultado rigoroso que mostra que uma afirmação não se reproduz pode ser tão valioso para a ciência quanto uma confirmação bem-sucedida. Ele evita falsa confiança, revela pressupostos ocultos e oferece aos pesquisadores futuros uma base mais sólida. Nossa situação atual também demonstra por que a infraestrutura de reprodutibilidade é essencial. Nossa atualização mais recente de Inferência Potencializada por Previsão está pública, saudável e foi detectada com sucesso pelo Juiz automático. No entanto, todas as três tentativas de avaliação falharam porque o roteador de inferência da Hugging Face retornou erros HTTP 504 do lado do serviço. Solicitamos uma reenfileiramento administrativo sem alterar as evidências, solicitar um veredito manual ou enviar um resultado alternativo. Enquanto essa avaliação automática não for recuperada, a tabela de classificação continua refletindo nossos atuais 44 pontos e posição #71. A classificação final ainda pode mudar. Outros participantes continuam enviando trabalhos. Nossa atualização PPI pode ainda ser reavaliada. A tabela permanece ativa à medida que a data limite se aproxima. Mas, independentemente da posição final, alcançar #71 entre 350 após ingressar 20 dias atrasado — e fazer isso em apenas seis dias — já é uma conquista digna de reconhecimento. Não nos limitamos a gerar resumos de artigos de pesquisa. Construímos um registro público e inspecionável mostrando o que resistiu, o que falhou, como testamos e onde as evidências terminaram. É assim que a reprodutibilidade deveria parecer. Tabela de classificação ao vivo: https://t.co/ALGcVy1Qng Nossa reprodução mais forte 10/10 — CoopEval: https://t.co/FW8JxWV4b6 Entramos 20 dias atrasados. Tivemos seis dias. Chegamos aos top 20%. Reprodutibilidade supera hype. Evidência se acumula. #ICML2026 #AIResearch #Reproducibility #OpenScience

Aviso legal: as informações nesta página podem ter sido obtidas de terceiros e não refletem necessariamente os pontos de vista ou opiniões da KuCoin. Este conteúdo é fornecido apenas para fins informativos gerais, sem qualquer representação ou garantia de qualquer tipo, nem deve ser interpretado como aconselhamento financeiro ou de investimento. A KuCoin não é responsável por quaisquer erros ou omissões, ou por quaisquer resultados do uso destas informações. Os investimentos em ativos digitais podem ser arriscados. Avalie cuidadosamente os riscos de um produto e a sua tolerância ao risco com base nas suas próprias circunstâncias financeiras. Para mais informações, consulte nossos termos de uso e divulgação de risco.