As pessoas do laboratório de ponta quase não leem mais artigos?
Um pesquisador da OpenAI atirou contra três principais conferências com uma única frase: muita exageração e falsificação!
A causa do incidente foi um artigo da ICLR cujos resultados eram tão bons que pareciam inexplicáveis; os internautas investigaram e descobriram o "segredo".
Será que publicar artigos em conferências de alto nível já evoluiu até esse ponto?
Primeiro, verifique se o código é de código aberto; segundo, verifique se há alguma "maneira duvidosa" escondida nos métodos experimentais; só então, avalie se os resultados obtidos realmente sustentam a conclusão central — ao passar por essa série de questionamentos, quantos artigos de conferências de alto nível realmente resistem à verificação?
Alguém realmente fez isso.
Das 105 artigos, apenas 8 estão "aprovados"
Em julho deste ano, a SAI, co-fundada pelo professor associado de ciência da computação e ciência de dados da Universidade de Chicago, Tan Chenhao, divulgou um grande "experimento de revisão por pares".
Eles selecionaram as 168 artigos orais completos do ICML 2026.
Este ano, o ICML recebeu 23.918 submissões, e apenas 168 foram selecionadas para apresentação oral, representando cerca de 0,7%.
Em outras palavras, o SAI já selecionou os melhores dentre mais de vinte mil submissões.
Além de ler o artigo, o design experimental e os resultados da mesma forma que revisores tradicionais, o SAI Review também faz o download do código, modelos e dados, configura o ambiente e executa os experimentos, por fim, comparando item a item os resultados obtidos com o texto original do artigo.
SAI revisou todas as 168 apresentações orais, das quais apenas 104 tinham código de artigo aberto, e finalizou 105 reproduções completas.
Entre elas, apenas 34 reproduziram mais de 40% das alegações; apenas 8 tiveram uma taxa de reprodução superior a 80%.
Independent of whether each paper contained at least 1, 3, or 5 verifiable claims, the median reproducibility score remained consistently between 28% and 30%, with little overall variation in the distribution.
Após excluir experimentos não executados, interrompidos antecipadamente ou além da capacidade do hardware, a mediana das pontuações de reprodução ainda é apenas de 42% a 50%; quando cada artigo contém pelo menos 3 afirmações verificáveis, a mediana se estabiliza em 42%.
Enfrentei todos os problemas mais comuns na reprodução: código não funciona, arquivos ausentes, instruções incompletas, dependências danificadas ou resultados diferentes dos da publicação.
Quatro artigos ainda dependem de modelos que já foram desativados. Pesquisadores posteriores, mesmo que estejam dispostos a gastar dinheiro e tempo, não poderão reproduzir os mesmos resultados.
SAI também listou dois exemplos mais específicos.
Um artigo apresenta “treinar apenas 0,77% dos parâmetros do modelo básico” como principal atrativo, mas o checkpoint lançado na realidade foi treinado com 6,31% dos parâmetros, cerca de 8 vezes o número afirmado.
Outro artigo apresenta uma tabela de confiabilidade pontuada por um modelo de julgamento, mas o código aberto não contém esse modelo de julgamento nem nenhum script capaz de calcular os números da tabela.
Artigo de baixa qualidade, retorno alto e risco baixo
Os resultados da reprodução do SAI podem ser considerados bastante ruins.
Pior ainda, os problemas encontrados aqui são apenas aqueles "condicionalmente detectáveis".
Os artigos sem código são diretamente "impecáveis".
Mesmo que o código seja totalmente aberto, verificar um artigo científico exige tempo, esforço e dinheiro enormes, e o resultado final ainda pode ser decepcionante — imagine o quão frustrante isso pode ser.
Com base nas estimativas fornecidas pelo SAI usando os preços sob demanda públicos do Google Cloud, o custo mediano para reproduzir integralmente um artigo oral da ICML é de aproximadamente US$ 8.900. Entre as 105 artigos, 17 custaram mais de US$ 100.000, e o mais caro chegou perto de US$ 2,2 milhões.
Quanto mais um artigo depende de grande poder computacional, mais difícil é reproduzi-lo de forma independente.
Sem código, ninguém pode verificar; com código, também nem todos conseguem arcar com esse custo.
Assim, um artigo com problemas pode facilmente passar pela revisão, ser citado, ser incluído no currículo e resultar em admissão, cargo acadêmico ou oportunidades de trabalho em grandes laboratórios.
Às vezes, alguém descobre que os resultados não batem, as reuniões raramente são reavaliadas e os artigos nem sempre são retratados.
É exatamente o que a seção de comentários significa com “fazer uma má pesquisa traz lucro, mas quase não tem custo”.
Não leia artigos acadêmicos, mas a contratação exige artigos acadêmicos.
No campo dos grandes modelos, muitos avanços verdadeiramente importantes já não aparecem mais na forma de artigos acadêmicos.
Como engenheiro da OpenAI, posicionado na vanguarda da indústria, é fácil entender esse sentimento. Afinal, com mais poder de computação, feedback mais rápido de experimentos e uma grande quantidade de resultados internos não divulgados, há uma base sólida para “não ler artigos”.
Mas dizer isso soa um pouco sutil.
Um comentário ironiza que as pessoas nas empresas de tecnologia estão “saindo da água e retirando a escada”: recrutando pesquisadores das universidades, construindo-se sobre os resultados publicamente acumulados pela academia, arrebatando talentos e GPUs com preços mais altos, cada vez menos aceitando revisão por pares, e finalmente voltando-se para declarar que a pesquisa acadêmica “é principalmente uma fraude”.
Um pouco áspero, mas realmente faz sentido.
As pessoas desses laboratórios de ponta podem "não ler artigos", mas quem deseja entrar ainda precisa publicar artigos primeiro.
Para estudantes e jovens pesquisadores sem experiência na indústria, artigos de conferências de alto nível ainda são o certificado mais direto de capacidade de pesquisa.
Aplicar para doutorado, procurar cargos acadêmicos e entrar em laboratórios de ponta como a OpenAI dependem de artigos para obter atenção.
As pessoas da indústria desdenham artigos após entrarem em grandes laboratórios, mas ainda usam o número de artigos, o nível de conferências e o desempenho de citações para selecionar aqueles que estão fora.
O artigo acadêmico caiu assim em uma posição embaraçosa: sua credibilidade na disseminação do conhecimento é questionada, mas seu valor na competição por talentos não desapareceu em nada.
Então, “o grande laboratório já não lê artigos” soa um pouco arrogante e pretensioso, pois as pessoas realmente qualificadas para não ler artigos já passaram por essa barreira graças a eles.
Of course, not all students are meticulously crafted academic villains.
Um pesquisador universitário brincou que gostaria que seus alunos já tivessem a capacidade de escrever um artigo exagerado ou até mesmo fraudulento.
Alguns estão tentando se tornar golpistas acadêmicos, enquanto outros ainda lutam com o LaTeX.
Link de referência:
https://x.com/MathewShen42/status/2084465434506768867
https://x.com/kellerjordan0/status/2084721463089902074
https://sai.science/blog/how-much-science-is-verifiable
https://x.com/mengyer/status/2085134204786921886
Este artigo é do canal do WeChat "Machine Heart" (ID: almosthuman2014), autor: Machine Heart