Com IA, os cientistas são capacitados a fazer mais – pior. Um modelo de como a pesquisa é realizada prevê que modelos de linguagem farão os cientistas produzirem mais artigos, mas com qualidade inferior. Carl Bergstrom, da Universidade de Washington, e colegas dividiram o processo de pesquisa em estágios e perguntaram quais deles um LLM acelera. Há um ESTÁGIO DE DESCOBERTA, no qual você gera hipóteses e realiza trabalho preliminar suficiente para avaliar se um projeto vale a pena ser perseguindo. Em seguida, um ESTÁGIO DE DESENVOLVIMENTO em duas metades: * trabalho obrigatório – as figuras e o rascunho sem os quais você não pode publicar; e * trabalho discricionário – os experimentos adicionais e o aprimoramento Em termos de programação, o trabalho discricionário é o teste e a correção de bugs antes do lançamento. LLMs aceleram a descoberta e o trabalho obrigatório – mas não afetam a metade discricionária, pois essa metade é definida justamente por não ser obrigatória. Seja com ou sem loops de feedback multiagente, a metade discricionária é tipicamente a parte “humana no loop” – cheia de “ah, espere um pouco, o que isso está realmente fazendo??” – realidades complexas. Assim, o tempo economizado é direcionado para iniciar o próximo artigo, em vez de melhorar o atual, e a previsão decorre disso: mais saída, uma fração menor dela boa. O ponto de Bergstrom é sobre incentivos: cientistas são avaliados pela quantidade – portanto, uma ferramenta que aumenta a quantidade é usada para aumentar a quantidade. Sua sugestão de correção é avaliar os pesquisadores com base em seu melhor trabalho, em vez de contar artigos e citações. (Observação: o artigo de Bergstrom foi publicado no arXiv em 19 de julho e ainda não foi revisado por pares) #ScienceOfScience #AI #Research