A maior conferência acadêmica de IA acabou de permitir que a inteligência artificial corrigisse seu próprio trabalho. AAAI-26, um dos principais locais para pesquisa em IA, realizou um programa piloto que gerou revisões por IA para 22.977 submissões de artigos da trilha principal, tornando-se o primeiro deploy em larga escala de revisão por pares impulsionada por IA em uma grande conferência acadêmica.
A surpresa: pesquisas realizadas após o piloto descobriram que tanto autores quanto membros do comitê do programa preferiram realmente as revisões geradas por IA. Especificamente, eles as avaliaram com notas mais altas em precisão técnica e qualidade das sugestões de pesquisa em comparação com suas contrapartes humanas.
Como funcionou o sistema de revisão por IA de dupla cegueira
O programa operou dentro de um framework de dupla cegueira, o que significa que nem autores nem revisores conheciam as identidades um do outro. Revisões geradas por IA foram incluídas ao lado de pelo menos duas revisões humanas para cada artigo, criando uma comparação lado a lado que os pesquisadores puderam avaliar sem viés em relação a qualquer fonte.
Uma escolha de design importante: os revisores de IA se identificaram como gerados por IA. Este não era um teste de Turing. O objetivo era complementar revisores humanos, não enganar ninguém para pensar que um modelo de linguagem era um professor titular.
As revisões de IA foram produzidas usando um sistema baseado em LLM em múltiplas etapas, capaz de processar artigos em menos de um dia. Os participantes observaram o caráter complementar das revisões de IA e consideraram que elas aprimoraram o processo de revisão geral, em vez de diluí-lo.
Por que a revisão por pares com IA importa além da academia
Um estudo de 2023 da Stanford descobriu que textos gerados por IA já apareciam em uma fração mensurável das revisões por pares em principais conferências de aprendizado de máquina, embora, nesse caso, fossem revisores usando silenciosamente o ChatGPT para redigir seus comentários, e não um sistema oficialmente autorizado.
O piloto do AAAI-26 adotou a abordagem oposta. Em vez de fingir que a IA já não está na sala, formalizou o processo, estabeleceu limites ao redor dele e estudou os resultados empiricamente.
As descobertas da pesquisa estão documentadas no artigo arXiv 2604.13940, com a liberação pública do conjunto de dados completo e da análise programada para agosto de 2026.
Os 22.977 artigos processados neste piloto representam uma escala que nenhum estudo anterior de revisão por pares assistida por IA alcançou. Trabalhos anteriores operaram em ambientes simulados ou com tamanhos de amostra pequenos, dificultando a extração de conclusões generalizáveis.