La conferencia académica de inteligencia artificial más grande acaba de permitir que la inteligencia artificial califique su propia tarea. AAAI-26, uno de los principales foros para la investigación en IA, llevó a cabo un programa piloto que generó revisiones de IA para 22.977 envíos de artículos de la pista principal, convirtiéndolo en la primera implementación a gran escala de revisión por pares impulsada por IA en una conferencia académica importante.
El giro: las encuestas realizadas después del piloto encontraron que tanto los autores como los miembros del comité del programa prefirieron realmente las revisiones generadas por IA. Específicamente, las calificaron más altamente en precisión técnica y calidad de las sugerencias de investigación en comparación con sus contrapartes humanas.
Cómo funcionó el sistema de revisión por IA de doble ciego
El programa operó dentro de un marco de doble ciego, lo que significa que ni los autores ni los revisores conocían la identidad del otro. Las reseñas generadas por IA se incluyeron junto con al menos dos reseñas humanas por cada artículo, creando una comparación lado a lado que los investigadores pudieron evaluar sin sesgo hacia ninguna de las fuentes.
Una elección de diseño importante: los revisores de IA se identificaron como generados por IA. Esto no fue una prueba de Turing. El objetivo era complementar a los revisores humanos, no engañar a nadie para que creyera que un modelo de lenguaje era un profesor titular.
Las revisiones de IA se generaron mediante un sistema basado en LLM de múltiples etapas que pudo procesar artículos en menos de un día. Los participantes destacaron el carácter complementario de las revisiones de IA y consideraron que mejoraban el proceso de revisión general en lugar de diluirlo.
Por qué la revisión por pares con IA importa más allá de la academia
Un estudio de 2023 de Stanford encontró que el texto generado por IA ya aparecía en una fracción medible de revisiones por pares en las principales conferencias de aprendizaje automático, aunque en ese caso los revisores usaban silenciosamente ChatGPT para redactar sus comentarios en lugar de un sistema oficialmente autorizado.
El piloto de la AAAI-26 adoptó el enfoque opuesto. En lugar de fingir que la IA ya no está en la sala, formalizó el proceso, estableció límites alrededor de él y estudió los resultados de manera empírica.
Los hallazgos de la investigación están documentados en el artículo de arXiv 2604.13940, con un lanzamiento público del conjunto de datos completo y el análisis programado para agosto de 2026.
Los 22,977 artículos procesados en esta prueba representan una escala que ningún estudio previo de revisión por pares asistida por IA ha alcanzado. Los trabajos anteriores operaron en entornos simulados o con tamaños de muestra pequeños, lo que dificultaba sacar conclusiones generalizables.