Los profesores de IA ya pueden completar muchas tareas de enseñanza individuales.
Un problema matemático, puede desglosarlo paso a paso; un ensayo en inglés, puede señalar errores gramaticales; una partida de ajedrez, también puede sugerir el siguiente movimiento. En muchos escenarios, la salida del modelo ya es lo suficientemente parecida a un tutor paciente.
Pero el efecto de la enseñanza no solo se mide desde el lado del profesor. Después de escuchar, ¿los estudiantes corrigen sus errores? ¿Solo siguen las pistas? ¿Producen las mismas explicaciones efectos diferentes en distintos estudiantes? Todo esto ocurre en el lado del estudiante.
Un profesor de IA también necesita observar repetidamente las reacciones de los estudiantes para aprender a brindar orientación personalizada.
En la vida real, estas reacciones provienen principalmente de estudios humanos. Cada vez que se ajusta la estrategia de enseñanza, se deben organizar la participación de los estudiantes, recopilar interacciones y evaluarlas manualmente.
Los modelos de IA pueden actualizarse rápidamente, pero la obtención de retroalimentación educativa está limitada por los ciclos de experimentos humanos.
El tutor de IA necesita retroalimentación de los estudiantes para mejorar la enseñanza, pero recolectar retroalimentación real tiene un costo elevado. StudentSim busca convertir registros de estudiantes reales en retroalimentación de agentes que se puedan llamar repetidamente durante la fase de entrenamiento.
Estudios recientes sobre StudentSim, partiendo de esta contradicción.
El equipo de investigación espera mejorar al profesor de IA para que comprenda las fortalezas y debilidades de los estudiantes y brinde orientación adecuada según cada estudiante. Durante el proceso, el equipo enfocó el problema en el simulador de estudiantes: ¿es posible entrenar un estudiante de IA con datos reales de estudiantes, que sea evaluuable y reutilizable, para que el profesor de IA reciba más retroalimentación durante la fase de entrenamiento?
Enlace al artículo: https://arxiv.org/abs/2609.01591
Enlace al código: https://github.com/microsoft/StudentSim
Página principal del artículo de Huggingface: https://huggingface.co/papers/2609.01591
Esto no es un caso aislado dentro de la investigación actual sobre agentes de IA. Los simuladores de usuario se están convirtiendo en una línea de investigación popular, aplicándose en escenarios como atención al cliente, comercio electrónico, consultas médicas y operaciones en páginas web. Los investigadores crean usuarios simulados para que los agentes experimenten más interacciones antes de su lanzamiento, probando estrategias, técnicas de comunicación y robustez.
Los escenarios educativos implican simulaciones de usuarios más complejas. Los estudiantes tienen límites de conocimiento relativamente estables, hábitos de error y trayectorias de aprendizaje propias. Ante el mismo problema, algunos cometen errores con los signos, otros malinterpretan conceptos, algunos pueden deducir la respuesta tras recibir una pista, mientras que otros necesitan orientación más directa.
Los gemelos digitales de estudiantes humanos, recientemente discutidos, también se desarrollan en torno a este tipo de necesidades.
Modelar a los estudiantes no es un tema nuevo.
Desde el seguimiento bayesiano del conocimiento en 1995, hasta el seguimiento del conocimiento profundo y luego el seguimiento del conocimiento con atención, esta línea de investigación ha sido explorada durante casi 30 años y es bastante madura en la modelización del comportamiento estudiantil.
Su brecha común es que los modelos solo aceptan entradas estructuradas como preguntas, estados y valores de habilidades, sin tener una entrada para instrucciones en lenguaje natural. Independientemente de lo que diga el profesor, estos modelos no pueden interactuar ni modificar su desempeño como lo haría un estudiante.
Si se le pide directamente al modelo grande que interprete a un estudiante, parece muy conveniente. Al escribirle una frase como «Eres un niño de primaria con bases matemáticas débiles», el modelo puede cambiar inmediatamente al lenguaje de un niño pequeño y mostrar vacilación e incertidumbre.
Sin embargo, el tono y el nivel de conocimiento del personaje no están alineados.
Un modelo puede responder con el lenguaje de un niño pequeño: "No lo entiendo", pero en la siguiente oración ofrece un razonamiento de nivel cálculo. Parece estar interpretando a un estudiante, pero sus respuestas aún dependen del conocimiento interno del modelo, que podría estar mucho por encima del nivel que se le ha limitado.
Durante el entrenamiento de profesores de IA, este sesgo en el nivel de conocimiento puede generar problemas. El tutor no recibe la reacción de un estudiante en su límite de capacidad actual, sino la reacción de un modelo de alta capacidad disfrazada con un personaje.
Precisamente por esto, depender únicamente de una descripción de capacidad como condición representa una vía muy frágil para los modelos grandes. Este enfoque se ha aplicado ampliamente en escenarios educativos durante los últimos dos años: se utiliza en corpus de tutoría conversacional, aulas de múltiples agentes y generación de datos de aprendices; al mismo tiempo, una serie de estudios especializados en verificar su validez también están surgiendo, planteando cuestionamientos desde tres perspectivas: arquitectura, umbrales de fidelidad y experiencia de uso por parte de los docentes.
En pedagogía, evaluar la efectividad de una guía no suele basarse solo en el rendimiento del estudiante al responder de forma independiente, sino también en hasta dónde puede avanzar el estudiante tras recibir ayuda.
Lo que Vygotsky denominó la zona de desarrollo próximo (zone of proximal development) trata precisamente esto: la brecha entre lo que el estudiante puede hacer de forma independiente y lo que puede lograr con el apoyo del docente refleja el espacio en el que la enseñanza puede intervenir.
Esta idea luego se convirtió en un procedimiento medible operativo mediante la evaluación dinámica: no solo registrar si el estudiante respondió correctamente o no, sino también observar cómo cambió su desempeño tras recibir pistas.
Colocado en el simulador de estudiantes, esta idea corresponde a dos tipos de habilidades.
Primero, el simulador debe poder reproducir el estado del estudiante al responder de forma independiente, incluyendo sus límites de capacidad, hábitos de error y elecciones comunes. Segundo, el simulador debe ser capaz de generar cambios correspondientes tras leer las instrucciones del profesor, mostrando cómo podría actualizarse este estudiante con ayuda.
StudentSim
StudentSim define estas dos capacidades como behavioral fidelity y guidance responsiveness, y las utiliza para entrenar y evaluar el simulador de estudiantes personalizado.
El simulador de estudiantes debe responder simultáneamente a dos preguntas: ¿actúa como el estudiante objetivo al responder de forma independiente? ¿Experimenta cambios correspondientes tras recibir la orientación del profesor?
El proceso de entrenamiento se divide en dos pasos.
Primero, recopile registros de múltiples estudiantes en un mismo campo para entrenar un modelo general de comportamiento estudiantil. En esta fase, se aprenden los errores comunes, los formatos de respuesta y las rutas de corrección tras la orientación.
En el segundo paso, se continúa el entrenamiento utilizando los registros individuales de cada estudiante para obtener un simulador personalizado. Dado que los registros de un solo estudiante son limitados, el entrenamiento directo puede provocar sobreajuste; aprender primero las tendencias grupales y luego adaptarse a los datos individuales permite obtener de forma más estable el simulador correspondiente a cada estudiante.
Proceso de entrenamiento
El equipo de investigación también construyó StudentSimEval. La evaluación cubre a 60 estudiantes reales, provenientes de tres escenarios: ajedrez, escritura en inglés como segunda lengua y matemáticas básicas.
En ajedrez, el simulador debe predecir el movimiento de un jugador en la partida y ajustar la posición tras la orientación del entrenador. En la escritura en una segunda lengua, el simulador debe generar redacciones que sigan los patrones de errores del aprendiz y reescribir fragmentos según la corrección del profesor. En matemáticas, el simulador debe predecir la respuesta del estudiante y corregirla tras la explicación.
Aunque estas tareas parecen muy diferentes, el objetivo de evaluación es consistente: primero se verifica si el simulador se comporta como el propio estudiante, y luego si puede responder a las instrucciones. Todos los métodos utilizan el mismo registro de estudiante y se comparan en el mismo conjunto de pruebas held-out.
En los resultados de ajedrez, StudentSim tiene una F de 0.5150 y una R de 0.9067; GPT-5.4 tiene 0.2316 y 0.7186 respectivamente; Maia2 tiene 0.4535 y 0.2721. En los experimentos de escritura en segundo idioma y matemáticas, StudentSim también supera a las líneas base correspondientes en ambos indicadores.
Resultados bidimensionales en la evaluación de ajedrez. GPT-5.4 ofrece una mejor guía de respuestas, pero tiene una baja fidelidad conductual; Maia2 se acerca más a los movimientos de los jugadores, pero carece de una entrada de guía en lenguaje natural; StudentSim se encuentra en una posición con altos valores en ambas métricas.
Este conjunto de resultados muestra una clara división de tareas. GPT-5.4 puede leer instrucciones, pero tiene baja fidelidad al simular estudiantes específicos. Maia2 se acerca más a los movimientos de jugadores humanos, pero no puede absorber indicaciones de entrenadores en lenguaje natural. StudentSim se entrena con registros de aprendizaje reales y se adapta a cada estudiante, mejorando simultáneamente en el comportamiento individual y en la respuesta a las instrucciones.
Sin embargo, el simulador de estudiantes en sí mismo no es el objetivo; el fin es que su funcionalidad pueda aplicarse en el mundo real y utilizarse para mejorar los modelos de profesores.
Anteriormente, para entrenar tutores de IA, las señales de recompensa en algunos trabajos provenían de diálogos de tutoría de alta calidad etiquetados por expertos, y en otros, de modelos grandes generales que actuaban como jueces mediante escalas de calificación. También se han intentado conectar las recompensas a estudiantes simulados, pero estos utilizaban LLMs que realizaban roles de estudiantes sin una fidelidad cognitiva real, y no simuladores entrenados con datos de verdaderos aprendices. StudentSim propone un enfoque diferente en este aspecto.
El artículo incorpora adicionalmente StudentSim en el proceso de aprendizaje por refuerzo del tutor de IA.
El escenario experimental es el ajedrez. El sistema primero extrae los movimientos erróneos cometidos por estudiantes reales, el tutor de IA genera una guía, y StudentSim, tras leer la guía, proporciona el movimiento corregido.
Stockfish se utiliza para calcular el cambio en la calidad de los movimientos corregidos en comparación con los movimientos erróneos originales, y esta puntuación se devuelve al tutor como señal de RL. Los grupos de control incluyen un tutor sin RL y un tutor que utiliza a GPT-5.4 como simulador de estudiantes para la recompensa.
Guía de tutoría, el simulador de estudiantes de IA congelado proporciona respuestas corregidas, y el sistema actualiza al tutor según el cambio en la calidad antes y después de la corrección.
Tres grupos de tutores utilizan el mismo modelo base, punto de partida SFT y configuración GRPO, pero fuentes de recompensa diferentes.
Después de una evaluación ciega por parte de evaluadores de ajedrez, el tutor entrenado con StudentSim reward ocupó el primer lugar en precisión, calidad de orientación y puntuación personalizada.
Los expertos evaluaron en ciego tres dimensiones con el orden de presentación alterado: precisión, según el porcentaje de respuestas sin errores factuales engañosos; y calidad de orientación y personalización, cada una calificada de 1 a 5. El tutor entrenado con StudentSim reward obtuvo el primer lugar en las tres dimensiones.
Más notable aún es el conjunto de experimentos con resultados inversos: el tutor entrenado con GPT-5.4 como simulador de estudiantes no solo perdió frente a StudentSim, sino que también quedó por debajo de la línea base sin RL, arrastrado por una tasa significativamente mayor de errores factuales graves. Un simulador poco fidedigno empuja al profesor en la dirección equivocada: un simulador con un nivel cognitivo incompatible con estudiantes reales, pero con una capacidad de comprensión extraordinaria, puede generar alguna respuesta por sí mismo incluso tras leer instrucciones absurdas, y otorgar recompensas aleatorias a instrucciones erróneas, lo que hace que el RL se optimice hacia el caos (o incluso el error).
StudentSim no reemplaza los experimentos reales de estudiantes en la investigación educativa. Transforma los registros reales de estudiantes en retroalimentación simulada reutilizable durante la fase de entrenamiento, permitiendo que el tutor de IA realice más rondas de filtrado y optimización antes de ingresar al estudio con humanos.
Para sistemas de profesores de IA que requieren retroalimentación personalizada, estos simuladores de estudiantes continúan la línea de pensamiento recientemente popular de los simuladores de usuarios (todos pueden ser simulados, construyendo gemelos digitales de humanos), ofreciendo un camino de ingeniería revolucionario:
Aprende cómo se equivocan los estudiantes, aprende cómo los estudiantes cambian bajo guía, y proporciona señales de retroalimentación a escala de tiempo de aprendizaje automático para el aprendizaje por refuerzo del modelo docente.
Referencia: https://arxiv.org/abs/2609.01591
Este artículo proviene del canal de WeChat "Neozhiyuan", autor: Neozhiyuan; editor: LRST