Professores de IA já conseguem realizar várias tarefas de ensino individuais.
Um problema de matemática, ele consegue decompor os passos; um ensaio em inglês, ele consegue apontar erros gramaticais; uma partida de xadrez, ele também consegue sugerir o próximo movimento. Em muitos cenários, a saída do modelo já é suficientemente parecida com a de um assistente paciente.
Mas o efeito do ensino não pode ser avaliado apenas pelo lado do professor. Após ouvirem, os alunos corrigem os erros? Eles apenas seguem as dicas? A mesma explicação produz efeitos diferentes em alunos diferentes? Todos esses aspectos ocorrem no lado do aluno.
Um professor de IA também precisa observar repetidamente as reações dos alunos para aprender orientação personalizada.
Na vida real, essas reações vêm principalmente de estudos humanos. Cada ajuste na estratégia de ensino exige a participação dos alunos, a coleta de interações e avaliação manual.
Os modelos de IA podem ser atualizados rapidamente, mas a obtenção de feedback educacional é limitada pelo ciclo de experimentos humanos.
O tutor de IA precisa de feedback dos alunos para aprimorar o ensino, mas a coleta de feedback real tem um custo elevado. O StudentSim deseja transformar registros de alunos reais em feedbacks de agentes reutilizáveis durante a fase de treinamento.
Estudos recentes sobre StudentSim, partindo dessa contradição.
A equipe de pesquisa deseja aprimorar o professor de IA para que ele compreenda as forças e fraquezas dos alunos e forneça orientações adequadas a cada aluno. Durante o avanço, a equipe focou o problema no simulador de alunos: é possível treinar um aluno de IA com dados reais de alunos, que seja avaliável e reutilizável, para que o professor de IA receba mais feedback durante a fase de treinamento?
Link do artigo: https://arxiv.org/abs/2609.01591
Link do código: https://github.com/microsoft/StudentSim
Página principal do artigo do Huggingface: https://huggingface.co/papers/2609.01591
Isso não é isolado na pesquisa atual sobre agentes de IA. Simuladores de usuário estão se tornando uma área de pesquisa popular, aplicada em cenários como atendimento ao cliente, comércio eletrônico, consultas médicas e operações na web. Pesquisadores criam usuários simulados para que os agentes passem por mais interações antes do lançamento, testando estratégias, linguagem e robustez.
A simulação de usuários em contextos educacionais é mais complexa. Os alunos possuem fronteiras de conhecimento relativamente estáveis, hábitos de erro e trajetórias de aprendizagem. Para a mesma questão, alguns cometem erros de sinal, outros mal entendem conceitos, alguns conseguem deduzir a resposta após receber uma dica, enquanto outros precisam de orientação mais direta.
O gêmeo digital de estudantes humanos, discutido recentemente, também se desenvolve em torno dessas necessidades.
Modelar estudantes não é um novo tema
Desde o rastreamento bayesiano do conhecimento em 1995, passando pelo rastreamento profundo do conhecimento até o rastreamento atencional do conhecimento, essa abordagem foi explorada por quase 30 anos e é bastante madura na modelagem do comportamento dos alunos.
A lacuna comum é que os modelos aceitam apenas entradas estruturadas, como perguntas, estados e valores de habilidades, sem uma entrada para instruções em linguagem natural. Independentemente do que o professor disser, esses modelos não conseguem interagir nem alterar seu desempenho como um estudante faria.
Se for direto permitir que o grande modelo desempenhe o papel de um aluno, parece muito conveniente. Basta escrever uma frase como “Você é um aluno do ensino fundamental com pouca base em matemática”, e o modelo imediatamente adota o tom de uma criança mais nova, demonstrando hesitação e incerteza.
No entanto, o tom do personagem e o nível de conhecimento não estão alinhados.
Um modelo pode responder na linguagem de uma criança do ensino fundamental: “Eu não entendo muito”, mas na próxima frase oferecer um raciocínio de nível cálculo. Parece estar interpretando um aluno, mas sua resposta ainda é influenciada pelo próprio conhecimento do modelo, que pode ser muito superior ao nível de conhecimento que lhe foi limitado.
Durante o treinamento de professores de IA, esse viés de nível cognitivo causa problemas. O tutor não recebe a reação de um aluno dentro dos limites de sua capacidade atual, mas sim a reação de um modelo de alta capacidade disfarçado por um personagem.
É exatamente por isso que, apenas com uma descrição de capacidade como condição, para modelos grandes, trata-se de um canal de condição muito frágil. Essa abordagem tem sido amplamente aplicada em cenários educacionais nos últimos dois anos, sendo utilizada em corpora de tutoria por conversa, salas de aula com múltiplos agentes e geração de dados de aprendizes; ao mesmo tempo, uma série de estudos especializados em verificar sua validade também está surgindo, levantando questionamentos sob três perspectivas: arquitetura, referências de fidelidade e experiência de uso pelos professores.
Na pedagogia, avaliar se uma orientação foi eficaz geralmente não pode depender apenas do desempenho do aluno ao responder sozinho, mas também de até onde o aluno consegue chegar após receber ajuda.
A zona de desenvolvimento proximal, proposta por Vygotsky, trata exatamente disso: a lacuna entre o que o aluno consegue realizar independentemente e o que consegue realizar com o apoio do professor reflete o espaço em que o ensino pode intervir.
Essa ideia foi posteriormente transformada em um procedimento mensurável operacional por meio da avaliação dinâmica: não apenas registrar se o aluno respondeu corretamente ou não, mas também observar como seu desempenho se altera após a fornecimento de dicas.
Colocado no simulador de estudantes, esse pensamento corresponde a duas habilidades.
Primeiro, o simulador deve ser capaz de reproduzir o estado do aluno ao responder independentemente, incluindo seus limites de habilidade, hábitos de erro e escolhas comuns. Segundo, o simulador deve ser capaz de produzir mudanças correspondentes após ler as orientações do professor, demonstrando como esse aluno poderia evoluir com ajuda.
StudentSim
StudentSim define essas duas habilidades como behavioral fidelity e guidance responsiveness, e com base nisso treina e avalia o simulador de aluno personalizado.
O simulador de estudantes precisa responder simultaneamente a duas perguntas: ao responder independentemente, ele se comporta como o estudante-alvo? Após receber orientação do professor, ocorrem mudanças correspondentes?
O processo de treinamento é dividido em duas etapas.
Primeiro, compile registros de vários alunos em um determinado campo para treinar um modelo geral de comportamento estudantil. Nesta fase, aprenda erros comuns, formatos de resposta e caminhos de correção após orientação.
Na segunda etapa, continue o treinamento usando os registros individuais de cada aluno para obter um simulador personalizado. Como os registros de um único aluno são limitados, o treinamento direto容易 leva ao overfitting; primeiro aprender os padrões do grupo e depois adaptar aos dados individuais permite obter de forma mais estável o simulador correspondente a cada aluno.
Processo de treinamento
A equipe de pesquisa também construiu o StudentSimEval. A avaliação abrange 60 estudantes reais, provenientes de três cenários: xadrez, escrita em inglês como segunda língua e matemática básica.
No xadrez, o simulador prevê os movimentos de um jogador durante a partida e ajusta a posição após orientação do instrutor. Na escrita em língua estrangeira, o simulador gera redações que seguem os padrões de erros do aprendiz e reescreve trechos com base na correção do professor. Na matemática, o simulador prevê as respostas dos alunos e as corrige após a explicação.
Essas tarefas parecem muito diferentes, mas o objetivo de avaliação é o mesmo: primeiro, ver se o simulador se comporta como o próprio estudante, e depois se ele consegue responder a orientações. Todos os métodos utilizam o mesmo registro do estudante e são comparados nos mesmos registros de teste mantidos fora.
Nos resultados de xadrez, o StudentSim apresenta F de 0,5150 e R de 0,9067; o GPT-5.4, 0,2316 e 0,7186; e o Maia2, 0,4535 e 0,2721. Nos experimentos de redação em língua estrangeira e matemática, o StudentSim também superou as linhas de base correspondentes em ambos os indicadores.
Resultados bidimensionais na avaliação de xadrez. O GPT-5.4 oferece melhor orientação, mas baixa fidelidade comportamental; o Maia2 está mais próximo dos movimentos dos jogadores, mas carece de entrada de orientação em linguagem natural; o StudentSim ocupa uma posição com altos valores em ambos os indicadores.
Este conjunto de resultados apresenta uma divisão clara de funções. O GPT-5.4 consegue ler instruções, mas apresenta baixa fidelidade ao simular alunos específicos. O Maia2 se aproxima mais dos movimentos de jogadores humanos, mas não consegue absorver dicas de treinadores em linguagem natural. O StudentSim foi treinado com registros reais de aprendizado e adaptado para cada aluno, obtendo melhorias tanto no comportamento individual quanto na resposta às instruções.
No entanto, o simulador de estudante em si não é o objetivo; o ponto final é que sua funcionalidade precisa ser aplicada ao mundo real e utilizada para aprimorar os modelos de professores.
Anteriormente, o treinamento de tutores de IA utilizava sinais de recompensa provenientes, em alguns casos, de diálogos de tutoria de alta qualidade rotulados por especialistas, e em outros, de juízes de grandes modelos gerais que utilizavam escalas de pontuação. Alguns trabalhos tentaram conectar a recompensa a simuladores de alunos, mas utilizavam LLMs como alunos que faziam papéis sem fidelidade cognitiva, e não simuladores treinados com dados de verdadeiros aprendizes. O StudentSim propõe uma abordagem diferente nesse aspecto.
O artigo integra ainda mais o StudentSim no processo de aprendizado por reforço do tutor de IA.
O cenário de experimento é xadrez. O sistema primeiro retira as jogadas erradas cometidas por estudantes reais, o tutor de IA gera orientação e, após ler a orientação, o StudentSim fornece a jogada corrigida.
O Stockfish é usado para calcular a mudança na qualidade da movimentação corrigida em relação à movimentação original errada, e essa pontuação é retornada ao tutor como sinal de RL. O grupo de controle inclui o tutor sem RL e o tutor que utiliza o GPT-5.4 como simulador de aluno para recompensa.
Instruções do tutor, o simulador de aluno de IA congelado fornece a resposta corrigida; o sistema atualiza o tutor com base na mudança na qualidade antes e depois da correção.
Três grupos de tutores usam o mesmo modelo base, ponto de partida SFT e configurações GRPO, mas fontes de recompensa diferentes.
Após avaliação cega por um avaliador de xadrez, o tutor treinado com StudentSim reward liderou em precisão, qualidade da orientação e pontuação personalizada.
Especialistas avaliaram cegamente três dimensões com a ordem de apresentação embaralhada: precisão, com base na porcentagem de respostas sem erros factuais enganosos; e orientação e personalização, cada uma classificada de 1 a 5. O tutor treinado com StudentSim reward ficou em primeiro lugar em todas as três dimensões.
Mais notável é o conjunto de experimentos com resultados inversos: o tutor treinado com o GPT-5.4 como simulador de aluno não apenas perdeu em precisão para o StudentSim, mas também ficou abaixo da linha de base que não realizou RL, arrastado por uma taxa significativamente maior de erros factuais graves. Um simulador que não é fiel empurra o professor na direção errada: um simulador com nível cognitivo diferente do de alunos reais, mas com capacidade de compreensão extremamente alta, consegue derivar alguma resposta mesmo após ler instruções absurdas, atribuindo recompensas aleatórias a instruções erradas, fazendo com que o RL otimize na direção da confusão (ou até do erro).
StudentSim não substitui experimentos reais de estudantes na pesquisa educacional. Ele transforma registros reais de estudantes em feedback simulado reutilizável durante a fase de treinamento, permitindo que o tutor de IA realize mais rodadas de seleção e otimização antes de entrar em estudos com humanos.
Para sistemas de professores de IA que exigem feedback personalizado, esses simuladores de alunos continuam a linha de pensamento dos recentemente populares simuladores de usuários (todos podem ser simulados, construindo gêmeos digitais humanos), oferecendo um caminho engenhoso revolucionário:
Aprenda como os alunos erram, aprenda como os alunos mudam sob orientação, fornecendo sinais de feedback em escala de tempo de aprendizado de máquina para o treinamento por reforço do modelo do professor.
Referência: https://arxiv.org/abs/2609.01591
Este artigo é do canal oficial do WeChat "Neozhiyuan", autor: Neozhiyuan; editor: LRST