StudentSim: Pagsasanay sa 60 Digital na Mag-aaral gamit ang Totoong Data upang Mapabuti ang AI Tutoring

Ang AI teacher ay nakakapagtapos na ng maraming mag-isa na mga gawain sa pagtuturo.

Isang matematikal na problema, kaya niyang i-decompose ang bawat hakbang; isang English na sanaysay, kaya niyang tukuyin ang mga pagkakamali sa gramatika; isang laro ng chess, kaya niyang ipaliwanag ang susunod na hakbang. Sa maraming sitwasyon, ang output ng modelo ay sapat na parang isang mapagtiis na guro.

Ngunit ang epekto ng pagtuturo ay hindi dapat sukatin lamay sa panig ng guro. Kung nagbago ang mga mag-aaral pagkatapos marinig ang paliwanag, kung sila ay nagmamaliit lamang batay sa mga paalala, o kung ang iisang paliwanag ay nagdudulot ng iba’t ibang epekto sa iba’t ibang mag-aaral—lahat ng ito ay nangyayari sa panig ng mag-aaral.

Kung gusto ng AI teacher na matutunan ang personalisadong gabay, kailangan din itong muling obserbahan ang mga reaksyon ng mga mag-aaral.

Sa totoong buhay, ang mga reaksyon na ito ay pangunahing galing sa human study. Bawat pagbabago sa estratehiya ng pagtuturo ay nangangailangan ng pakikilahok ng mga mag-aaral, pagkolekta ng interaksyon, at pag-e-evaluate ng tao.

Maaaring mabilis na i-update ang AI model, ngunit ang pagkuha ng feedback sa edukasyon ay limitado ng siklo ng human study.

Kailangan ng AI tutor ang feedback ng mga estudyante upang mapabuti ang pagtuturo, ngunit mataas ang gastos sa pagkuha ng totoong feedback. Gusto ng StudentSim na i-convert ang mga totoong rekord ng estudyante bilang muling ma-access na feedback ng agent sa panahon ng pagtuturo.

Kamakailang pag-aaral sa StudentSim, mula sa kontradiksyong ito.

Gusto ng team ng pananaliksik na palakasin ang AI na guro upang maunawaan ang mga kalakasan at kahinaan ng mga mag-aaral, at magbigay ng angkop na gabay batay sa bawat mag-aaral. Sa pagpapalaganap ng proseso, isinabuhay ng team ang problema sa isang simulator ng mag-aaral: Maaari bang gamitin ang totoong data ng mag-aaral upang matutong mag-evaluate at muling gamitin ang AI na mag-aaral, upang bigyan ng mas maraming feedback ang AI na guro sa panahon ng pagsasanay?

Link ng papel: https://arxiv.org/abs/2609.01591

Link ng code: https://github.com/microsoft/StudentSim

Pahina ng Papel ng Huggingface: https://huggingface.co/papers/2609.01591

Hindi ito isang hiwalay na kaso sa pag-aaral ng AI agent ngayon. Ang user simulator ay nagsisiging popular na direksyon sa pag-aaral, na pumasok sa mga senaryo tulad ng customer service, e-commerce, medical consultation, at paggamit ng webpage. Ang mga mananaliksik ay gumagawa ng simulated users upang pagsanayan ang agent sa mas maraming interaksyon bago ito ilunsad, upang subukan ang mga estratehiya, tono, at katatagan.

Mas kumplikado ang user simulation sa edukasyonal na konteksto. Mayroon ang mga mag-aaral ng relatibong matatag na hangganan ng kaalaman, mga pananagot sa pagkakamali, at mga trahektorya sa pag-aaral. Sa iisang tanong, mayroong nagkakamali sa simbolo, mayroong nagkakamali sa konsepto, mayroong makakakuha ng sagot nang sarili nila pagkatapos ng paalala, at mayroong kailangan ng mas direkta na gabay.

Ang digital twin ng mga estudyante na ginagawa ng tao, na kakaunti lang ang pinag-uusapan, ay direktang nagmumula sa mga pangangailangang ito.

Mula sa Bayesian Knowledge Tracing noong 1995, patungo sa Deep Knowledge Tracing, at pagkatapos ay Attention-based Knowledge Tracing, ang direksyong ito ay napanood na ng mga nakaraang mananaliksik sa loob ng halos 30 taon at napakasigla sa pagpapakita ng pag-uugali ng mga mag-aaral.

Ang kanilang karaniwang kulang ay ang modelo ay nagtatanggap lamang ng structured input tulad ng tanong, estado, at mga value ng kakayahan, at walang entry point para sa natural language instructions. Anuman ang sabi ng guro, hindi kayang mag-interactive at magbago ang pagkakataon ng modelo tulad ng isang mag-aaral.

Kung ipapakita mo agad ang malaking modelo bilang isang mag-aaral, tila mas madali. Isulat mo lang ang isang pangungusap na “Ikaw ay isang maliit na mag-aaral na mahina ang matematika,” at agad na babaguhin ng modelo ang tono nito bilang isang batang mag-aaral, at makakapagpakita rin ng pagdududa at kawalan ng tiyak.

Ngunit ang tono at antas ng pag-unawa ng karakter ay hindi nagkakasundo.

Isang modelo ay maaaring sumagot sa pamamagitan ng tono ng isang mag-aaral sa elementarya na nagsasabi, “Hindi ko maintindihan,” ngunit ang susunod na pangungusap ay nagbibigay ng pag-iisip na antas ng kalkulo. Parang naglalaro siya bilang isang mag-aaral, ngunit ang tugon ay patuloy na nakabatay sa sariling kaalaman ng modelo, na maaaring mas mataas kaysa sa pinahihintulutan nitong antas ng kaalaman.

Sa pagtratrabaho ng AI na guro, ang bias sa antas ng kognisyon na ito ay nagdudulot ng mga problema. Ang natatanggap ng Tutor ay hindi ang reaksyon ng isang mag-aaral sa kanyang kasalukuyang hangganan ng kakayahan, kundi ang reaksyon ng isang mataas na kakayahan na modelo na may pakete ng karakter.

Dahil dito, ang paggamit lamang ng isang paglalarawan ng kakayahan bilang kondisyon ay isang mahinang channel para sa malalaking modelo. Ang mga ruta na ito ay napakadalas na ginamit sa mga escenario ng edukasyon sa loob ng dalawang taon—ang mga corpus ng pagtuturo sa diyalogo, ang maraming agente sa klase, at ang pagbuo ng data ng mag-aaral; samantala, mayroon nang isang serye ng mga pag-aaral na espesyalisado sa pagsusuri ng kanilang katumpakan, na nagtatanim ng mga tanong mula sa tatlong pananaw: arkitektura, benchmark ng katotohanan, at karanasan ng guro.

Sa edukasyon, ang pagtataya kung epektibo ang isang pagtuturo ay hindi dapat batay lamang sa pagganap ng mag-aaral habang sumasagot nang mag-isa, kundi pati na rin kung gaano kalayo ang mag-aaral makakarating pagkatapos makatanggap ng tulong.

Ang zone of proximal development na ipinakilala ni Vygotsky ay tumatalakay sa bagay na ito: ang pagkakaiba sa pagitan ng ano ang kayang gawin ng mag-aaral nang mag-isa at ano ang kayang gawin nito kasama ang suporta ng guro, na nagpapakita ng espasyo kung saan maaaring magsilbi ang pagtuturo.

Ang ideyang ito ay ginawang isang operasyonal na proseso ng dinamikong pagtataya: hindi lamang itinatala kung tama o mali ang sagot ng estudyante, kundi sinusubaybayan din kung paano nagbago ang kanyang pagganap pagkatapos ibigay ang mga paalala.

I-place sa student simulator, ang ideyang ito ay tumutukoy sa dalawang uri ng kakayahan.

Una, dapat makapag-replica ang simulator sa estado ng estudyante habang sumasagot nang mag-isa, kabilang ang mga hangganan ng kakayahan, mga pagkakamali sa pag-uugali, at karaniwang pagpili. Ikalawa, dapat makapag-ambilang ang simulator ng mga pagbabago pagkatapos basahin ang gabay ng guro, at ipakita ang posibleng pag-update ng estudyante sa ilalim ng tulong.

Ang StudentSim ay tumutukoy sa dalawang uri ng kakayahan bilang behavioral fidelity at guidance responsiveness, at batay dito ay tinuturuan at binabawasan ang personalisadong student simulator.

Kailangan ng student simulator na sagutin ang dalawang tanong nang одно: Kung ito ay katulad ng target na estudyante nang mag-isa, at kung may pagbabago ito pagkatapos ng gabay ng guro.

Ang proseso ng pagsasanay ay nahahati sa dalawang hakbang.

Unang hakbang: Kolektahin ang mga rekord ng maraming mag-aaral sa isang larangan upang matuto ng pangkalahatang modelo ng pag-uugali ng mag-aaral. Sa fase na ito, matututo ang sistema ng karaniwang mga kamalian, anyo ng sagot, at mga landas ng pagkabawas pagkatapos ng gabay.

Sa ikalawang hakbang, patuloyin ang pagtuturo gamit ang sariling rekord ng isang mag-aaral upang makakuha ng personalisadong simulator. Dahil maliit ang rekord ng isang mag-aaral, ang direktaong pagtuturo ay madaling magdulot ng overfitting; muna sanang matutunan ang mga pangkalahatang pattern, bago i-adapter ang personal na data, upang mas matatag na makakuha ng simulator na tumutugon sa bawat mag-aaral.

Training process

Nilikha ng panel ng pag-aaral ang StudentSimEval. Ang pagtataya ay sumasakop sa 60 aktwal na mag-aaral mula sa tatlong senaryo: chess, pagsusulat sa ikalawang wika (English), at pangunahing matematika.

Sa chess, ang simulator ay dapat makapaghula ng mga hakbang ng isang manlalaro sa isang laro, at baguhin ang posisyon pagkatapos ng gabay ng guro. Sa pagsulat sa pangalawang wika, ang simulator ay dapat maglikha ng mga sanaysay na sumusunod sa mga pattern ng pagkakamali ng mga mag-aaral, at i-revise ang mga bahagi batay sa pagmamarka ng guro. Sa matematika, ang simulator ay dapat makapaghula ng sagot ng mag-aaral, at i-correct ito pagkatapos ng paliwanag.

Magkakaiba ang mga gawain sa panlabas, ngunit pareho ang layunin sa pagtataya: una, tingnan kung ang simulator ay parang sariling estudyante, at pagkatapos, kung ito ay makakasagot sa gabay. Lahat ng paraan ay gumagamit ng parehong rekord ng estudyante, at ihahambing sa parehong held-out test record.

Sa mga resulta ng chess, ang F ng StudentSim ay 0.5150 at ang R ay 0.9067; ang GPT-5.4 ay 0.2316 at 0.7186; ang Maia2 ay 0.4535 at 0.2721. Sa mga eksperimento sa pagsulat sa pangalawang wika at matematika, ang StudentSim ay lumampas din sa parehong mga indikador kumpara sa mga kaugnay na baseline.

Mga 2D resulta sa pagsusuri ng chess. Ang GPT-5.4 ay may mas mabuting pagtuturo ng mga gabay, ngunit mas mababa ang pagkakatulad ng pag-uugali; ang Maia2 ay mas malapit sa mga hakbang ng mga manlalaro, ngunit kulang sa entry point para sa natural na wika; ang StudentSim ay nasa posisyon na may mataas na parehong indikador.

Ang set na ito ay nagpapakita ng malinaw na paghahati ng mga tungkulin. Ang GPT-5.4 ay nakakabasa ng mga gabay, ngunit kulang sa katotohanan kapag sinimulang maging isang partikular na mag-aaral. Ang Maia2 ay mas malapit sa mga hakbang ng mga tao na manlalaro, ngunit hindi makakapag-absorb ng mga paalala ng guro sa natural na wika. Ang StudentSim ay tinuturuan gamit ang totoong mga rekord ng pag-aaral at tinatanggap ang bawat mag-aaral, kaya't nakakamit ang pagpapabuti sa parehong indibidwal na pag-uugali at pagtugon sa mga gabay.

Gayunpaman, ang student simulator ay hindi ang layunin mismo; ang hangganan ay ang kanyang paggamit ay dapat makamit sa realidad at maaaring gamitin upang mapabuti ang teacher model.

Sa nakaraan, ang mga reward signal para sa pag-train ng AI tutor ay nagmula sa mga high-quality na talakayan sa pagtuturo na markahan ng mga eksperto, o sa iba ay mula sa mga pangkalahatang malaking modelo na nagiging hurado gamit ang scale ng pagmamarka. May ilang pag-aaral na sinubukan na i-connect ang reward sa isang simulated na estudyante, ngunit ginamit nila ang mga LLM na estudyante na naglalaro ng papel na hindi totoo sa kognitibong antas, at hindi isang simulator na tinuruan sa totoong data ng mga mag-aaral. Ang StudentSim ay nagtatampok ng ibang pagkakataon dito.

Pinapalawig ng papel ang paggamit ng StudentSim sa proseso ng reinforcement learning ng AI tutor.

Ang eksperimento ay nangyayari sa chess. Una, kinukuha ng sistema ang mga tama ng mga totoong estudyante, gumagawa ang AI tutor ng gabay, at pagkatapos basahin ng StudentSim ang gabay, ibinibigay nito ang pinagbagoong hakbang.

Ang Stockfish ay ginagamit upang kalkulahin ang pagbabago sa kalidad ng mga pinagbagoong hakbang kumpara sa orihinal na mali na hakbang, at ang puntos na ito ay ibinabalik sa tutor bilang RL signal. Ang control group ay kasama ang tutor na walang RL, at ang tutor na gumagamit ng GPT-5.4 bilang reward na simulator ng estudyante.

Gabay sa pagtuturo, ang nakafreeze na AI student simulator ay nagbibigay ng korektibong sagot, at ang sistema ay nag-a-update sa tutor batay sa pagbabago sa kalidad bago at pagkatapos ng koreksyon.

Tatlong grupo ng tutor ay gumagamit ng parehong base model, SFT starting point, at GRPO settings, ngunit iba-iba ang source ng reward.

Pagkatapos ng blind evaluation ng chess evaluator, ang tutor na tinuruan ng StudentSim reward ay nasa unang puwesto sa akurasi, kalidad ng gabay, at personalisadong pagmamarka.

Ang mga eksperto ay nagtataya nang walang kaalaman sa pagkakasunod-sunod ng mga sagot sa tatlong aspeto: ang pagkakatotoo ay batay sa porsyento ng mga sagot na “walang maling impormasyon na nagmumula sa maling pagkakaintindi,” habang ang kalidad ng gabay at personalisasyon ay may skala mula 1 hanggang 5. Ang tutor na tinuruan gamit ang StudentSim reward ay nasa unang lugar sa lahat ng tatlong aspeto.

Mas nakakaalala ang resulta ng reverse group ng eksperimento: ang tutor na tinuruan gamit ang GPT-5.4 bilang student simulator, hindi lamang nabigo sa accuracy kumpara sa StudentSim, kundi mas mababa pa sa baseline na walang RL—ang pangunahing problema ay ang mas mataas na rate ng malubhang maling impormasyon. Kapag ang simulator ay hindi makatotohanan, ito ay magpapadala ng guro patungo sa maling direksyon: isang simulator na may antas ng kognisyon na hindi tugma sa totoong mag-aaral, ngunit may napakalakas na kakayahang unawain, ay makakapag-isip ng sariling sagot kahit saan pa ang gabay—kaya ito ay nagbibigay ng random na reward sa maling gabay, at ang RL ay nagsisimulang mapabilis sa kalituhan (o kaya’y mali).

Hindi inalis ng StudentSim ang totoong mga eksperimento ng mga mag-aaral mula sa edukasyonal na pag-aaral. Ipinapalit nito ang mga tala ng totoong mag-aaral bilang simuladong feedback na maaaring gamitin muli sa pagtatrain, upang makapagtapos ang AI tutor ng higit pang mga ronda ng pagpili at pag-optimize bago pumasok sa human study.

Para sa isang AI teacher system na nangangailangan ng personalized feedback, ang mga student simulator na ito, na nagpapatuloy sa ideya ng mga user simulator na sikat sa nakaraan (ang lahat ng tao ay maaaring isimulahan, pagbuo ng digital twin ng tao), ay nagtataguyod ng isang revolusyonaryong engineering approach:

Aralin kung paano nagkakamali ang mga mag-aaral, aralin kung paano nagbabago ang mga mag-aaral sa ilalim ng gabay, upang magbigay ng feedback signal sa machine learning scale para sa reinforcement learning ng teacher model.

Mga sanggunian: https://arxiv.org/abs/2609.01591

Nakuha mula sa WeChat public account na "Xinzhiyuan", may-akda: Xinzhiyuan; editor: LRST