Guru AI sudah dapat menyelesaikan banyak tugas pengajaran tunggal.
Sebuah soal matematika, ia bisa memecah langkah-langkahnya; sebuah esai bahasa Inggris, ia bisa mengidentifikasi masalah tata bahasa; sebuah permainan catur, ia juga bisa menjelaskan langkah berikutnya. Di banyak skenario, output model sudah cukup seperti seorang asisten yang sabar.
Namun, efektivitas pengajaran tidak bisa dilihat hanya dari sisi guru. Setelah mendengarkan, apakah siswa memperbaiki kesalahan mereka, apakah mereka hanya mengikuti petunjuk, dan apakah penjelasan yang sama menghasilkan efek berbeda pada siswa yang berbeda—semua ini terjadi di sisi siswa.
Guru AI juga perlu mengamati reaksi siswa secara berulang-ulang jika ingin belajar memberikan bimbingan personalisasi.
Dalam dunia nyata, respons ini terutama berasal dari studi manusia. Setiap penyesuaian strategi pengajaran memerlukan partisipasi siswa, pengumpulan interaksi, dan evaluasi manual.
Model AI dapat diperbarui dengan cepat, tetapi pengambilan umpan balik pendidikan dibatasi oleh siklus eksperimen manusia.
AI tutor memerlukan umpan balik dari siswa untuk meningkatkan pengajaran, tetapi biaya pengumpulan umpan balik nyata tinggi. StudentSim berharap dapat mengubah rekaman siswa nyata menjadi umpan balik agen yang dapat dipanggil berulang-ulang selama tahap pelatihan.
Penelitian terbaru tentang StudentSim, mulai dari kontradiksi ini.
Tim peneliti berharap meningkatkan guru AI agar dapat memahami kelebihan dan kekurangan siswa, serta memberikan bimbingan yang sesuai untuk setiap siswa. Dalam proses pengembangannya, tim memfokuskan masalah pada simulator siswa: apakah mungkin melatih siswa AI yang dapat dievaluasi dan dapat digunakan kembali dengan data siswa nyata, sehingga guru AI dapat memperoleh lebih banyak umpan balik selama tahap pelatihan.
Tautan makalah: https://arxiv.org/abs/2609.01591
Tautan kode: https://github.com/microsoft/StudentSim
Halaman kertas Huggingface: https://huggingface.co/papers/2609.01591
Hal ini tidak terisolasi dalam penelitian agen AI saat ini. User simulator sedang menjadi topik penelitian yang populer, dengan penerapan dalam skenario seperti layanan pelanggan, e-commerce, konsultasi medis, dan operasi web. Peneliti menciptakan pengguna simulasi agar agen dapat mengalami lebih banyak interaksi sebelum diluncurkan, untuk menguji strategi, teknik komunikasi, dan ketahanannya.
Simulasi pengguna dalam konteks pendidikan lebih kompleks. Siswa memiliki batasan pengetahuan, kebiasaan kesalahan, dan lintasan belajar yang relatif stabil. Untuk soal yang sama, ada yang salah menghitung tanda, ada yang salah memahami konsep, ada yang bisa menemukan jawaban sendiri setelah mendapat petunjuk, dan ada yang membutuhkan bimbingan yang lebih langsung.
Digital twin siswa manusia yang baru-baru ini dibahas juga dikembangkan seputar kebutuhan semacam ini.
Membuat model siswa bukanlah topik baru
Dari Bayesian Knowledge Tracing pada tahun 1995, hingga Deep Knowledge Tracing, dan kemudian Attention-based Knowledge Tracing, arah ini telah dieksplorasi selama hampir 30 tahun dan sangat matang dalam memodelkan perilaku siswa.
Kesenjangan umum mereka adalah bahwa model hanya menerima input terstruktur seperti soal, status, dan nilai kemampuan, tanpa adanya saluran untuk menerima instruksi bahasa alami. Terlepas dari apa yang dikatakan guru, model semacam ini tidak dapat berinteraksi dan mengubah perilaku seperti siswa.
Jika langsung meminta model besar untuk berperan sebagai siswa, tampaknya sangat nyaman. Cukup tulis satu kalimat, "Kamu adalah siswa sekolah dasar dengan dasar matematika yang lemah," dan model langsung bisa berpindah ke gaya bahasa siswa usia kecil, serta menunjukkan keraguan dan ketidakpastian.
Namun, nada dan tingkat pemahaman karakter tidak sejalan.
Sebuah model dapat menjawab "Saya tidak terlalu mengerti" dengan gaya anak sekolah dasar, namun kalimat berikutnya justru memberikan penalaran setingkat kalkulus. Tampaknya ia berpura-pura menjadi siswa, tetapi responsnya tetap dipengaruhi oleh pengetahuan dasar model itu sendiri, yang mungkin jauh lebih tinggi daripada batasan pengetahuan yang diberlakukan padanya.
Saat digunakan untuk pelatihan guru AI, bias tingkat kognitif ini akan menimbulkan masalah. Tutor tidak menerima respons dari siswa di batas kemampuan saat ini, melainkan respons dari model berkapasitas tinggi yang telah dibungkus dengan karakter tertentu.
Karena itulah, hanya mengandalkan deskripsi kemampuan sebagai syarat, bagi model besar merupakan saluran syarat yang sangat rapuh. Pendekatan ini dalam dua tahun terakhir banyak diterapkan dalam skenario pendidikan, seperti korpus bimbingan dialog, kelas agen ganda, dan generasi data peserta didik; sementara itu, sejumlah penelitian khusus yang memeriksa validitasnya juga mulai muncul, yang mempertanyakan dari tiga sudut pandang: arsitektur, benchmark keakuratan, dan pengalaman pengguna guru.
Dalam pendidikan, menilai efektivitas bimbingan biasanya tidak hanya melihat kinerja siswa saat menjawab secara mandiri, tetapi juga sejauh mana siswa dapat maju setelah menerima bantuan.
Zona perkembangan terdekat (zone of proximal development) yang diajukan oleh Vygotsky membahas hal ini: kesenjangan antara apa yang dapat dilakukan siswa secara mandiri dan apa yang dapat mereka capai dengan dukungan guru mencerminkan ruang di mana pengajaran dapat diintervensi.
Ide ini kemudian diwujudkan menjadi prosedur pengukuran yang dapat dioperasionalisasikan melalui penilaian dinamis (dynamic assessment): tidak hanya mencatat apakah siswa menjawab benar atau salah, tetapi juga mengamati bagaimana kinerjanya berubah setelah diberikan petunjuk.
Diletakkan pada simulator siswa, gagasan ini sesuai dengan dua jenis kemampuan.
Pertama, simulator harus mampu mereproduksi keadaan saat siswa menjawab secara mandiri, termasuk batasan kemampuan, kebiasaan kesalahan, dan pilihan umum. Kedua, simulator harus mampu menghasilkan perubahan yang sesuai setelah membaca panduan dari guru, menunjukkan kemungkinan pembaruan yang muncul pada siswa tersebut setelah mendapat bantuan.
StudentSim
StudentSim mendefinisikan dua kemampuan ini masing-masing sebagai behavioral fidelity dan guidance responsiveness, dan menggunakannya untuk melatih serta mengevaluasi simulator siswa personalisasi.
Simulator siswa perlu menjawab dua pertanyaan sekaligus: apakah saat menjawab secara mandiri ia seperti siswa target, dan apakah ia mengalami perubahan yang sesuai setelah menerima bimbingan dari guru.
Proses pelatihan terdiri dari dua langkah.
Langkah pertama mengumpulkan catatan dari beberapa siswa dalam satu bidang, lalu melatih model perilaku siswa umum. Pada tahap ini, model belajar kesalahan umum, format jawaban, dan jalur perbaikan setelah bimbingan.
Langkah kedua melanjutkan pelatihan menggunakan rekaman masing-masing siswa untuk mendapatkan simulator personalisasi. Rekaman satu siswa sedikit, sehingga pelatihan langsung rentan terhadap overfitting; dengan terlebih dahulu mempelajari pola kelompok, lalu menyesuaikan dengan data pribadi, kita dapat memperoleh simulator yang lebih stabil untuk setiap siswa.
Proses pelatihan
Tim peneliti juga membangun StudentSimEval. Evaluasi mencakup 60 siswa nyata dari tiga skenario: catur, menulis bahasa Inggris sebagai bahasa kedua, dan matematika dasar.
Dalam catur, simulator memprediksi langkah yang akan diambil pemain dalam permainan, lalu menyesuaikan posisi setelah mendapat bimbingan dari pelatih. Dalam menulis bahasa kedua, simulator menghasilkan esai yang sesuai dengan pola kesalahan peserta didik, lalu merevisi fragmen berdasarkan koreksi guru. Dalam matematika, simulator memprediksi jawaban siswa, lalu memperbaikinya setelah penjelasan.
Tugas-tugas ini tampak sangat berbeda, tetapi tujuan evaluasinya tetap konsisten: pertama, periksa apakah simulator terlihat seperti siswa itu sendiri, lalu lihat apakah ia dapat merespons bimbingan. Semua metode menggunakan catatan siswa yang sama dan dibandingkan pada rekaman pengujian held-out yang sama.
Dalam hasil catur, StudentSim memiliki F sebesar 0,5150 dan R sebesar 0,9067; GPT-5.4 masing-masing 0,2316 dan 0,7186; Maia2 masing-masing 0,4535 dan 0,2721. Dalam eksperimen menulis bahasa kedua dan matematika, StudentSim juga melebihi baseline terkait pada kedua indikator tersebut.
Hasil dua dimensi dalam evaluasi catur. GPT-5.4 memberikan panduan yang lebih baik, tetapi tingkat keakuratan perilaku rendah; Maia2 lebih dekat dengan langkah pemain catur, tetapi tidak memiliki antarmuka panduan bahasa alami; StudentSim berada di posisi dengan kedua indikator tinggi secara bersamaan.
Hasil ini menunjukkan pembagian tugas yang jelas. GPT-5.4 dapat membaca petunjuk, tetapi kurang akurat dalam mensimulasikan siswa tertentu. Maia2 lebih mendekati langkah-langkah pemain catur manusia, tetapi tidak dapat menyerap petunjuk pelatih dalam bahasa alami. StudentSim dilatih menggunakan rekaman pembelajaran nyata dan disesuaikan untuk setiap siswa, sehingga meningkatkan baik perilaku individu maupun respons terhadap petunjuk.
Namun, simulator siswa itu sendiri bukan tujuan akhir; tujuannya adalah agar fungsinya dapat diterapkan di dunia nyata dan digunakan untuk meningkatkan model guru.
Sebelumnya, pelatihan AI tutor menggunakan sinyal reward yang berasal dari dialog bimbingan berkualitas tinggi yang ditandai oleh ahli, serta beberapa lainnya menggunakan penilaian dari model besar umum dengan skala penilaian. Ada juga upaya untuk menghubungkan reward ke simulasi siswa, namun menggunakan LLM siswa yang berperan sebagai karakter tanpa keakuratan kognitif, bukan simulator yang dilatih berdasarkan data pembelajar nyata. StudentSim mengusulkan pendekatan berbeda dalam hal ini.
Paper selanjutnya memasukkan StudentSim ke dalam proses pembelajaran penguatan tutor AI.
Skenario eksperimen adalah catur. Sistem terlebih dahulu mengambil langkah salah yang pernah dilakukan oleh siswa nyata, tutor AI menghasilkan panduan, dan StudentSim setelah membaca panduan tersebut memberikan langkah koreksi.
Stockfish digunakan untuk menghitung perubahan kualitas dari langkah korektif dibandingkan dengan langkah kesalahan awal, dan skor ini dikirimkan kembali ke tutor sebagai sinyal RL. Kelompok kontrol mencakup tutor tanpa RL, serta tutor yang menggunakan GPT-5.4 sebagai simulator siswa untuk reward.
Panduan Tutor, simulator siswa AI yang dibekukan memberikan jawaban koreksi, sistem memperbarui tutor berdasarkan perubahan kualitas sebelum dan sesudah koreksi.
Tiga kelompok tutor menggunakan model dasar yang sama, titik awal SFT, dan pengaturan GRPO yang sama, tetapi sumber reward berbeda.
Setelah evaluasi buta oleh evaluator catur, tutor yang dilatih dengan reward StudentSim berada di peringkat pertama dalam akurasi, kualitas bimbingan, dan penilaian personalisasi.
Ahli menilai secara buta tiga dimensi dengan urutan penyajian yang diacak: akurasi dilihat dari persentase jawaban yang "tidak mengandung kesalahan fakta yang menyesatkan", sedangkan kualitas panduan dan personalisasi masing-masing dinilai dari 1 hingga 5. Tutor yang dilatih dengan StudentSim reward berada di peringkat pertama di ketiga dimensi tersebut.
Yang lebih patut diperhatikan adalah kelompok eksperimen dengan hasil sebaliknya: tutor yang dilatih menggunakan GPT-5.4 sebagai simulator siswa tidak hanya kalah akurasinya dibanding StudentSim, tetapi juga lebih rendah daripada baseline yang sama sekali tidak melakukan RL, karena tingkat kesalahan fakta serius yang jauh lebih tinggi. Simulator yang tidak akurat akan mendorong guru ke arah yang salah: simulator yang tingkat kognitifnya tidak sesuai dengan siswa sungguhan, tetapi memiliki kemampuan pemahaman luar biasa, dapat menghasilkan jawaban tertentu bahkan dari petunjuk yang paling tidak masuk akal sekalipun, sehingga memberikan reward acak pada petunjuk yang salah, dan RL pun dioptimalkan menuju kekacauan (bahkan kesalahan).
StudentSim tidak menggantikan eksperimen siswa nyata dari penelitian pendidikan. Ia mengubah catatan siswa nyata menjadi umpan balik simulasi yang dapat dipanggil berulang-ulang selama tahap pelatihan, memungkinkan AI tutor menyelesaikan lebih banyak siklus penyaringan dan optimasi sebelum memasuki studi manusia.
Untuk sistem guru AI yang membutuhkan umpan balik personalisasi, simulator siswa semacam ini melanjutkan alur pemikiran simulator pengguna yang sedang populer belakangan ini (semua orang dapat disimulasikan, membangun digital twin manusia), dan menyediakan jalur teknik yang revolusioner:
Pelajari bagaimana siswa membuat kesalahan, pelajari bagaimana siswa berubah di bawah bimbingan, untuk memberikan sinyal umpan balik pada skala waktu pembelajaran mesin bagi model pengajar.
Referensi: https://arxiv.org/abs/2609.01591
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: Sinzhiyuan; editor: LRST