Giáo viên AI đã có thể hoàn thành nhiều nhiệm vụ giảng dạy đơn lẻ.
Một bài toán học, nó có thể phân tích từng bước; một bài luận tiếng Anh, nó có thể chỉ ra các lỗi ngữ pháp; một ván cờ, nó cũng có thể đưa ra ý tưởng cho nước đi tiếp theo. Trong nhiều tình huống, đầu ra của mô hình đã đủ giống như một trợ giảng kiên nhẫn.
Nhưng hiệu quả giảng dạy không thể chỉ xem từ phía giáo viên. Sau khi nghe xong, học sinh có sửa được lỗi không, có chỉ đơn thuần làm theo gợi ý hay không, cùng một câu giải thích có tạo ra hiệu quả khác nhau với từng học sinh hay không—tất cả những điều này đều xảy ra ở phía học sinh.
AI giáo viên nếu muốn học cách hướng dẫn cá nhân hóa, cũng cần quan sát phản ứng của học sinh lặp đi lặp lại.
Trong thực tế, những phản hồi này chủ yếu đến từ các nghiên cứu trên con người. Mỗi lần điều chỉnh chiến lược giảng dạy, đều cần tổ chức học sinh tham gia, thu thập tương tác, sau đó đánh giá bằng tay.
Các mô hình AI có thể được cập nhật nhanh chóng, nhưng việc thu thập phản hồi giáo dục bị giới hạn bởi chu kỳ thí nghiệm của con người.
AI tutor cần phản hồi từ học sinh để cải thiện việc giảng dạy, nhưng chi phí thu thập phản hồi thực tế khá cao. StudentSim mong muốn chuyển đổi các bản ghi học sinh thực tế thành phản hồi đại diện có thể gọi lại nhiều lần trong giai đoạn huấn luyện.
Gần đây, nghiên cứu StudentSim, xuất phát từ mâu thuẫn này.
Nhóm nghiên cứu mong muốn nâng cao AI giáo viên để nó có thể hiểu được điểm mạnh và điểm yếu của học sinh, từ đó đưa ra hướng dẫn phù hợp với từng học sinh. Trong quá trình triển khai, nhóm đã tập trung vào vấn đề bộ mô phỏng học sinh: liệu có thể sử dụng dữ liệu học sinh thực tế để huấn luyện một AI học sinh có thể đánh giá và tái sử dụng, giúp AI giáo viên nhận được nhiều phản hồi hơn trong giai đoạn huấn luyện?
Liên kết bài báo: https://arxiv.org/abs/2609.01591
Liên kết mã nguồn: https://github.com/microsoft/StudentSim
Trang chủ bài viết Huggingface: https://huggingface.co/papers/2609.01591
Việc này không hề cô lập trong nghiên cứu AI agent ngày nay. User simulator đang trở thành một hướng nghiên cứu nóng, được ứng dụng vào các bối cảnh như dịch vụ khách hàng, thương mại điện tử, tư vấn y tế và thao tác trang web. Các nhà nghiên cứu sẽ xây dựng người dùng mô phỏng để cho agent trải qua nhiều tương tác hơn trước khi triển khai, nhằm kiểm tra chiến lược, cách diễn đạt và tính bền vững.
Mô phỏng người dùng trong bối cảnh giáo dục phức tạp hơn. Học sinh có ranh giới kiến thức tương đối ổn định, thói quen sai lầm và hành trình học tập riêng. Cùng một câu hỏi, có người tính sai dấu, có người hiểu nhầm khái niệm, có người sau khi nghe gợi ý có thể tự suy luận ra đáp án, có người cần hướng dẫn trực tiếp hơn.
Số song sinh kỹ thuật số của học sinh con người gần đây được thảo luận, cũng được phát triển xung quanh những nhu cầu này.
Mô hình hóa sinh viên không phải là chủ đề mới.
Từ việc theo dõi kiến thức Bayesian năm 1995, đến theo dõi kiến thức sâu và sau đó là theo dõi kiến thức chú ý, hướng này đã được các nhà nghiên cứu tiền nhiệm khám phá gần 30 năm và rất trưởng thành trong việc mô phỏng hành vi của học sinh.
Khoảng trống chung của chúng là mô hình chỉ chấp nhận đầu vào có cấu trúc như câu hỏi, trạng thái, giá trị kỹ năng, mà không có cổng tiếp nhận hướng dẫn bằng ngôn ngữ tự nhiên. Dù giáo viên nói gì, các mô hình này đều không thể tương tác và thay đổi hành vi như học sinh.
Nếu trực tiếp để mô hình lớn đóng vai học sinh, trông có vẻ rất tiện lợi. Chỉ cần viết một câu “Bạn là một học sinh tiểu học có nền tảng toán học yếu”, mô hình lập tức có thể chuyển sang giọng điệu của học sinh nhỏ tuổi và thể hiện sự do dự và không chắc chắn.
Tuy nhiên, giọng điệu và mức độ nhận thức của nhân vật không đồng bộ.
Một mô hình có thể trả lời bằng lời nói của học sinh tiểu học rằng “Tôi không hiểu rõ”, nhưng câu tiếp theo lại đưa ra lập luận ở cấp độ giải tích. Nó trông giống như đang đóng vai học sinh, nhưng phản hồi thực tế vẫn bị ảnh hưởng bởi kho tri thức của chính mô hình, có thể cao xa hơn nhiều so với mức kiến thức mà nó bị giới hạn.
Khi sử dụng để đào tạo giáo viên AI, sự thiên lệch về mức độ nhận thức này sẽ gây ra vấn đề. Tutor không nhận được phản hồi của một học sinh ở ranh giới năng lực hiện tại, mà là phản hồi của một mô hình có năng lực cao đã được bao bọc bởi nhân vật.
Chính vì vậy, chỉ dựa vào một đoạn mô tả năng lực làm điều kiện, đối với các mô hình lớn, là một kênh điều kiện rất yếu. Trong hai năm qua, phương pháp này đã được áp dụng rộng rãi trong các bối cảnh giáo dục, bao gồm dữ liệu hội thoại hướng dẫn, lớp học đa tác nhân và tạo dữ liệu người học; đồng thời, một loạt nghiên cứu chuyên biệt kiểm tra tính hợp lệ của nó cũng đang xuất hiện, đặt câu hỏi từ ba góc độ: kiến trúc, tiêu chuẩn trung thực và trải nghiệm của giáo viên.
Trong giáo dục học, để đánh giá liệu một lần hướng dẫn có hiệu quả hay không, thường không chỉ xem xét biểu hiện của học sinh khi tự mình trả lời, mà còn phải xem học sinh có thể tiến xa đến đâu sau khi nhận sự hỗ trợ.
Khu vực phát triển gần nhất (zone of proximal development) do Vygotsky đề xuất chính là nói về điều này: khoảng cách giữa những gì học sinh có thể tự hoàn thành hiện tại và những gì họ có thể hoàn thành dưới sự hỗ trợ của giáo viên phản ánh không gian mà giảng dạy có thể can thiệp.
Ý tưởng này sau đó được chuyển hóa thành một quy trình đo lường có thể thực hiện thông qua đánh giá động (dynamic assessment): không chỉ ghi lại học sinh trả lời đúng hay sai, mà còn quan sát cách biểu hiện của họ thay đổi sau khi đưa ra gợi ý.
Đặt trên trình mô phỏng học sinh, tư tưởng này tương ứng với hai loại kỹ năng.
Thứ nhất, mô phỏng phải có khả năng tái tạo trạng thái khi học sinh tự làm bài, bao gồm giới hạn năng lực, thói quen sai lầm và các lựa chọn phổ biến. Thứ hai, mô phỏng phải có thể thay đổi tương ứng sau khi tiếp nhận hướng dẫn của giáo viên, thể hiện sự cập nhật mà học sinh này có thể đạt được dưới sự hỗ trợ.
StudentSim
StudentSim định nghĩa hai loại năng lực này lần lượt là behavioral fidelity và guidance responsiveness, và dựa trên đó để huấn luyện và đánh giá mô phỏng học sinh cá nhân hóa.
Bộ mô phỏng học sinh cần trả lời đồng thời hai câu hỏi: khi tự trả lời, có giống học sinh mục tiêu không; và sau khi nhận hướng dẫn từ giáo viên, có thay đổi tương ứng không.
Quy trình huấn luyện được chia thành hai bước.
Bước đầu tiên tổng hợp dữ liệu từ nhiều học sinh trong một lĩnh vực để huấn luyện mô hình hành vi học sinh tổng quát. Giai đoạn này học các lỗi phổ biến, định dạng câu trả lời và lộ trình sửa chữa sau khi được hướng dẫn.
Bước thứ hai tiếp tục huấn luyện bằng cách sử dụng dữ liệu ghi lại của từng học sinh riêng lẻ để tạo ra bộ mô phỏng cá nhân hóa. Do dữ liệu của một học sinh đơn lẻ ít, việc huấn luyện trực tiếp dễ dẫn đến hiện tượng quá khớp; trước tiên học các quy luật nhóm, sau đó điều chỉnh với dữ liệu cá nhân sẽ giúp ổn định hơn trong việc tạo ra bộ mô phỏng tương ứng với từng học sinh.
Quy trình huấn luyện
Đội ngũ nghiên cứu đồng thời xây dựng StudentSimEval. Đánh giá bao gồm 60 học sinh thực tế, đến từ ba bối cảnh: cờ vua, viết tiếng Anh như ngôn ngữ thứ hai và toán học cơ bản.
Trong cờ vua, trình mô phỏng dự đoán nước đi của người chơi trong ván cờ và điều chỉnh vị trí sau khi có hướng dẫn từ huấn luyện viên. Trong viết văn tiếng thứ hai, trình mô phỏng tạo ra bài viết phù hợp với mô hình lỗi của người học và chỉnh sửa các đoạn văn dựa trên nhận xét của giáo viên. Trong toán học, trình mô phỏng dự đoán câu trả lời của học sinh và điều chỉnh sau khi giải thích.
Các nhiệm vụ này có vẻ rất khác nhau về bề ngoài, nhưng mục tiêu đánh giá là nhất quán: trước tiên xem bộ mô phỏng có giống học sinh thật không, sau đó xem nó có thể phản hồi hướng dẫn hay không. Tất cả các phương pháp đều sử dụng cùng một bản ghi học sinh và so sánh trên cùng một bản ghi kiểm tra đã được giữ lại.
Trong kết quả cờ vua, StudentSim có F là 0.5150 và R là 0.9067; GPT-5.4 lần lượt là 0.2316 và 0.7186; Maia2 lần lượt là 0.4535 và 0.2721. Trong các thí nghiệm viết văn và toán học bằng ngôn ngữ thứ hai, StudentSim cũng vượt trội hơn các cơ sở so sánh tương ứng trên cả hai chỉ số.
Kết quả hai chiều trong đánh giá cờ vua. GPT-5.4 có hướng dẫn phản hồi tốt hơn nhưng độ trung thực hành vi thấp hơn; Maia2 gần với nước đi của người chơi hơn nhưng thiếu đầu vào hướng dẫn bằng ngôn ngữ tự nhiên; StudentSim nằm ở vị trí có cả hai chỉ số cao.
Kết quả này cho thấy sự phân công rõ ràng: GPT-5.4 có thể đọc hướng dẫn nhưng độ chính xác khi mô phỏng học sinh cụ thể còn hạn chế. Maia2 có cách đi gần với người chơi cờ thật hơn, nhưng không thể tiếp thu các gợi ý huấn luyện bằng ngôn ngữ tự nhiên. StudentSim được huấn luyện dựa trên dữ liệu học tập thực tế và được điều chỉnh cho từng học sinh, từ đó cải thiện cả hành vi cá nhân lẫn phản hồi với hướng dẫn.
Tuy nhiên, chính bản thân trình mô phỏng học sinh không phải là mục tiêu; điểm đến là chức năng của nó cần được áp dụng thực tế và có thể được sử dụng để cải thiện mô hình giáo viên.
Trước đây, để huấn luyện AI tutor, tín hiệu phần thưởng trong một số công việc đến từ các cuộc hội thoại hướng dẫn chất lượng cao do chuyên gia gán nhãn, trong khi một số khác sử dụng mô hình ngôn ngữ lớn tổng quát làm trọng tài theo thang điểm. Một số công việc cũng thử kết nối phần thưởng với học sinh mô phỏng, nhưng những học sinh mô phỏng này đều là các LLM đóng vai không phản ánh trung thực mức độ nhận thức, chứ không phải là các trình mô phỏng được huấn luyện trên dữ liệu của người học thực tế. StudentSim đưa ra một cách tiếp cận khác ở điểm này.
Bài luận còn đưa StudentSim vào quy trình học tăng cường của trợ lý AI.
Bối cảnh thí nghiệm là cờ vua. Hệ thống trước tiên lấy ra các nước đi sai mà học sinh thực tế đã mắc phải, AI tutor tạo ra hướng dẫn, StudentSim đọc hướng dẫn và đưa ra nước đi đã được sửa chữa.
Stockfish được sử dụng để tính toán sự thay đổi chất lượng của nước đi được sửa đổi so với nước đi sai ban đầu, điểm số này được trả về cho tutor như một tín hiệu RL. Nhóm đối chứng bao gồm tutor không sử dụng RL và tutor sử dụng GPT-5.4 làm bộ mô phỏng học sinh để tính phần thưởng.
Hướng dẫn của Tutor, trình mô phỏng học sinh AI bị khóa đưa ra câu trả lời đã sửa, hệ thống cập nhật Tutor dựa trên sự thay đổi chất lượng trước và sau khi sửa.
Ba nhóm tutor sử dụng cùng mô hình cơ sở, điểm khởi đầu SFT và cài đặt GRPO, nhưng nguồn phần thưởng khác nhau.
Sau khi đánh giá mù, tutor được huấn luyện bằng StudentSim reward đứng đầu về độ chính xác, chất lượng hướng dẫn và điểm số cá nhân hóa.
Các chuyên gia đánh giá mù ba chiều với thứ tự trình bày bị xáo trộn: độ chính xác dựa trên tỷ lệ câu trả lời “không có sai sót sự thật gây hiểu lầm”, hướng dẫn và cá nhân hóa đều được chấm từ 1 đến 5 điểm. Tutor được huấn luyện bằng StudentSim reward đạt điểm cao nhất ở cả ba chiều.
Đáng chú ý hơn là nhóm thí nghiệm ngược lại: tutor được huấn luyện bằng GPT-5.4 làm bộ mô phỏng học sinh không chỉ kém chính xác hơn StudentSim mà còn thấp hơn cả baseline không thực hiện RL, do tỷ lệ sai sót sự thật nghiêm trọng cao rõ rệt. Bộ mô phỏng không chính xác sẽ đẩy giáo viên theo hướng sai lầm: một bộ mô phỏng có mức nhận thức không phù hợp với học sinh thực tế nhưng khả năng hiểu biết cực kỳ mạnh mẽ, sau khi đọc bất kỳ hướng dẫn nào dù kỳ quặc đến đâu cũng có thể tự suy ra một câu trả lời nào đó, từ đó đưa ra phần thưởng ngẫu nhiên cho các hướng dẫn sai lệch, khiến RL được tối ưu hóa theo hướng hỗn loạn (hoặc sai lầm).
StudentSim không thay thế các thí nghiệm thực tế của học sinh trong nghiên cứu giáo dục. Nó chuyển đổi các bản ghi thực tế của học sinh thành phản hồi mô phỏng có thể được gọi lại nhiều lần trong giai đoạn huấn luyện, giúp AI tutor thực hiện nhiều vòng sàng lọc và tối ưu hóa trước khi bước vào nghiên cứu với con người.
Đối với hệ thống giáo viên AI cần phản hồi cá nhân hóa, các trình mô phỏng học sinh này, kế thừa dòng tư tưởng gần đây về trình mô phỏng người dùng (mọi người đều có thể được mô phỏng, xây dựng song sinh kỹ thuật số của con người), cung cấp một con đường kỹ thuật cách mạng:
Học cách học sinh mắc lỗi, học cách học sinh thay đổi dưới sự hướng dẫn, để cung cấp tín hiệu phản hồi ở thang thời gian học máy cho việc học tăng cường của mô hình giáo viên.
Tài liệu tham khảo: https://arxiv.org/abs/2609.01591
Bài viết này đến từ tài khoản chính thức WeChat "New Intelligence Yuan", tác giả: New Intelligence Yuan; biên tập: LRST