Microsoft và Đại học Chiết Giang ra mắt World-R1: Tính nhất quán 3D trong các mô hình video thông qua học tăng cường

Tin tức AIMPACT, ngày 28 tháng 4 (UTC+8), theo giám sát của Beating, nhóm từ Viện Nghiên cứu Microsoft và Đại học Chiết Giang đã đề xuất World-R1, sử dụng học tăng cường để giúp mô hình sinh video từ văn bản học được tính nhất quán 3D mà không cần thay đổi kiến trúc mô hình hay phụ thuộc vào bộ dữ liệu 3D. Ý tưởng cốt lõi: sau khi sinh video, sử dụng mô hình nền 3D đã được huấn luyện trước Depth Anything 3 để tái tạo các điểm Gaussian 3D của cảnh, sau đó render từ góc nhìn mới và so sánh với video gốc, kết hợp lỗi tái tạo, độ lệch quỹ đạo và độ tin cậy ngữ nghĩa từ góc nhìn mới (được đánh giá bởi Qwen3-VL) thành tín hiệu phần thưởng, rồi phản hồi lại mô hình video thông qua Flow-GRPO (một thuật toán học tăng cường được điều chỉnh cho mô hình khớp luồng). Mô hình nền là万相 Wan 2.1 (1.3B và 14B) mã nguồn mở, lần lượt huấn luyện ra World-R1-Small và World-R1-Large. Dữ liệu huấn luyện chỉ gồm khoảng 3.000 prompt văn bản thuần túy do Gemini tạo ra, không sử dụng bất kỳ tài sản 3D nào. Trong quá trình huấn luyện, cứ sau 100 bước sẽ chèn một vòng “tinh chỉnh động”, tạm thời tắt phần thưởng 3D và chỉ giữ lại phần thưởng chất lượng hình ảnh, nhằm ngăn mô hình ép các chuyển động phi cứng như chuyển động của con người vì sự cứng nhắc về hình học. Về chỉ số nhất quán 3D, PSNR (tỷ lệ tín hiệu đỉnh trên nhiễu) của World-R1-Large tăng 7,91 dB so với Wan 2.1 14B, phiên bản Small tăng 10,23 dB. Chất lượng video tổng thể trên VBench không giảm mà còn tăng. Trong thử nghiệm mù với 25 người, tỷ lệ thắng về tính nhất quán hình học là 92%, sự ưu tiên tổng thể là 86%. Mã nguồn đã được mở trên GitHub với giấy phép CC BY-NC-SA 4.0. (Nguồn: BlockBeats)