Phương pháp huấn luyện DeepSeek V4 chuyển sang OPD, kết hợp các mô hình chuyên gia

Tin tức từ ME News, ngày 24 tháng 4 (UTC+8), theo giám sát của Beating, phương pháp hậu huấn luyện của DeepSeek V4 đã trải qua thay đổi lớn: giai đoạn mixed RL của V3.2 đã được thay thế hoàn toàn bởi On-Policy Distillation (OPD - tinh luyện theo chính sách trực tuyến). Quy trình mới gồm hai bước. Bước đầu tiên, dựa trên đường ống V3.2, huấn luyện các mô hình chuyên gia lĩnh vực riêng biệt cho các lĩnh vực như toán học, mã nguồn, Agent và tuân thủ lệnh; mỗi chuyên gia sẽ được tinh chỉnh trước, sau đó áp dụng GRPO để thực hiện học tăng cường. Bước thứ hai, sử dụng OPD đa giáo viên để tinh luyện khả năng của hơn mười chuyên gia vào một mô hình thống nhất: mô hình học sinh thực hiện tinh luyện toàn bộ logit trên bảng từ vựng bằng reverse KL divergence trên các quỹ đạo do chính nó tạo ra, đồng thời align ở cấp độ logits để hợp nhất trọng số của nhiều chuyên gia vào không gian tham số thống nhất, tránh xung đột năng lực thường gặp trong việc hợp nhất trọng số truyền thống và mixed RL. Báo cáo cũng đề xuất Generative Reward Model (GRM - Mô hình phần thưởng sinh ra): đối với các nhiệm vụ khó xác minh bằng quy tắc, thay vì huấn luyện mô hình phần thưởng vô hướng truyền thống, GRM được huấn luyện bằng dữ liệu RL được hướng dẫn bởi rubric, cho phép mạng actor đồng thời đảm nhận chức năng sinh ra và đánh giá, từ đó có thể khái quát hóa sang các nhiệm vụ phức tạp chỉ với một lượng nhỏ ghi chú nhân công đa dạng. (Nguồn: BlockBeats)