วิธีการฝึก DeepSeek V4 เปลี่ยนไปใช้ OPD และรวมโมเดลผู้เชี่ยวชาญ

ข่าว ME รายงานเมื่อวันที่ 24 เมษายน (UTC+8) ตามข้อมูลจาก Beating ซึ่งติดตามสถานการณ์ วิธีการฝึกหลังจากใช้งาน DeepSeek V4 เกิดการเปลี่ยนแปลงครั้งใหญ่: ระยะ mixed RL ของ V3.2 ถูกแทนที่อย่างสมบูรณ์ด้วย On-Policy Distillation (OPD) กระบวนการใหม่นี้แบ่งเป็นสองขั้นตอน ขั้นตอนที่หนึ่ง: บนพื้นฐานของสายการผลิต V3.2 ฝึกโมเดลผู้เชี่ยวชาญเฉพาะด้านแยกกันในสาขาต่างๆ เช่น คณิตศาสตร์ โค้ด Agent และการปฏิบัติตามคำสั่ง โดยแต่ละผู้เชี่ยวชาญจะทำการปรับแต่งก่อนแล้วใช้ GRPO เพื่อการเรียนรู้เชิงเสริม ขั้นตอนที่สอง: ใช้ OPD แบบผู้สอนหลายคนเพื่อถ่ายโอนความสามารถของผู้เชี่ยวชาญกว่าสิบคนเข้าสู่โมเดลเดียว: นักเรียนจะทำการ蒸馏แบบ full-token logit โดยใช้ reverse KL divergence กับแต่ละผู้สอนบนเส้นทางที่ตัวเองสร้างขึ้น เพื่อจัดแนวระดับ logits และรวมน้ำหนักของผู้เชี่ยวชาญหลายรายเข้าสู่พื้นที่พารามิเตอร์เดียวกัน โดยหลีกเลี่ยงปัญหาความขัดแย้งของความสามารถที่มักเกิดขึ้นในวิธีการรวมน้ำหนักแบบดั้งเดิมและ mixed RL นอกจากนี้รายงานยังเสนอ Generative Reward Model (GRM): สำหรับงานที่ยากต่อการตรวจสอบด้วยกฎเกณฑ์ จะไม่ฝึกโมเดลรางวัลแบบสเกลาร์แบบดั้งเดิมอีกต่อไป แต่ใช้ข้อมูล RL ที่ได้รับการแนะนำจาก rubric เพื่อฝึก GRM ทำให้เครือข่าย actor มีความสามารถทั้งในการสร้างและประเมินผล โดยสามารถทั่วไปไปยังงานที่ซับซ้อนได้ด้วยการติดป้ายกำกับด้วยมนุษย์เพียงไม่กี่ชุดและหลากหลาย (ที่มา: BlockBeats)