Perubahan Metodologi Pelatihan DeepSeek V4 kepada OPD, Menggabungkan Model Pakar

Berita ME, 24 April (UTC+8), menurut pemantauan Beating, terdapat perubahan besar dalam metodologi pelatihan lanjutan DeepSeek V4: fasa mixed RL pada V3.2 digantikan sepenuhnya oleh On-Policy Distillation (OPD). Proses baharu ini terdiri daripada dua langkah. Langkah pertama, model pakar domain dilatih secara berasingan berdasarkan saluran V3.2 untuk bidang-bidang seperti matematik, kod, Agent, dan pengikutan arahan; setiap pakar menjalani fine-tuning terlebih dahulu sebelum menggunakan GRPO untuk pembelajaran penguatan. Langkah kedua, kemampuan lebih daripada sepuluh pakar didistilasi ke dalam satu model seragam menggunakan multi-teacher OPD: pelajar melakukan distilasi logit seluruh vokabular berdasarkan reverse KL divergence terhadap setiap guru pada trajektori yang dihasilkannya sendiri, menggabungkan bobot pelbagai pakar ke dalam ruang parameter seragam melalui penyelarasan pada aras logit, mengelakkan konflik kemampuan yang biasa berlaku dalam penggabungan bobot tradisional dan mixed RL. Laporan tersebut juga memperkenalkan Generative Reward Model (GRM): bagi tugas-tugas sukar diverifikasi dengan peraturan, bukannya melatih model ganjaran skalar tradisional, GRM dilatih menggunakan data RL yang dipandu oleh rubrik, membolehkan rangkaian actor menanggung kemampuan menghasilkan dan menilai secara serentak, serta mampu generalisasi kepada tugas kompleks dengan hanya sedikit label manual yang pelbagai. (Sumber: BlockBeats)