Mudança na metodologia de treinamento do DeepSeek V4 para OPD, integra modelos especializados

Notícia da ME, 24 de abril (UTC+8): De acordo com monitoramento da Beating, o método de pós-treinamento do DeepSeek V4 sofreu mudanças significativas: a fase de RL mista do V3.2 foi totalmente substituída pelo On-Policy Distillation (OPD, destilação em política online). O novo processo ocorre em duas etapas. Na primeira etapa, modelos especialistas em domínios específicos são treinados separadamente com base na pipeline do V3.2, abrangendo áreas como matemática, código, Agent e seguimento de instruções; cada especialista passa primeiro por fine-tuning e depois por aprendizado por reforço com GRPO. Na segunda etapa, a OPD com múltiplos professores transfere as capacidades de mais de dez especialistas para um modelo unificado: o aluno realiza destilação de logit em todo o vocabulário com reverse KL divergence em trajetórias geradas por si mesmo, alinhando logits para combinar os pesos de múltiplos especialistas em um único espaço de parâmetros, evitando conflitos de capacidade comuns em fusão de pesos e RL mista tradicionais. O relatório também propõe o Generative Reward Model (GRM, modelo gerativo de recompensa): para tarefas difíceis de validar com regras, em vez de treinar modelos tradicionais de recompensa escalar, utiliza-se dados de RL guiados por rubricas para treinar o GRM, permitindo que a rede actor assuma simultaneamente funções de geração e avaliação, alcançando generalização em tarefas complexas com poucos rótulos humanos diversificados. (Fonte: BlockBeats)