Ipinakilala ang Teknikal na Detalye ng DeepSeek V4: 1.6T na Parametro, 384 na Eksperto na Aktibong 6

Ayon sa CoinDesk, noong Abril 22 (UTC+8), ayon sa pagmamasid ng Beating, ang doctoral student sa Princeton na si Yifan Zhang ay nag-update ng teknikal na detalye ng DeepSeek V4 sa X. Noong Abril 19, nagpaabot siya ng “V4 next week” at isinampa ang mga pangalan ng tatlong arkitekturang komponente, at ngayong gabi ay inilabas niya ang buong tabla ng mga parameter, kasama na ang unang pagpapakita ng isang lightweight na bersyon na V4-Lite na may 285B na parameter. Ang kabuuang parameter ng V4 ay 1.6T. Ang mekanismo ng atensyon ay DSA2, na nagkakaisa sa DSA (DeepSeek Sparse Attention) na ginamit ng DeepSeek sa V3.2 at ang NSA (Native Sparse Attention) na isinampa sa papel noong simula ng taon, may head-dim na 512, kasama ang Sparse MQA at SWA (sliding window attention). Mayroong 384 na eksperto sa MoE layer, na aktibado ang 6 sa bawat pagkakataon, gamit ang Fused MoE Mega-Kernel. Ang residual connection ay patuloy na gumagamit ng Hyper-Connections. Ang mga bagong inilabas na detalye sa pag-train ay kasama ang paggamit ng Muon (isang matrix-level optimizer na naglalapat ng Newton-Schulz orthogonalization sa momentum update), pre-training context length na 32K, at ang paggamit ng GRPO sa reinforcement learning phase kasama ang KL divergence correction. Ang huling context length ay napalawak hanggang 1M. Ang modalidad ay pure text. Hindi si Zhang isang miyembro ng DeepSeek, at wala pang pormal na tugon mula sa opisyal na DeepSeek tungkol sa mga impormasyong ito.