Détails techniques de DeepSeek V4 révélés : 1,6 trillion de paramètres, 384 experts activant 6

Selon CoinNews, le 22 avril (UTC+8), selon les données recueillies par Beating, l'étudiant en doctorat de Princeton Yifan Zhang a mis à jour les détails techniques de DeepSeek V4 sur X. Il avait annoncé le 19 avril que « V4 arrivera la semaine prochaine » et listé trois composants d'architecture ; ce soir, il a publié la table complète des paramètres et révélé pour la première fois l'existence d'une version légère, V4-Lite, avec 285 milliards de paramètres. Le nombre total de paramètres de V4 s'élève à 1,6 trillion. Le mécanisme d'attention est le DSA2, qui combine les deux approches d'attention clairsemée précédemment utilisées par DeepSeek dans V3.2 (DSA : DeepSeek Sparse Attention) et celle présentée dans un article début cette année (NSA : Native Sparse Attention), avec une dimension de head de 512, associée à Sparse MQA et SWA (Sliding Window Attention). La couche MoE comprend 384 experts, dont 6 sont activés à chaque fois, en utilisant le Fused MoE Mega-Kernel. Les connexions résiduelles conservent les Hyper-Connections. Les détails révélés pour la première fois concernant l'entraînement incluent : un optimiseur Muon (un optimiseur matriciel appliquant l'orthogonalisation Newton-Schulz aux mises à jour de moment), une longueur de contexte en pré-entraînement de 32K, et l'utilisation de GRPO avec correction KL-divergence pendant la phase d'apprentissage par renforcement. La longueur finale du contexte a été étendue à 1 million. Le modèle est exclusivement textuel. Zhang n'est pas employé par DeepSeek, et DeepSeek n'a pas réagi officiellement à ces informations.