تم الكشف عن التفاصيل التقنية لـ DeepSeek V4: 1.6 تريليون معلمة، 384 خبيرًا يُفعّلون 6

موقع CoinNews يفيد أنه في 22 أبريل (UTC+8)، وفقًا لمراقبة Beating، قام ييفان زانغ، طالب دكتوراه في جامعة برينستون، بتحديث تفاصيل تقنية DeepSeek V4 على منصة X. فقد أشار في 19 أبريل إلى أن "V4 ستُطلق الأسبوع القادم" وقائمة بأسماء ثلاثة مكونات هندسية، وقدم اليوم جدولًا كاملاً للمعلمات، وأعلن لأول مرة عن وجود نسخة خفيفة من V4 تُسمى V4-Lite بـ 285 مليار معلمة. إجمالي عدد المعلمات في V4 هو 1.6 تريليون. آلية الانتباه هي DSA2، والتي تجمع بين DSA (DeepSeek Sparse Attention) المستخدمة سابقًا في V3.2 وNSA (Native Sparse Attention) المقدمة في ورقة بحثية هذا العام، مع head-dim بقيمة 512، بالتزامن مع Sparse MQA وSWA (الانتباه بنافذة منزلقة). تحتوي طبقات MoE على 384 خبيرًا، ويتم تفعيل 6 خبراء في كل مرة، باستخدام Fused MoE Mega-Kernel. تُستخدم روابط التبقى (Residual Connections) ذات الاتصالات الفائقة (Hyper-Connections). من بين التفاصيل المكشوفة لأول مرة في مرحلة التدريب: يستخدم المُحسِّن Muon (مُحسِّن على مستوى المصفوفات يطبق التعميد النيوتن-شولتز على تحديثات الزخم)، طول سياق التدريب المسبق هو 32K، وفي مرحلة التعلم المعزز تُستخدم GRPO مع تصحيح تباعد KL. تم توسيع طول السياق النهائي إلى 1M. النموذج مخصص للنص فقط. ييفان زانغ غير موظف في DeepSeek، ولم ترد DeepSeek رسميًا على هذه المعلومات.