أخبار ME، 22 أبريل (UTC+8)، وفقًا لمراقبة Beating، قام ييفان زانغ، طالب دكتوراه في جامعة برينستون، بتحديث التفاصيل التقنية لـ DeepSeek V4 على منصة X. فقد سبق أن أشار في 19 أبريل إلى أن "V4 ستُطلق الأسبوع القادم" وذكر ثلاثة مكونات هندسية، وقدم اليوم قائمة كاملة بالمعالم، وكشف لأول مرة عن نسخة خفيفة من V4 تُسمى V4-Lite بحجم 285B معلمة. إجمالي عدد المعلمات في V4 هو 1.6T. آلية الانتباه هي DSA2، وهي تجمع بين DSA (DeepSeek Sparse Attention) المستخدمة سابقًا في V3.2 وNSA (Native Sparse Attention) المقدمة في ورقة بحثية هذا العام، مع head-dim بحجم 512، بالتزامن مع Sparse MQA وSWA (الانتباه بنافذة منزلقة). تحتوي طبقات MoE على 384 خبيرًا، ويتم تفعيل 6 خبراء في كل مرة، باستخدام Fused MoE Mega-Kernel. تُستخدم الاتصالات الفائقة (Hyper-Connections) في الوصلات المتبقيّة. من بين التفاصيل المكشوفة لأول مرة في مرحلة التدريب: يستخدم المُحسّن Muon (مُحسّن على مستوى المصفوفات يطبّق تربيع Newton-Schulz على تحديثات الزخم)، طول سياق التدريب المسبق هو 32K، وفي مرحلة التعلم المعزز تُستخدم GRPO مع تصحيح تباعد KL. تم توسيع طول السياق النهائي إلى 1M. النموذج مخصص للنص فقط. ييفان زانغ غير موظف لدى DeepSeek، ولم ترد DeepSeek رسميًا على هذه المعلومات. (المصدر: BlockBeats)
تم الكشف عن المواصفات الفنية لـ DeepSeek V4: 1.6 تريليون معلمة، 384 خبيرًا يُفعّلون 6
KuCoinFlashمشاركة
ملخص
في 22 أبريل (UTC+8)، شارك طالب الدكتوراه في برينستون ييفان زانغ مؤشرات تقنية لـ DeepSeek V4 على X. يحتوي النموذج على 1.6 تريليون معلمة، و384 خبير MoE مع تفعيل 6 لكل خطوة، وإصدار V4-Lite بحجم 285 مليار معلمة. تم التدريب باستخدام مُحسّن Muon، وطول سياق التدريب المسبق 32K، وطول السياق النهائي 1M. لم تعلّق DeepSeek. لا يزال sentiment السوق مختلطًا، حيث يُظهر مؤشر الخوف والطمع عدم يقين معتدل.
المصدر:عرض النسخة الأصلية
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة قد حصلت عليها من أطراف ثالثة ولا تعكس بالضرورة وجهات نظر أو آراء KuCoin. يُقدّم هذا المحتوى لأغراض إعلامية عامة فقط ، دون أي تمثيل أو ضمان من أي نوع ، ولا يجوز تفسيره على أنه مشورة مالية أو استثمارية. لن تكون KuCoin مسؤولة عن أي أخطاء أو سهو ، أو عن أي نتائج ناتجة عن استخدام هذه المعلومات.
يمكن أن تكون الاستثمارات في الأصول الرقمية محفوفة بالمخاطر. يرجى تقييم مخاطر المنتج بعناية وتحملك للمخاطر بناء على ظروفك المالية الخاصة. لمزيد من المعلومات، يرجى الرجوع إلى شروط الاستخدام واخلاء المسؤولية.