DeepSeek V4-এর প্রযুক্তিগত বিবরণ প্রকাশিত: 1.6T প্যারামিটার, 384 এক্সপার্ট যার মধ্যে 6 সক্রিয়

ক্রিপ্টো নিউজ অনুযায়ী, ২২ এপ্রিল (UTC+8), ডিপচেক বিটিং অনুসারে, প্রিনস্টন বিশ্ববিদ্যালয়ের ডক্টরাল ছাত্র ইফান জাং এক্স-এ ডিপসিক V4-এর প্রযুক্তিগত বিবরণ আপডেট করেছেন। তিনি ১৯ এপ্রিলে "V4 পরবর্তী সপ্তাহে" ঘোষণা করেন এবং তিনটি আর্কিটেকচার উপাদানের নাম উল্লেখ করেন, আজ রাতে তিনি সম্পূর্ণ প্যারামিটার টেবিল প্রকাশ করেন এবং প্রথমবারের মতো 285B প্যারামিটারযুক্ত হালকা V4-Lite সংস্করণের অস্তিত্ব প্রকাশ করেন। V4-এর মোট প্যারামিটার 1.6T। অনুসন্ধান মেকানিজম DSA2, যা DeepSeek-এর V3.2-এ ব্যবহৃত DSA (DeepSeek Sparse Attention) এবং এই বছরের শুরুতে প্রকাশিত পেপারে উল্লিখিত NSA (Native Sparse Attention) -এর সংমিশ্রণ, head-dim 512, Sparse MQA এবং SWA (স্লাইডিং উইন্ডো অনুসন্ধান) -এর সাথে সমন্বিত। MoE স্তরে 384টি এক্সপার্ট, প্রতিবার 6টি সক্রিয়, Fused MoE Mega-Kernel-এর ব্যবহার। রেসিডুয়াল কানেকশন Hyper-Connections-এর সাথে অপরিবর্তিত। ট্রেনিংয়ের জন্য প্রথমবারের মতো প্রকাশিত বিবরণগুলি: অপটিমাইজার Muon (যা Newton-Schulz orthonormalization-কে momentum update-এ প্রয়োগ করে), pre-training context length 32K, RL phase-এ GRPO-এর ব্যবহার, KL divergence correction-এর সংযোজন। 最终上下文长度扩展至 1M。মডালিটি:শুধুমাত্র টেক্সট। Zhang DeepSeek-এর কর্মচারী নন, DeepSeek-এর অফিসিয়ালভাবে উপরের তথ্যগুলির প্রতি কোনও phản hồi दिया गया है।