DeepSeek V4 এর টেকনিক্যাল স্পেসিফিকেশন প্রকাশিত: 1.6T প্যারামিটার, 384 এক্সপার্ট যা 6 সক্রিয় করে

ME সংবাদ, ২২ এপ্রিল (UTC+8), অ্যানালিসিস বিটিং-এর মনিটরিং অনুযায়ী, প্রিনসটনের ডক্টরাল ছাত্র ইফান জাং এক্স-এ ডিপসিক V4-এর প্রযুক্তিগত বিবরণ আপডেট করেছেন। তিনি ১৯ এপ্রিলে “V4 পরবর্তী সপ্তাহে” ঘোষণা করেন এবং তিনটি আর্কিটেকচার উপাদানের নাম উল্লেখ করেন, আজ রাতে তিনি সম্পূর্ণ প্যারামিটার টেবিল প্রকাশ করেন এবং প্রথমবারের মতো 285B প্যারামিটারযুক্ত হালকা V4-Lite-এর অস্তিত্ব প্রকাশ করেন। V4-এর মোট প্যারামিটার 1.6T। অনুলক্ষণ মেকানিজম DSA2, যা DeepSeek-এর V3.2-এ ব্যবহৃত DSA (DeepSeek Sparse Attention) এবং এই বছরের শুরুতে প্রকাশিত পেপারে প্রস্তাবিত NSA (Native Sparse Attention) -এর সংমিশ্রণ, head-dim 512, Sparse MQA এবং SWA (স্লাইডিং উইন্ডো অনুলক্ষণ) -এর সাথে সমন্বিত। MoE স্তরে 384টি এক্সপার্ট, প্রতিবার 6টি সক্রিয়, Fused MoE Mega-Kernel-এর ব্যবহার। রেসিডুয়াল কানেকশন Hyper-Connections-এর সাথে অপরিবর্তিত। ট্রেনিংয়ের পক্ষে প্রথমবারের মতো প্রকাশিত বিবরণগুলি: অপটিমাইজার Muon (যা Newton-Schulz orthonormalization-কে momentum update-এ প্রয়োগ করে), pre-training context length 32K, RL phase-এ GRPO-এর ব্যবহার, KL divergence correction-এর সংযোজন। 最终上下文长度扩展至 1M。মডালিটি: শুধুমাত্র টেক্সট। Zhang DeepSeek-এর কর্মচারী নন, DeepSeek-এর অফিসিয়ালভাবে উপরের তথ্যগুলির প্রতিক্রিয়া দেওয়া হয়নি। (উৎস: BlockBeats)