DeepSeek V4 ওপেন-সোর্স মডেল 1.6T প্যারামিটার এবং MIT লাইসেন্স সহ লঞ্চ হয়েছে

ME সংবাদ, ২৪ এপ্রিল (UTC+8), ডিপসিক ওপেন-সোর্স V4 সিরিজের প্রিভিউ ভার্সন, MIT লাইসেন্সের অধীনে, ওজনগুলি এখন Hugging Face এবং ModelScope-এ প্রকাশিত। এই সিরিজে দুটি MoE মডেল রয়েছে: V4-Pro-এর মোট প্যারামিটার 1.6T, প্রতি টোকেনে 49B (490 বিলিয়ন) সক্রিয়; V4-Flash-এর মোট প্যারামিটার 284B (2840 বিলিয়ন), সক্রিয় 13B (130 বিলিয়ন)। উভয়ই 1M টোকেনের কনটেক্সট সমর্থন করে। আর্কিটেকচারে তিনটি উন্নতি: মিশ্র অনুধাবন মেকানিজম (সংকুচিত দুর্বল অনুধাবন CSA + অত্যধিক সংকুচিত অনুধাবন HCA) দীর্ঘ কনটেক্সটের খরচ ব্যাপকভাবে কমিয়েছে, 1M কনটেক্সটে V4-Pro-এর প্রতি টোকেনের FLOPs কেবল V3.2-এর 27%, KV ক্যাশ (প্রতিটি ইনফারেন্সের সময় ইতিহাসের তথ্য সংরক্ষণের জন্য GPU মেমোরির ব্যবহার) কেবল V3.2-এর 10%; ম্যানিফোল্ড-সংযুক্তি mHC-এর মাধ্যমে প্রচলিত রেজিডুয়াল কানেকশনকে প্রতিস্থাপন করা হয়েছে, যা স্তরগুলির মধ্যে সংকেত প্রচারের স্থিতিশীলতা বাড়িয়েছে; প্রশিক্ষণের জন্য Muon অপটিমাইজার ব্যবহার করা হয়েছে। প্রি-ট্রেইনিংয়ের জন্য 32T+ টোকেন। পোস্ট-ট্রেইনিংয়ের দুটি পর্যায়: প্রথমে SFT এবং GRPO-এর মাধ্যমে বিভিন্ন ক্ষেত্রের বিশেষজ্ঞদের প্রশিক্ষণ, তারপর অনলাইন-ডিসটিলেশনের মাধ্যমে একটি মডেলের সঙ্গে একত্রিত। V4-Pro-Max (সর্বোচ্চ ইনফারেন্স-পাওয়ারমোড) দাবি করছে, "বর্তমানের সবচেয়েশক্তিশালী" Open-Source Model, coding benchmark-এ top-tier, inference and agent tasks-এ closed-source state-of-the-art-এর བহুতই close। V4-Flash-Max, sufficient thinking budget-এর case-এ inference performance Pro-এর close, but knowledge-intensive and complex agent tasks-এ parameter size-এর limit-এর due। Weights FP4+FP8 mixed precision-এ store। (উৎস: BlockBeats)