ME সংবাদ, ২৯ জুলাই (UTC+8), মুন অফ দ্য ডার্ক কিমি লিনিয়ার চালু করেছে, যা একটি মিশ্র লিনিয়ার অ্যাটেনশন আর্কিটেকচার, যা প্রথমবারের মতো সংক্ষিপ্ত কনটেক্সট, দীর্ঘ কনটেক্সট এবং রিইনফোর্সমেন্ট লার্নিং পরিস্থিতিতে সম্পূর্ণ অ্যাটেনশন মেকানিজমকে সম্পূর্ণভাবে ছাড়িয়ে গেছে। এর 3B এক্টিভেটেড প্যারামিটার মডেলটি সমস্ত মূল্যায়ন কাজে MLA-এর চেয়ে উল্লেখযোগ্যভাবে ভালো পারফরম্যান্স দেখিয়েছে, একইসাথে KV cache ব্যবহার 75% পর্যন্ত কমিয়েছে এবং 1M কনটেক্সটে 6x পর্যন্ত ডিকোডিং থ্রুপুট অর্জন করেছে। মুন অফ দ্য ডার্ক KDA কোর, vLLM বাস্তবায়ন এবং মডেল ওয়েটসকে ওপেন-সোর্স করেছে। 🔗 মূল লেখাটি পড়ুন via AI HOT · https://aihot.virxact.com/items/cms4t5zra01o1roa10b19hmbh (উৎস: AiHot)
মুনশট কিমি লিনিয়ার চালু করেছে, একটি হাই-পারফরম্যান্স অ্যাটেনশন আর্কিটেকচার
KuCoinFlashশেয়ার
সারাংশ
মুনশট জুলাই ২৯-এ (UTC+৮) কিমি লিনিয়ার, একটি হাই-পারফরম্যান্স অ্যাটেনশন আর্কিটেকচার চালু করেছে। হাইব্রিড লিনিয়ার মডেলটি শর্ট এবং লং কনটেক্সট স্কেনারিও এবং রিইনফোর্সমেন্ট লার্নিংয়ে ফুল অ্যাটেনশনকে পরাজিত করে। ৩B একটিভ প্যারামিটার সহ, এটি KV ক্যাশে ব্যবহার ৭৫% কমিয়ে দেয় এবং ১M কনটেক্সটে ডিকোডিং থ্রুপুট ৬x বাড়ায়। KDA কার্নেল, vLLM ইমপ্লিমেন্টেশন এবং মডেল ওয়েটস ওপেন-সোর্সড। সাপোর্ট এবং রেজিস্ট্যান্স লেভেল মূল্যায়নকারী ট্রেডারদের জন্য এই উন্নতি অ্যালগরিদমিক স্ট্র্যাটেজিতে রিস্ক-টু-রিওয়ার্ড অনুপাতকে উন্নত করতে পারে।
উৎস:আসল দেখান
দাবিত্যাগ: এই পৃষ্ঠার তথ্য তৃতীয় পক্ষের কাছ থেকে প্রাপ্ত হতে পারে এবং অগত্যা KuCoin এর মতামত বা মতামত প্রতিফলিত করে না। এই বিষয়বস্তু শুধুমাত্র সাধারণ তথ্যগত উদ্দেশ্যে প্রদান করা হয়, কোন ধরনের প্রতিনিধিত্ব বা ওয়ারেন্টি ছাড়াই, বা এটিকে আর্থিক বা বিনিয়োগ পরামর্শ হিসাবে বোঝানো হবে না। KuCoin কোনো ত্রুটি বা বাদ পড়ার জন্য বা এই তথ্য ব্যবহারের ফলে যে কোনো ফলাফলের জন্য দায়ী থাকবে না।
ডিজিটাল সম্পদে বিনিয়োগ ঝুঁকিপূর্ণ হতে পারে। আপনার নিজের আর্থিক পরিস্থিতির উপর ভিত্তি করে একটি পণ্যের ঝুঁকি এবং আপনার ঝুঁকি সহনশীলতা সাবধানে মূল্যায়ন করুন। আরও তথ্যের জন্য, অনুগ্রহ করে আমাদের ব্যবহারের শর্তাবলী এবং ঝুঁকি প্রকাশ পড়ুন।