সিরিব্রাস দীর্ঘ টেক্সট টাস্কে 29x গতি বৃদ্ধি সহ কিমি K2.6 মডেল পরীক্ষা করছে

ME সংবাদ, ২০ মে (UTC+৮), ডোংচা বিটিং-এর মনিটরিং অনুযায়ী, ওয়েফার-লেভেল চিপ কোম্পানি Cerebras ঘোষণা করেছে যে এটি এন্টারপ্রাইজ টেস্টিং-এ Kimi K2.6 ট্রিলিয়ন-প্যারামিটার মডেলটি চালু করেছে, যা ১২ ইঞ্চির সিলিকন ওয়েফারের উপর সরাসরি চিপ একীভূত করে প্রাচীন বোর্ড-লেভেল কমিউনিকেশনের ল্যাটেন্সি সম্পূর্ণরূপে অপসারণ করেছে। তৃতীয় পক্ষের মূল্যায়ন প্রতিষ্ঠান Artificial Analysis-এর বাস্তব পরীক্ষা অনুযায়ী, এর জেনারেশন স্পিড ৯৮১ tokens/s, যা প্রচলিত GPU ক্লাউড সার্ভিসগুলির চেয়ে ৬.৭ গুণ দ্রুত। ১০,০০০ ইনপুট, ৫০০ আউটপুট token-এর দীর্ঘ টেক্সট টাস্কে, মোট রেসপন্স টাইম Kimi-এর অফিসিয়াল API-এর ১৬৩.৭ সেকেন্ডের পরিবর্তে ৫.৬ সেকেন্ডে কমেছে, যা ২৯ গুণ দ্রুততা। মডেলেরওয়েটসগুলি একাধিক ওয়েফারের মধ্যে বণ্টন করা হয়েছে, যাতে একটি স্ট্রিমিংয়ের মাধ্যমে activation values-এর আদান-প্রদান হয়, layer-to-layer communication-এর জন্য সম্পূর্ণভাবেওয়েফার-ভিত্তিক নেটওয়ার্ক fabric-এর উপরই চলছে, যার ভৌত কমিউনিকেশন ব্যান্ডউইথ NVLink-এর NVL72-এর ২০০+গুণ। Distributed computing optimization-এর সঙ্গে, Kimi K2.6 4-bit (4-বিট) weight-এর মাধ্যমেওয়েটসগুলি low-loss storage-এর জন্য, 16-bit (16-বিট) floating-point-এর মাধ্যমে precision maintain-এর জন্য, custom operator kernels and speculative decoding-এর মাধ্যমে real-time execution-এর জন্য। (উৎস: BlockBeats)