একটি ট্রিলিয়ন প্যারামিটার বিশিষ্ট এআই মডেল এখন একটি গ্রাফিক্স কার্ডে চলছে, যা বেশিরভাগ গেমার মধ্যম-স্তরের হিসাবে বিবেচনা করবেন।
এপিফ্রিস্কো নামে একজন চীনা এআই প্রেমী মুনশট এআই-এর কিমি কে ২.৫ মডেলটি প্রদর্শন করেছেন, যা একটি মিক্সচার-অফ-এক্সপার্টস (MoE) বড় ভাষা মডেল যার মোট ১ ট্রিলিয়ন প্যারামিটার রয়েছে এবং যা একটি এনভিডিয়া আরটিএক্স ৩০৬০ জিপিইউ এবং ৭৬৮ জিবি ইন্টেল ওপটেন পারসিস্টেন্ট মেমোরির সাথে চলছে। এই সেটআপটি প্রায় প্রতি সেকেন্ডে চারটি টোকেন অর্জন করেছে, যা উৎপাদনমূলক মানদণ্ডের দিক থেকে ধীর, কিন্তু সংশ্লিষ্ট হার্ডওয়্যারের কথা বিবেচনা করলে অসাধারণ।
একটি মধ্যম স্তরের GPU কিভাবে এক ট্রিলিয়ন প্যারামিটার পরিচালনা করে
কিমি K2.5 একসাথে সমস্ত 1 ট্রিলিয়ন প্যারামিটার একসাথে চালু করে না। প্রতিটি টোকেন তৈরির জন্য শুধুমাত্র 32 বিলিয়ন প্যারামিটার সক্রিয় হয়। বাকিগুলি অক্রিয়ভাবে অপেক্ষা করে।
এই দক্ষতার কৌশল সত্ত্বেও, মডেলটি অত্যন্ত বিশাল। পূর্ণাঙ্গ Kimi K2.5-এর ওজন প্রায় 630 জিবি। মডেলের প্রেসিশনকে কম্প্রেস করে মেমোরির প্রয়োজনীয়তা কমানোর জন্য কোয়ান্টাইজড ভার্সনগুলি এখনও প্রায় 381 জিবি জুড়ে রাখে। এই কারণেই APFrisco-কে 768 জিবি Intel Optane Persistent Memory প্রয়োজন হয়েছিল: কোনও স্ট্যান্ডার্ড কনজিউমার RAM সেটআপ এই ধরনের ফুটপ্রিন্ট পরিচালনা করতে পারে না।
অপটেন পিমেম ডিমিএমগুলি একটি আকর্ষণীয় পছন্দ। ইন্টেল তার অপটেন লাইন বন্ধ করে দিয়েছে, যার অর্থ এই মডিউলগুলি এখন মূলত দ্বিতীয়-হাতের বাজারে প্রাচীন হার্ডওয়্যার হিসেবে ঘুরছে। এগুলি প্রচলিত ডিআরএএম-এর চেয়ে ধীর, কিন্তু প্রতি গিগাবাইটে অনেক সস্তা, যা এগুলিকে একটি অপ্রচলিত কিন্তু আ уд্ধিষ্টভাবে ব্যবহারযোগ্য সমাধান হিসেবে পরিণত করেছে, যা অন্যথায় এন্টারপ্রাইজ-গ্রেড ইনফ্রাস্ট্রাকচারের প্রয়োজনীয়তা থাকা বিশাল মডেলগুলি লোড করতে।
RTX 3060 প্রায় 2021 এর শুরুতে 12 জিবি ভিআরএম সহ চালু হয়। এটি 1080p গেমিং এবং হালকা ক্রিয়েটিভ ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছিল, ফ্রন্টিয়ার এআই মডেল চালানোর জন্য নয়।
কিমি কে ২.৫ এর সাধারণ বাস্তবায়ন কেমন হয়
কিমি কে 2.5-এর জন্য উচ্চ পারফরম্যান্স ইনফারেন্স সাধারণত 8টি হাই-এন্ড জিপিইউ সহ কনফিগারেশনকে লক্ষ্য করে। এই সেটআপগুলি প্রতি সেকেন্ডে 10 থেকে 300-এর বেশি টোকেনের গতি প্রদান করে।
প্রদর্শনীটি Reddit-এর r/LocalLLaMA সম্প্রদায়ে শেয়ার করা হয়েছিল এবং পরবর্তীতে টমস হার্ডওয়্যার দ্বারা কভার করা হয়েছিল।
কিমি কে ২.৫ কে মুনশট এআই ২০২৬ সালের ২৭ জানুয়ারি প্রকাশ করে। এতে মাল্টিমোডাল ক্ষমতা রয়েছে এবং প্রায় ১৫ ট্রিলিয়ন মিশ্র ভিজুয়াল এবং টেক্সট টোকেনের উপর এটি প্রশিক্ষিত। এটি একটি ওপেন-ওয়েট মডেল, অর্থাৎ যেকোনো ব্যক্তি এটি ডাউনলোড করে চালাতে পারেন, যা ঠিক একইভাবে APFrisco-এর পরীক্ষাকে সম্ভব করেছিল।