অধিকাংশ মানুষ ধরে নেয় যে সবচেয়ে বড় মডেলগুলির সবচেয়ে বেশি VRAM প্রয়োজন! বাস্তবে, AirLLM-এর সাহায্যে, 2.8 ট্রিলিয়ন প্যারামিটার বিশিষ্ট Kimi K3 মডেলটি 70B ঘন মডেলের চেয়ে কম VRAM ব্যবহার করে। কারণটি হলো K3 একটি স্পার্স মিক্সচার-অফ-এক্সপার্টস মডেল, তাই AirLLM শুধুমাত্র সেই বিশেষজ্ঞদের (experts) লোড করে যাদের কাছে একটি টোকেন প্রেরিত হয়, পুরো ঘন স্তরটি লোড করে না। একসাথে, একসময়ে GPU-তে শুধুমাত্র একটি স্তরই লোড করা হয়। এভাবেই DeepSeek-V3 (671B) 12GB-এ ফিট হয়, আর 2.8 ট্রিলিয়ন প্যারামিটারের মডেলটি 4GB-এরও কমেই ফিট হয়, কোনো কোয়ান্টাইজেশন, ডিস্টিলেশন বা প্রুনিংয়ের প্রয়োজন ছাড়াই। এটি সংরক্ষণ করুন, যাতে আপনি এটি হারিয়ে না ফেলেন! Repo: https://t.co/dO2TABPfqr আরও জানতে @neil_xbt-কে ফলো করুন!