زیادہ تر لوگ سمجھتے ہیں کہ سب سے بڑے ماڈلز کو سب سے زیادہ VRAM درکار ہوتا ہے! اصل میں، AirLLM کے ساتھ، کیمی K3، ایک 2.8 ٹریلین پیرامیٹر ماڈل، ایک 70B ڈینس ماڈل سے کم VRAM استعمال کرتا ہے۔ اس کی وجہ یہ ہے کہ K3 ایک اسپارس مکسچر آف ایکسپرٹس ماڈل ہے، اس لیے AirLLM صرف ان ایکسپرٹس کو اسٹریم کرتا ہے جن کو ٹوکن حقیقت میں ریوٹ کرتا ہے، نہ کہ پورا ڈینس لیئر لوڈ کرتا ہے۔ اس کے علاوہ، ایک وقت میں صرف ایک لیئر GPU پر لوڈ کرنے کے ساتھ۔ اس طرح DeepSeek-V3 (671B) 12GB میں فٹ ہو جاتا ہے اور ایک 2.8 ٹریلین پیرامیٹر ماڈل 4GB سے کم میں فٹ ہو جاتا ہے، بغیر کسی کوانتائزیشن، ڈسٹلیشن یا پراننگ کے۔ اسے بُک مارک کر لیں تاکہ آپ اسے نہ کھو دیں! ریپو: https://t.co/dO2TABPfqr مزید کے لیے @neil_xbt کو فالو کریں!