يظن معظم الناس أن النماذج الأكبر تحتاج إلى أكبر كمية من VRAM! في الواقع، مع AirLLM، يحتاج Kimi K3، وهو نموذج بـ 2.8 تريليون معلمة، إلى أقل VRAM من نموذج كثيف بـ 70B. السبب هو أن K3 هو نموذج نادر من نوع خليط الخبراء، لذا يقوم AirLLM بتدفق الخبراء المحددين فقط الذين يتم توجيه الرمز إليهم، بدلاً من تحميل طبقة كثيفة كاملة. بالإضافة إلى تحميل طبقة واحدة فقط على GPU في كل مرة. هكذا يناسب DeepSeek-V3 (671B) في 12 جيجابايت، ويناسب نموذج بـ 2.8 تريليون معلمة في أقل من 4 جيجابايت، دون أي تكميم أو تبسيط أو تقليص. احفظه كعلامة مرجعية حتى لا تفقده! المستودع: https://t.co/dO2TABPfqr تابع @neil_xbt لمزيد من المعلومات!