ほとんどの人は、最も大きなモデルほどVRAMを最も多く必要とすると考えています！ 実際、AirLLMを使用すると、2.8兆パラメータのKimi K3は、70Bの密なモデルよりも少ないVRAMで動作します。 その理由は、K3がスパースなエキスパート混合モデルであるため、AirLLMはトークンが実際にルーティングされる特定のエキスパートのみをストリーミングし、フルの密なレイヤーを読み込む必要がないからです。 さらに、GPUには一度に1層のみを読み込むことで実現しています。 これにより、量子化・蒸留・プリニングを一切使用せずに、DeepSeek-V3（671B）が12GBで、2.8兆パラメータのモデルが4GB未満で動作します。 後で見失わないようにブックマークしてください！ リポジトリ：https://t.co/dO2TABPfqr さらに詳しくは@neil_xbtをフォローしてください！