
DeepSeek-V4が、Unsloth GGUFを介して完全にローカルで実行可能に 以下が実際の量子化段階の様子です: 1ビット:合計メモリ92GB 2ビット:102GB 3ビット:110–135GB — ユニファイドメモリを搭載したMacで実行可能 4ビットニアロスレス:162GB Q8ロスレス:169GB 特にFlashバージョンについて理解しておくべき点: • 合計パラメータ数は284Bだが、常にアクティブなのは13Bのみ — MoEアーキテクチャにより、フルモデルを実行するのではなく、関連するエキスパートのみを動作させる • ロスレス8ビットGGUFは162GBだが、3ビットにすると103GBに縮小され、品質の有意な低下は見られない Unsloth Studioまたはllama.cppで実行してください。ガイドとGGUFファイルはHuggingFaceで公開中です。 先quarterまで有料だった1Tパラメータのフロンティアモデルが、一般消費者向けハードウェアで動作可能に。ローカルのDeepSeekがホストされた中級APIを上回るまで、あとどれくらいかかるだろうか?
