投稿
avatar

DeepSeek-V4が、Unsloth GGUFを介して完全にローカルで実行可能に 以下が実際の量子化段階の様子です: 1ビット:合計メモリ92GB 2ビット:102GB 3ビット:110–135GB — ユニファイドメモリを搭載したMacで実行可能 4ビットニアロスレス:162GB Q8ロスレス:169GB 特にFlashバージョンについて理解しておくべき点: • 合計パラメータ数は284Bだが、常にアクティブなのは13Bのみ — MoEアーキテクチャにより、フルモデルを実行するのではなく、関連するエキスパートのみを動作させる • ロスレス8ビットGGUFは162GBだが、3ビットにすると103GBに縮小され、品質の有意な低下は見られない Unsloth Studioまたはllama.cppで実行してください。ガイドとGGUFファイルはHuggingFaceで公開中です。 先quarterまで有料だった1Tパラメータのフロンティアモデルが、一般消費者向けハードウェアで動作可能に。ローカルのDeepSeekがホストされた中級APIを上回るまで、あとどれくらいかかるだろうか?

このコンテンツは情報提供および教育目的のみに使用されます。第三者の見解、スポンサー付きコンテンツ、または作成者が報酬を受け取る可能性のあるプロモーション資料が含まれる場合があります。このフィードの内容は投資助言や収益の保証を構成するものではありません。投資判断はすべてご自身の責任で行ってください。取引を行う前に必ずご自身で調査を行い、慎重に行ってください。当社は第三者情報の正確性を保証するものではなく、発生した損失について一切責任を負いません。過去の実績は将来の結果を示すものではありません。詳細は、当社のコミュニティ利用規約およびリスク開示声明をご覧ください。

avatar返信を投稿する

コメント