この経済状況で誰もVRAMを無駄にしない。 しかし、中古のローカルAI構成は依然として非常に魅力的な選択肢になり得る。その機会は、ゴミ箱で見つかった魔法のGPUではなく、古いサーバープラットフォームと忍耐強い調達に存在する。 VRAMは、どの程度のモデルが適合するかを示す指標だ。 メモリ帯域幅、CPU、ストレージ、電力、冷却、PCIeレーン、ソフトウェアサポートが、その構成が実用的かどうかを決定する。 DDR4は依然として意味を持つ。DDR5はより高速であるべきだが、一部のMoEワークロードでは、弱いCPUがGPUのコストパフォーマンスを台無しにすることがある。 あるビルダーは、数ヶ月にわたりZ440、12コア/24スレッドのXeon、128GB DDR4、複合ストレージを約250ユーロで組み立てた。これは有用なヒントであり、普遍的な構築レシピではない。 まず、自分が許容できるモデルと速度を選択せよ。その後、ボトルネックとなる部品を購入せよ。複数GPUの組み合わせや150 t/sは、部品の寄せ集めが保証するものではなく、スタック固有の質問である。