NVIDIA 的 H100 價格高達 40,000 美元，而作為遊戲卡的 RTX 5090 價格約為 2,000 美元。 對於實際運行 AI 來說，這 15 倍的價差有多少是真實的？ 對大多數人而言，遠低於你所想。 對於任何能放入 32GB 記憶體的工作負載（完整精度下約 13B 的模型，量化後約 32B），2,000 美元的 5090 是你所能購買到性價比最高的選擇，且遠遠領先。微調一個小型模型？在你自有的 5090 上耗電約 2 美元的運行，若租用等效的雲端 H100 時間則需花費約 50 美元。這張卡一年內即可回本。 但一旦你跨越以下三條界線，H100 的高價就物有所值： - 記憶體：一個 70B 模型即使在 4-bit 下也需要約 40GB，5090 的 32GB 無法容納。 - 可靠性：ECC 記憶體能偵測並修正會在 48 小時訓練過程中靜默損壞資料的位元翻轉，而 5090 完全沒有此功能。 - 規模：NVLink 可將 H100 以 PCIe 7 倍的速度連接，而 5090 完全不支援 NVLink。 昂貴的錯誤不在於選擇「較差」的卡，而在於為你的任務選錯了卡：為從未充分使用的 H100 多付錢，或過度低估 5090 而撞上無法透過量化繞過的壁壘。