

2026 年,同一張 H100 圖形卡每小時的費用可能是 0.80 美元或 4.20 美元。同一張卡,相同效能,唯一改變的是你運行它的地點。 有四種選擇。按需雲端服務是預設且最昂貴的選項,每小時約 3 至 4 美元,即使硬體處於閒置狀態,你仍需支付這筆期權費。專業 GPU 雲端服務則以約 1.49 至 3.00 美元租用相同的卡。GPU 主機服務提供專屬容量,並需承諾一定期限,因你無需為從未使用的彈性付費,因此更便宜。購買並託管設備是每小時最便宜的選項,通常比超大規模雲端低 40 至 60%,報酬平衡點約為 6 至 18 個月。 規則很簡單:若一年或更久持續高負載運行?就自己購買。若使用量波動或仍在試驗階段?就租用,別讓任何人說服你改變這個決定。 大多數人忽略的關鍵點在於:真正的瓶頸不是晶片,而是電力。一般機架約能處理 5kW,而現代 AI 機架若採用液冷系統,可能需要 100kW 或更多。大多數設施根本無法實現。比特幣礦工花了十年時間建設了這種容量,這正是為何如今同樣的建築物正用於運行 AI。

目前科技界最有價值的房地產不在矽谷,而是一間位於電廠旁的倉庫。 幾乎無人預見的轉變來臨了:比特幣挖礦與人工智慧已成為同一門生意。 拋開所有流行詞彙,比特幣礦機與人工智慧 GPU 其實是同一種東西:一種專用晶片,全天候滿載運行,消耗電力並產生熱量。B200 消耗約 1,000W,一整排的晶片耗電超過 100kW,需要液冷系統。企業若想擴大人工智慧規模,幾乎從來不是因為缺晶片,而是缺電力與能承載電力的場所。 過去十年,誰一直在爭取廉價電力、建設兆瓦級冷卻系統,並持續運行滿倉的高熱晶片?比特幣礦工。他們建構了人工智慧如今迫切需要的基礎設施。 這正是最大型的公開礦業公司正將場地轉為人工智慧用途的原因,也是礦場與人工智慧資料中心之間界線幾乎完全消失的原因。同一運營商在挖礦有利時挖礦,在人工智慧有利時承載人工智慧,都在同一棟建築內進行。 令人興奮的是,這並非取代挖礦,而是與之並存,並開創了前所未有的更多可能性。你可以透過託管、合規礦場、水力或雲端來挖礦比特幣;也可以透過硬體與資料中心容量來供電給人工智慧。或者兩者都做。 誠實地說:兩者都不是無本萬利。它們的生存都取決於廉價電力與高效硬體的高強度運行。在投入之前,請先評估模型。 比特幣礦工花十年建構的基礎設施,最終成為未來運作所依賴的基礎設施。

NVIDIA 的 H100 價格高達 40,000 美元,而作為遊戲卡的 RTX 5090 價格約為 2,000 美元。 對於實際運行 AI 來說,這 15 倍的價差有多少是真實的? 對大多數人而言,遠低於你所想。 對於任何能放入 32GB 記憶體的工作負載(完整精度下約 13B 的模型,量化後約 32B),2,000 美元的 5090 是你所能購買到性價比最高的選擇,且遠遠領先。微調一個小型模型?在你自有的 5090 上耗電約 2 美元的運行,若租用等效的雲端 H100 時間則需花費約 50 美元。這張卡一年內即可回本。 但一旦你跨越以下三條界線,H100 的高價就物有所值: - 記憶體:一個 70B 模型即使在 4-bit 下也需要約 40GB,5090 的 32GB 無法容納。 - 可靠性:ECC 記憶體能偵測並修正會在 48 小時訓練過程中靜默損壞資料的位元翻轉,而 5090 完全沒有此功能。 - 規模:NVLink 可將 H100 以 PCIe 7 倍的速度連接,而 5090 完全不支援 NVLink。 昂貴的錯誤不在於選擇「較差」的卡,而在於為你的任務選錯了卡:為從未充分使用的 H100 多付錢,或過度低估 5090 而撞上無法透過量化繞過的壁壘。

大多數人將 NVIDIA 的 GPU 產品線視為一條直線:H100 快,H200 更快,B200 最快。買你負擔得起的最新產品。 這是 AI 基礎設施中最昂貴的錯誤之一。 這三款晶片並非在克服同一個瓶頸時更努力,而是各自解決三個不同的瓶頸: H100 是主力機型。80GB,強大的運算能力。它的上限不是運算,而是容量:80GB。 H200 不是新晶片。與 H100 使用相同的運算晶粒,FLOPS 完全相同。NVIDIA 僅更改了記憶體:141GB 且頻寬增加 43%。為何如此?因為推論的瓶頸在於記憶體頻寬,而非運算能力。結果:在零額外功耗下,服務速度提升約 40%。 B200 才是真正的躍進。全新架構、雙晶粒、192GB、2.4 倍頻寬、原生 FP4、1,000W。性能約為 H100 的 2 至 2.5 倍。但屬於不同等級的機器:需要新的主機板、新的散熱系統,且訂單已排至 2026 年中。 節省成本的法則:根據瓶頸選擇,而非世代。模型是否能裝下(容量)?解碼是否因頻寬不足而受限?你是否真的需要更多運算能力?購買能解決你遇到的第一個瓶頸的晶片。 大多數 GPU 的後悔,都是為峰值運算付費,而實際工作負載從頭到尾都受記憶體限制。 #AI #GPU #AIModels
