三星與 SK Hynix 在 HBM 設計策略上分道揚鑣

在 Hot Chips 大會上，三星和 SK 海力士均同意，GPU、記憶體、晶圓代工和封裝必須作為一個系統來設計。從那時起，它們的解決方案開始分道揚鑣。

三星正將基礎晶片轉變為系統中的一個活躍部分。它計劃將記憶體控制器從GPU移至邏輯基礎晶片，從而釋放GPU面積的5–10%，用於更多計算，並可能提升性能10–20%。選擇性的AI運算也可在基礎晶片上執行，以減少資料移動。從長遠來看，它正在推動zHBM技術，該技術直接堆疊GPU和DRAM，預計可降低約70%的DRAM功耗，同時帶寬增加一倍以上。

SK海力士則專注於更高堆疊，並管理由此產生的熱量和翹曲問題。它確認HBM4 12層堆疊已進入生產階段，而16層版本已進入客戶驗證階段。混合鍵合是通往20層及更高堆疊的路徑，它允許使用更厚的晶片和更緊密的間距。其iHBM方法在堆疊最熱區域內部添加了一個專用的熱傳導路徑。這場競爭不再僅僅關乎頻寬和容量。基礎晶片架構和先進封裝正成為決定性戰場。

Samsung's logic-node-based custom substrate chip

在2026年Hot Chips演講中，三星電子發布了zHBM，這是高頻寬記憶體的終極進化形態。該概念摒棄了2.5D中介層，將DRAM垂直堆疊在GPU等計算晶片之上，形成真正的3D整合架構，目標是將DRAM功耗降低70%，頻寬比HBM4E提升2.3倍。

三星制定了三階段路線圖，將基礎晶片從被動的資料傳輸通道轉變為主動的計算夥伴。第一階段將記憶體控制器從 xPU 移至基礎晶片，以回收矽片面積；第二階段為基礎晶片增加記憶體擴展和注意力計算能力；第三階段最終實現 zHBM。

接下來，我們來看一下三星的方案。

在演講出事時，他們提供了一些圖表，展示 HBM5 在規格方面的發展趨勢。雖然一切都尚未確定，但看看右上角的圖表也很有意思。

容量為 60GB、頻寬為 6TB/s 的 HBM5 固態硬碟就很不错了。我們來算算具體數據。6 TB/s 的頻寬、2048 條通道，意味著每個引腳的傳輸速率為 23.5 Gbps。我們目前最先進的速度是 16 Gbps，這是一個巨大的進步，而採用先進的邏輯節點很可能實現這一目標。如果每個晶片容量為 3 GB，總容量為 60 GB，那麼堆疊高度將為 20 層。

在另一張幻燈片中，三星確認 HBM4E 的單引腳傳輸速率為 16 Gbps。我們之前對 HBM5 的計算結果也在下圖中得到了驗證。

三星的明顯優勢在於其擁有自主研發的邏輯晶片，而美光和SK海力士則需與他人合作才能獲得該晶片。三星在此強調了自身優勢，並闡述了定制晶片的重要性。三星採用1C工藝製造記憶體，4nm工藝製造邏輯晶片，從而顯著降低了晶片的功耗。下圖諷刺了美光，後者在HBM4記憶體晶片中使用了DRAM工藝製造邏輯晶片。

更妙的是，如前文所述，三星將產品路線圖清晰地劃分為三個階段。我們將逐一介紹。

第一階段：唾手可得的成果

當基片內存在邏輯節點時，HBM PHY 模組的物理面積會減小，能效也會提高。這意味著連接 HBM 和 XPU 的晶片間模組尺寸會更小。這有兩個優點：

增加 XPU 中的面積以進行更多計算；

增加 HBM 基片的可用面積，以實現更先進的功能。

尺寸縮小帶來的缺點是這些區域的熱密度更高。有趣的是，他們提供了不同代 HBM 中 PHY 模組的實際尺寸。

三星還提到，他們不傾向於在 D2D 鏈路中使用 UCIe，因為 UCIe 尺寸更大，且每比特能耗更高。他們表示，他們定制的 PHY 實現方案性能更佳。在向 HBM5 過渡時，他們展示了集成熱路徑塊（HPB）的概念，用於冷卻 D2D PHY 區域。

另一個主要優勢是記憶體控制器卸載，它可以從 XPU 轉移到定制的基礎晶片上。這釋放了 XPU 晶片上的空間，這些空間可用於驅動更多浮點運算處理器。

在基片上集成邏輯節點的新優勢在於可以實現 SRAM。如果 DRAM 堆疊中的某個單元損壞，該單元中的資訊可以暫時存儲在 SRAM 中，記憶體控制器會從 SRAM 中查找這些資訊，而不是從損壞的 DRAM 單元中查找。可以將 SRAM 想像成一個備用筆記本，它就像一個臨時記事本，用來保存那些無法存儲在損壞 DRAM 單元中的資料。

第二階段：RAS、測試、擴展、處理

使用邏輯節點作為基片意味著，若晶體管尺寸較小，則用於這些功能的矽面積也會較小。節省下來的空間可用於多種用途，例如提升可修復性、可用性和可維護性（RAS）、進行測試，以及收集有關 HBM 記憶體堆疊健康狀況/狀態的遙測資料。鑑於 HBM 遙測資料是導致訓練失敗的第二大因素，因此 HBM 遙測資料將非常有用。

如果還有剩餘的矽面積，就可以再建一個。記憶體擴展控制器用於在第一個 HBM 堆疊後連接另一個 HBM 堆疊，或插入 DRAM 芯片以擴展記憶體。

最後，既然邏輯晶體管可用，為何不在基片上也整合一些計算功能呢？這樣做的好處是，像矩陣壓縮或編碼之類的計算可以在邏輯晶片上完成，而無需離開基片。這在延遲和效率方面都有優勢。

如果一切順利，理論上就可以構建右下角那個精巧的加速器。繪製這樣的框圖很容易，概念上也很有趣，但它的實際性能提升是否顯著還值得懷疑。

第三階段：垂直化

最後階段是使用定制的基板晶片和 HBM，並將其堆疊在邏輯晶片之上。計算晶片和記憶體晶片之間的距離很短，因此資料位只需在更短的距離上傳輸，這提高了能效，並由於能在晶片區域內（而不僅僅是晶片前沿）使用更多平行資料路徑而增加了記憶體頻寬。

這一切都不容易，但對公司而言，制定技術改進路線圖至關重要。這表明他們有信心在未來推出更優質的產品，這對公司來說是一件好事。至於市場是否準備好接受這款產品，則是另一個問題了。

SK 海力士推進 HBM5 混合鍵合技術

SK 海力士美國公司封裝工程副總裁李在植（Jaesik Lee）於 8 月 23 日在 Hot Chips 2026 大會上表示，SK 海力士預期混合鍵合技術無法滿足 HBM4E 的需求，這將使業界最期待的記憶體封裝過渡最早也要等到 HBM5 才能實現。

正如他所描述的，問題在於 HBM 立方體的總厚度被限制在 775 微米——這是 300 毫米邏輯晶圓的標準厚度——因此，每增加一層 DRAM 都必須採用更薄的晶片和更窄的間隙。目前正進行客戶認證的 16 層高密度 HBM4（單立方體容量 48GB，而 12 層高密度 HBM4 已量產）將其核心晶片的厚度減薄至約 50 微米，並將晶片間的間隙減半。李的演講還詳細介紹了該公司於 5 月發布三個月後推出的 iHBM 冷卻架構。李解釋說，該架構存在一個限制，即散熱模組不能應用於任何已在設計中的 HBM 產品。

JED EC HBM4 標準將封裝厚度上限從 HBM3E 的 720 微米提高至 775 微米，從而緩解了採用混合鍵合技術所帶來的壓力。Lee 表示，GPU 封裝在安裝冷板時，邏輯晶片和記憶體堆疊層都會被磨掉一部分，露出裸硅片。由於邏輯晶圓的厚度為 775 微米，如果記憶體晶片的高度再增加一些，就會超出旁邊處理器的高度。「這就是我們目前能夠提升的極限，因為邏輯晶圓的厚度也是 775 微米。」Lee 說道。

更薄的晶片意味著堆疊層中氧化層的比例更高，而氧化層的導熱性遠不如矽。此外，引腳速度從早期 HBM 的 1 Gbps 提升至 HBM4 的 8 Gbps，使得相同面積內需要消耗更多功率。SK 海力士自身的數據顯示，在所示的 HBM 各代產品中，熱負荷平均高出 2.2 倍，而堆疊層數每兩代就會翻一番。

該公司的大規模回流成型底部填充（MR-MUF）工藝，透過拾取和放置將所有晶片堆疊起來，並在一次回流中將它們連接起來，已犧牲了利潤：據 Lee 所稱，填料將間隙縮小了一半，同時控制小於 50 微米晶片的翹曲，是 16-Hi 的主要製造挑戰。

去年五月，三星公開承諾將採用混合鍵合技術生產 HBM4，而 SK 海力士則將銅-銅鍵合技術作為先進 MR-MUF 技術的備選方案。隨後，JED EC 厚度限制已放寬，使得混合鍵合技術不再是當務之急。目前，業界正在討論將 20 層堆疊的厚度進一步提高至 825 至 900 微米，這將再次推遲銅鍵合技術的普及。

早在 3 月，業界人士就聲稱 SK 海力士下達了首份大規模生產的混合鍵合訂單，這是一套價值約 200 億韓元（1500 萬美元）的單線系統，結合了應用材料公司和 Besi 公司的設備。Counterpoint Research 預計，該技術將於 2029 年至 2030 年左右，隨著 HBM5 的推出進入全面 HBM 生產階段。

根據 SK 海力士的路線圖，混合鍵合技術目前仍處於研發階段，適用於 20 層及以上的堆疊結構，SK 海力士仍在決定哪款產品率先應用該技術。李先生並未透露具體是哪一代產品，但排除 HBM4E 後，HBM5 很可能是最早應用該技術的型號。該技術在室溫下將扁平的銅焊盤和氧化物表面連接起來，然後利用銅在固化過程中的熱膨脹形成鍵合。

「這看似簡單的工藝，實則極具挑戰性，」Lee 說道。「我們需要 16 層甚至 20 層才能實現混合鍵合，這與單層堆疊截然不同。」完全移除微凸點可讓核心晶片在 20 層高度下增厚 24%，與相同高度的 MR-MUF 相比，熱阻降低約 35%，且凸點間距（根據晶片層圖）可低於 18 微米，而 MR-MUF 目前的間距為 30 微米。在 HBM4 的凸點間距下，傳統的微凸點仍然適用，而且每次 JED EC 當提高厚度上限時，MR-MUF 仍能保持其可行性，並延續至下一代產品中。

iHBM 概念將導熱、絕緣的塊嵌入到基晶片的晶片間 PHY 區域（功率密度峰值的界面熱點），據稱可降低 30% 以上的熱阻。

李的簡報直接將 iHBM 與三星的散熱路徑模組（Heat Path Block）方案進行對比。三星的散熱路徑模組透過專用散熱柱將熱量從晶片堆疊中導出，而美光的晶片基板電路重新設計則聲稱能效提升超過 20%。這三項都是廠商的說法，且衡量標準各不相同。SK 海力士和三星的設計均計劃用於 HBM5，但預計在 2028 年之前都不會量產。李表示，由於這些模組與 D2D PHY 晶片一同位於封裝內部，因此需要根據客戶的設計進行優化，而不能應用於已經設計好的晶片代，這使得 iHBM 成為一項協同設計工作。「這是一個我們可以做得不錯的選擇，但我們無法將其應用於我們已經設計好的晶片代。」

在問答環節中，SemiAnalysis 的 Tanj Bennett 指出，堆疊更高的記憶體會降低晶片自身的吞吐量。DRAM 在單元級運行時，每平方厘米的吞吐量約為 20 TB/s；而 20 層高的堆疊最高吞吐量約為 4 TB/s，且 HBM 所需的製造產能遠高於同等規格的 DDR5 或 LPDDR。「當堆疊高度達到 20 層時，這種記憶體的平均速度反而比 DDR5 慢，」Bennett 說，「為什麼要利用 HBM 堆疊的高度，而不是巧妙地在其周圍放置更便宜的記憶體呢？」

李回答說，訓練工作負載既需要頻寬也需要容量，然後補充說，推理過程可以兼顧兩者，將鍵值緩存保留在高頻寬記憶體中，同時將部分工作卸載到 LPDDR 記憶體。這種分離技術已經在英偉達的 Vera Rubin 平台等產品中得到應用，該平台正是為此目的而將 LPDDR5X 和 HBM4 透過 NVLink-C2C 協議進行池化。此外，SK 海力士與閃迪共同開發的高頻寬閃存規範將這種分層理念擴展到了 NAND 閃存。

李在談到分層方案時表示：「這也是我們未來需要考慮的問題。」據1月份的報導，SK海力士獲得了英偉達Vera Rubin世代HBM芯片約70%的訂單，這些芯片都將採用MR-MUF技術。李表示，哪款產品會率先採用MR-MUF技術，公司尚未做出決定。

Micron 認為「記憶體牆」正在惡化

在演講中，美光科技將探討人工智慧領域不斷發展的記憶體架構。據了解，美光科技將詳細闡述高頻寬記憶體和先進封裝技術如何成為人工智慧系統設計的核心。

Micron 的演講以 OpenAI 的計算效率前沿理論開篇，闡述了記憶體為何對語言模型擴展至關重要。Micron 指出模型規模、資料集規模和訓練計算量之間存在冪律關係，並認為這三者必須同步擴展才能提升語言模型的性能。記憶體正是將這三個因素聯繫起來的關鍵資源。

現在我們來談談記憶體瓶頸。美光表示，AI 加速器的 TFLOPS（浮點運算性能）大約每兩年增長 3 倍，而 2.5D 附加記憶體（例如 HBM）的頻寬增長速度卻不到每兩年 2 倍。這種日益擴大的差距正是記憶體技術成為限制 AI 系統性能的關鍵因素的原因。

美光將 HBM 定位為計算與記憶體之間的橋樑，並追蹤了從 HBM2e 到 HBM5 各代產品容量、頻寬和能效的持續提升。你得好好欣賞一下這場沒有 Y 軸標註的技術會議。

在這裡，美光展示了一款典型的 GPU，其封裝面積超過 12000 平方毫米，其中包括基礎晶片和八個 HBM4 存儲實例。這意味著，當使用 12 層 HBM4 存儲時，存儲矽片的面積可超過 GPU 晶片面積的 8 倍。這確實是一個非常直觀的展示。

HBM 提高了內存頻寬上限，改變了內存限制的邊界，使內存密集型 AI 工作負載能夠在達到內存限制之前更快地運行。

美光的演講目前正在詳細介紹 HBM 是什麼，以及每一代 HBM 的發展歷程。產品表格展示了從 HBM1 到 HBM4 的演變過程。每一代 HBM 都提升了資料速率、偽通道數和堆疊高度，從而提供更高的頻寬和更大的容量。

HBM 的安裝方式與標準的 EC C RDIMM 不同。下圖展示了 HBM 堆疊如何在異構集成系統中與 GPU 或加速器集成，並以系統級封裝（SiP）的形式封裝，而不是作為獨立的插槽模塊。我想 STH 的許多人之前都見過這種設計。

每個 DRAM 芯片包含多個獨立通道，每個通道有兩個偽通道，HBM3E 每個芯片承載 128 個存儲體，而 HBM4 則將其翻倍至 256 個。基體芯片位於主機和 DRAM 堆疊之間，主機側使用微凸點 PHY，堆疊側使用 3D TSV PHY，透過高密度點對點中介層連接，從 HBM3E 的 1K IO 增加至 HBM4 的 2K IO。

美光現在展示的是性能與容量之間的權衡。但他們在這裡並未真正展示 PCB 面積與功耗之間的差異。也許這會在後續的簡報中展示？

美光現在注意到這種速度所帶來的晶片成本。設計架構、先進封裝和製造工藝的複雜性等綜合成本意味著，要實現與 DDR5 相同的 HBM3E 容量，所需的晶片量大約是 DDR5 的三倍。

Micron 隨後在演講中總結了支援人工智慧創新的記憶體參數，包括效能、容量和功耗。

更高速度的 I/O 鏈路和更大的中介層持續推動著 SiP 技術的進步，包括更快的 I/O 設計、針對存儲器優化的 SERDES 和晶片間 PHY，以及互連側的共封裝光學器件。基於 CoWoS-L 和 CoWoS-R 等技術的更大尺寸 SiP 以及玻璃基板也是封裝技術發展路徑的一部分。

現在我們來談談可靠性，包括晶片封裝交互和 RAS 挑戰。在異質集成 HBM 器件中，不同材料之間的熱膨脹係數不匹配會產生熱機械壓力。實際上，從更宏觀的角度來看，這正是 Cerebras 的 WSE 實現過程中面臨的最大挑戰之一。 EC C 的覆蓋範圍分為兩層：首先是 HBM3，在系統層面上，每個 256 位訪問使用 16 個元比特；其次是片上實現的基於符號的 Reed-Solomon EC C。