Hot Chipsカンファレンスで、サムスンとSKハリタスは、GPU、メモリ、ウェハ製造、パッケージングをシステムとして設計する必要があることに同意しました。それ以来、両社のソリューションは分かれ始めました。
サムスンは、ベースチップをシステム内のアクティブな部分に変革しようとしています。メモリコントローラをGPUからロジックベースチップへ移動させることで、GPUの面積の5～10％を解放し、より多くの計算リソースを確保し、パフォーマンスを10～20％向上させる計画です。選択的なAI処理もベースチップ上で実行可能となり、データ移動を削減します。長期的には、GPUとDRAMを直接積層するzHBM技術の推進を進めており、DRAMの消費電力を約70％削減すると同時に、帯域幅を2倍以上に増加させる見込みです。
SK海力士は、より高い積層化に焦点を当て、これに伴う熱と歪みの問題を管理している。HBM4の12層積層は生産段階に進入し、16層バージョンは顧客検証段階に進入した。ハイブリッドボンディングは、20層以上の積層への道を開き、より厚いチップとより密なピッチの使用を可能にする。同社のiHBM手法は、積層の最も熱が発生する領域内に専用の熱伝導経路を追加している。この競争はもはや帯域幅と容量だけの問題ではない。基盤チップアーキテクチャと先進的パッケージングが決定的な戦場となっている。
サムスンのロジックノードに基づくカスタム基板チップ
2026年のHot Chipsプレゼンテーションで、サムスン電子はzHBMを発表しました。これは高帯域幅メモリの最終進化形であり、2.5Dミドルウェアを廃止し、DRAMをGPUなどの計算チップの上に垂直に積層することで、真の3D集積アーキテクチャを実現します。目的はDRAMの消費電力を70％削減し、帯域幅をHBM4E比で2.3倍に向上させることです。
サムスンは、基礎チップを受動的なデータ伝送チャネルから能動的な計算パートナーへと変革するための3段階のロードマップを策定しました。第1段階では、メモリコントローラをxPUから基礎チップに移動させ、シリコン面積を回収します。第2段階では、基礎チップにメモリ拡張機能とアテンション計算機能を追加します。第3段階では、最終的にzHBMを実現します。
次に、サムスンのソリューションを見ていきましょう。
スピーチで問題が発生し、彼らはHBM5の仕様におけるトレンドを示すいくつかのチャートを提示しました。すべてが確定しているわけではありませんが、右上隅のチャートを見ることも興味深いです。
容量が60GB、帯域幅が6TB/sのHBM5 SSDは非常に優れています。具体的なデータを計算しましょう。6TB/sの帯域幅、2048本のチャネルは、各ピンの転送速度が23.5Gbpsであることを意味します。現在の最先端速度は16Gbpsであり、これは大きな進歩です。先進的なロジックノードを採用すれば、この目標を達成できる可能性があります。各チップの容量が3GBで、合計容量が60GBの場合、積層高さは20層になります。
別のスライドで、サムスンはHBM4Eの単ピン伝送速度が16 Gbpsであることを確認しました。以前のHBM5の計算結果も、以下の図で検証されています。
サムスンの明確な優位性は、独自開発したロジックチップを保有している点であり、マイクロンやSKハニックスは他社と協力してそのチップを取得しなければならない。サムスンはここで自社の優位性を強調し、カスタムチップの重要性を説明している。サムスンはメモリに1Cプロセスを、ロジックチップに4nmプロセスを採用することで、チップの消費電力を大幅に削減している。以下の図は、マイクロンがHBM4メモリチップでDRAMプロセスを用いてロジックチップを製造していることを風刺している。
さらに、前述のようにサムスンは製品ロードマップを明確に3つの段階に分けました。それぞれご説明します。
第1段階：すぐに得られる成果
ロジックノードが基板内に存在する場合、HBM PHYモジュールの物理的面積が削減され、エネルギー効率も向上します。これにより、HBMとXPUを接続するチップ間モジュールのサイズが小さくなります。これは以下の2つの利点をもたらします：
より多くの計算を実行するために、XPUの面積を拡大する；
より高度な機能を実現するために、HBMチップの利用可能面積を拡大します。
サイズを縮小することによる欠点は、これらの領域の熱密度が高くなることです。興味深いことに、彼らは異なる世代のHBMにおけるPHYモジュールの実際のサイズを提示しています。
サムスンは、UCIeをD2Dリンクで使用することに消極的であると述べ、UCIeはサイズが大きく、ビットあたりの消費電力が高いため、独自にカスタマイズしたPHY実装の方が性能が優れていると説明した。HBM5への移行に際して、彼らはD2D PHY領域を冷却するための熱パスブロック（HPB）のコンセプトを提示した。
もう一つの主要な利点は、メモリコントローラをXPUからカスタムベースチップにオフロードできることです。これにより、XPUチップ上のスペースが確保され、そのスペースをより多くの浮動小数点演算プロセッサの駆動に活用できます。
基板に論理ノードを統合する新しい利点は、SRAMを実現できることです。DRAMスタックのいずれかのセルが損傷した場合、そのセルの情報は一時的にSRAMに保存され、メモリコントローラーは損傷したDRAMセルではなくSRAMから情報を検索します。SRAMは、損傷したDRAMセルに保存できないデータを一時的に記録するための予備ノートブックのように考えることができます。
第2段階：RAS、テスト、拡張、処理
ロジックノードを基板として使用することで、トランジスタのサイズが小さければ、このような機能に必要なシリコン面積も小さくなります。節約されたスペースは、RAS（修復性・可用性・保守性）の向上、テスト、HBMメモリスタックの健康状態や状態に関するテレメトリデータの収集など、さまざまな用途に活用できます。HBMテレメトリデータはトレーニング失敗の第二大要因であるため、非常に有用です。
残ったシリコン面積がある場合、もう1つ構築できます。メモリ拡張コントローラは、最初のHBMスタックの後ろに別のHBMスタックを接続したり、DRAMチップを挿入してメモリを拡張したりするために使用されます。
最後に、論理トランジスタが利用可能であるなら、基板上に計算機能を統合しない理由は何でしょうか？これにより、行列圧縮や符号化などの計算を基板外に出ることなく論理チップ上で実行でき、遅延と効率の面で利点があります。
すべてが順調に進めば、理論的には右下の繊細なアクセラレーターを構築できる。このようなブロック図を描くのは簡単で、概念的にも興味深いが、その実際のパフォーマンス向上が顕著であるかどうかは疑問である。
第3段階：垂直化
最終段階では、カスタム基板チップとHBMを使用し、それをロジックチップの上に積層します。計算チップとメモリチップの距離が短いため、データビットはより短い距離で送信され、これによりエネルギー効率が向上し、チップ領域内（チップのフロントだけでなく）でより多くの並列データパスを活用できるため、メモリ帯域幅も増加します。
すべては簡単ではありませんが、企業にとって技術改善のロードマップを策定することは不可欠です。これは、今後より優れた製品をリリースするという自信を示しており、企業にとって良いことです。一方、市場がこの製品を受け入れる準備ができているかどうかは、別の問題です。
SK海力士がHBM5ハイブリッドボンディング技術を推進
SKハイニックス米国社のパッケージングエンジニアリング副社長、李在植（イ・ジェシク）は、8月23日のHot Chips 2026での発表で、SKハイニックスはハイブリッドボンディング技術がHBM4Eの要件を満たせないと予測しており、業界で最も注目されているメモリパッケージングの移行は、HBM5まで待たなければならないと述べた。
彼が説明したように、問題はHBMキューブの総厚さが775マイクロメートルに制限されていることである。これは300mmロジックウェハの標準厚さであり、DRAM層を増やすたびに、より薄いチップとより狭いギャップを採用しなければならない。現在、顧客認証が進行中の16層高密度HBM4（単一キューブ容量48GB、12層高密度HBM4は既に量産済み）では、コアチップの厚さを約50マイクロメートルまで薄くし、チップ間のギャップを半分に削減している。李の講演では、同社が5月に発表して3か月後に導入したiHBM冷却アーキテクチャについても詳細が説明された。李は、このアーキテクチャには、すでに設計済みのHBM製品には散热モジュールを適用できないという制限があると説明した。
JED EC HBM4標準では、HBM3Eで採用されていた720マイクロメートルのパッケージ厚さの上限が775マイクロメートルに引き上げられ、ハイブリッドボンディング技術の採用に伴う圧力が軽減された。リーは、GPUパッケージがクールプレートを設置する際に、ロジックチップとメモリスタック層の一部が研削され、裸のシリコンが露出すると述べた。ロジックウエハの厚さが775マイクロメートルであるため、メモリチップの高さがさらに増すと、隣接するプロセッサの高さを超えてしまう。「これが現在私たちが向上させられる限界です。なぜなら、ロジックウエハの厚さも775マイクロメートルだからです。」とリーは述べた。
より薄いチップは、積層層における酸化層の比率を高めますが、酸化層の熱伝導性はシリコンに比べてはるかに劣ります。また、ピン速度は初期のHBMの1 GbpsからHBM4の8 Gbpsへと向上しており、同じ面積内でより多くの電力を消費することになります。SKハイニックス自身のデータによると、示されたHBM各世代において、熱負荷は平均で2.2倍増加しており、積層層数は2世代ごとに倍増しています。
同社の大規模再配線型モールディング底部充填（MR-MUF）プロセスでは、すべてのチップをピックアンドプレースで積層し、1回のリフローで接続しますが、これにより利益が犠牲になっています。Leeによると、ギャップを半分に縮小し、50マイクロメートル以下のチップの歪みを制御することは、16-Hiの主要な製造上の課題です。
昨年5月、サムスンはHBM4の生産にハイブリッドボンディング技術を採用すると公約し、SKハイニックスは先進的なMR-MUF技術の代替案として銅-銅ボンディング技術を検討した。その後、JED EC 厚さの制限が緩和されたことで、混合接合技術はもはや最優先事項ではなくなった。現在、業界では20層積層の厚さを825～900マイクロメートルまでさらに増やすことが議論されており、これにより銅接合技術の普及は再び遅れる見込みである。
3月には業界関係者が、SKハニックスが最初の大規模生産用ハイブリッドバインディング注文を発注したと主張した。このシステムは、アプリケーション・マテリアルズ社とBesi社の装置を組み合わせたもので、約200億韓元（1500万ドル）の価値がある。Counterpoint Researchは、この技術がHBM5の導入に伴い、2029年から2030年頃にHBM生産全体に本格的に導入されると予測している。
SKハイニックスのロードマップによると、ハイブリッドボンディング技術は現在開発段階にあり、20層以上の積層構造に適用されます。SKハイニックスは、どの製品にこの技術を最初に採用するかを検討中です。李先生は具体的な製品世代については明かしていませんが、HBM4Eを除外した場合、HBM5がこの技術を最初に採用する可能性が高いです。この技術は、室温で平らな銅パッドと酸化物表面を接合し、その後、銅の固化過程における熱膨張を利用して接合を形成します。
「この単純に見えるプロセスは、実際には非常に挑戦的です」とLeeは述べました。「混合結合を実現するには、16層、あるいは20層が必要であり、これは単層積層とは全く異なります。マイクロバンプを完全に除去することで、コアチップの厚さを20層の高さで24％増加させることができ、同様の高さのMR-MUFと比較して熱抵抗を約35％低減でき、バンプピッチ（チップレイヤーマップに基づく）は18マイクロメートル以下にすることが可能であり、現在のMR-MUFのピッチは30マイクロメートルです。HBM4のバンプピッチでは、従来のマイクロバンプは依然として適用可能であり、毎回JED」 EC 厚さの上限を引き上げても、MR-MUFは引き続き実現可能性を維持し、次世代製品に継承されます。
iHBMコンセプトは、熱伝導性および絶縁性のブロックを、ベースチップのチップ間PHY領域（電力密度のピークとなる界面のホットスポット）に埋め込むもので、熱抵抗を30％以上低下させるとされている。
李のスライドでは、iHBMをサムスンのヒートパスブロック（Heat Path Block）ソリューションと直接比較した。サムスンのヒートパスブロックは、専用の放熱柱を用いてチップスタックから熱を排出するのに対し、マイクロンのチップ基板回路の再設計は、20％以上の効率向上を主張している。これら三つの主張はすべてメーカーによるものであり、評価基準もそれぞれ異なる。SKハイニックスとサムスンの設計はいずれもHBM5向けに計画されているが、2028年まで量産されない見込みである。李は、これらのモジュールがD2D PHYチップとともにパッケージ内に配置されているため、既に設計されたチップ世代には適用できず、顧客の設計に応じて最適化する必要があるため、iHBMは協同設計の作業であると述べた。「これは私たちが実現できる優れた選択肢ですが、すでに設計済みのチップ世代には適用できません。」
質疑応答セッションで、SemiAnalysisのTanj Bennettは、より高い積層メモリはシリコン自体のスループットを低下させると指摘した。DRAMは単位面積あたり約20 TB/sのスループットを達成するが、20層積層の最大スループットは約4 TB/sに過ぎず、HBMに必要な製造能力は同等仕様のDDR5またはLPDDRよりもはるかに高い。「20層積層になると、そのメモリの平均速度はDDR5よりも遅くなる」とBennettは述べ、「なぜHBMの積層高さを活用せず、その周囲により安価なメモリを賢く配置しないのか？」
李は、トレーニングワークロードは帯域幅と容量の両方を必要とするが、推論プロセスは両方を両立でき、キー・バリューキャッシュを高帯域幅メモリに保持しつつ、一部の処理をLPDDRメモリにオフロードできると説明した。この分離技術は、NVLink-C2Cプロトコルを用いてLPDDR5XとHBM4をプール化して設計されたNVIDIAのVera Rubinプラットフォームなどに既に適用されている。さらに、SKハイニックスとサンディスクが共同開発した高帯域幅フラッシュメモリ規格は、この階層化の理念をNANDフラッシュにも拡張している。
李はレイヤードソリューションについて、「これは私たちが今後検討すべき課題でもあります」と述べました。1月の報道によると、SKハイニックスは、NVIDIAのVera Rubin世代HBMチップの約70％の注文を獲得し、これらのチップはすべてMR-MUF技術を採用します。李は、どの製品が最初にMR-MUF技術を採用するかについては、会社はまだ決定していないと述べました。
Micronは「メモリーワール」が悪化していると考えている
スピーチで、マイクロンは人工知能分野における進化するメモリアーキテクチャについて議論します。マイクロンは、高帯域幅メモリと先進的なパッケージング技術が人工知能システム設計の中心となる方法を詳細に説明するとされています。
マイクロンの講演は、OpenAIの計算効率の最前線理論で始まり、メモリが言語モデルのスケーリングにどのように不可欠であるかを説明しました。マイクロンは、モデル規模、データセット規模、トレーニング計算量の間に累乗則の関係が存在し、言語モデルの性能を向上させるにはこの三つを並行して拡張する必要があると指摘しました。メモリは、この三つの要素を結びつける鍵となるリソースです。
では、メモリボトルネックについて話しましょう。マイクロンは、AIアクセラレータのTFLOPS（浮動小数点演算性能）が約2年ごとに3倍に増加している一方で、2.5D追加メモリ（HBMなど）の帯域幅の増加速度は2年ごとに2倍未満であると述べています。この拡大し続ける差が、メモリ技術がAIシステムのパフォーマンスを制限する鍵となる理由です。
マイクロンはHBMを計算とメモリの橋渡しとして位置づけ、HBM2eからHBM5までの各世代において、容量、帯域幅、エネルギー効率が着実に向上していることを追跡しています。Y軸のラベルがないこの技術会議をしっかりお楽しみください。
ここで、マイクロンは、基板チップと8つのHBM4メモリインスタンスを含む、典型的なGPUを提示しました。これは、12層のHBM4メモリを使用すると、メモリシリコンの面積がGPUチップ自体の面積の8倍以上になることを意味します。これは非常に直感的なデモンストレーションです。
HBMはメモリ帯域幅の上限を向上させ、メモリ制限の境界を変化させることで、メモリ集約型のAIワークロードがメモリ制限に達する前により高速に実行できるようにしました。
マイクロンのスピーチでは、現在HBMとは何か、および各世代のHBMの発展历程について詳細に説明しています。製品テーブルには、HBM1からHBM4までの進化が示されています。各世代のHBMは、データレート、疑似チャネル数、積層高さを向上させ、より高い帯域幅と更大的な容量を実現しています。
HBMの設置方法は標準的な EC C RDIMM とは異なります。以下の図は、HBM スタックが、独立したスロットモジュールではなく、システム級パッケージ（SiP）の形で、GPU やアクセラレーターと異種統合システムにどのように統合されるかを示しています。STH の多くの人が以前にこの設計を見たことがあるでしょう。
各DRAMチップには複数の独立チャネルが含まれ、各チャネルには2つの擬似チャネルがあります。HBM3Eでは各チップに128個のメモリバンクが搭載され、HBM4ではこれが256個に倍増します。ベースチップはホストとDRAMスタックの間に位置し、ホスト側にはマイクロバンプPHY、スタック側には3D TSV PHYが使用され、高密度ポイントツーポイントミドルウェアを介して接続されます。これにより、HBM3Eの1K IOからHBM4では2K IOへと増加します。
マイクロンは現在、パフォーマンスと容量のトレードオフを示していますが、ここでPCB面積と消費電力の差異を実際に示していません。これは後のスライドで示されるのでしょうか？
美光は、この速度がもたらすシリコンコストに注目しています。設計アーキテクチャ、先進的なパッケージング、製造プロセスの複雑さなどの総合的なコストにより、DDR5と同じHBM3E容量を実現するには、DDR5の約3倍のシリコンが必要です。
美光はその後のスピーチで、パフォーマンス、容量、消費電力を含むAIイノベーションを支援するメモリパラメーターをまとめました。
より高速なI/Oリンクと更大的なインターセプト層は、SiP技術の進歩を継続的に推進しており、これには高速I/O設計、メモリ最適化されたSERDESおよびチップ間PHY、およびインターコネクト側のコパッケージ光学素子が含まれます。CoWoS-LやCoWoS-Rなどの技術に基づく大規模SiPおよびガラス基板も、パッケージング技術の発展パスの一部です。
次に、チップパッケージ相互作用とRASの課題についてお話しします。異種集積HBMデバイスでは、異なる材料間の熱膨張係数の不一致が熱機械的応力を生み出します。実際、より宏观的な視点から見ると、これはCerebrasのWSE実装において直面した最大の課題の一つです。 EC Cのカバレッジは二層に分かれています。まずHBM3では、システムレベルで256ビットアクセスごとに16個のメタビットを使用します。次に、符号に基づくリード・ソロモン符号がオンチップで実装されます。 EC C。
熱制御のために、DRAMチップのアクティビティ増加、積層高さの向上、およびより高度なチップベース機能は発熱を増加させます。マイクロンは、帯域幅と容量の拡張に必要な放熱イノベーション技術として、液体冷却、ハイブリッド結合、はんだおよびサイドモールドの改善を挙げています。
ファイリングのトレンドはまもなく終わりを迎えるようだ。
総合的に見ると、これらのデータは、マイクロンがAI分野におけるメモリアーキテクチャの進化にどのように対応しているかを示している。マイクロンは、HBMの帯域幅と容量を向上させることと、そのような大容量メモリを計算ユニットの横に配置することによるパッケージング、放熱、信頼性のコストとのバランスを取っている。
皆さんは、HBMがどのように動くと思いますか？
本文は微信公衆号「半導体業界観察」（ID：icbank）より、著者：編集部