Samsung dan SK Hynix Berbeda dalam Strategi Desain HBM

Di konferensi Hot Chips, Samsung dan SK Hynix sepakat bahwa GPU, memori, fabrikasi wafer, dan packaging harus dirancang sebagai satu sistem. Sejak itu, solusi mereka mulai berbeda arah.

Samsung sedang mengubah chip dasar menjadi bagian aktif dalam sistem. Perusahaan berencana memindahkan controller memori dari GPU ke chip logika dasar, sehingga melepaskan 5–10% area GPU untuk peningkatan komputasi dan berpotensi meningkatkan kinerja sebesar 10–20%. Operasi AI selektif juga dapat dijalankan di chip dasar untuk mengurangi perpindahan data. Dalam jangka panjang, Samsung sedang mengembangkan teknologi zHBM yang secara langsung menumpuk GPU dan DRAM, diharapkan dapat mengurangi konsumsi daya DRAM sekitar 70% sekaligus meningkatkan bandwidth lebih dari dua kali lipat.

SK Hynix berfokus pada stacking yang lebih tinggi serta mengelola masalah panas dan distorsi yang dihasilkan. Perusahaan mengonfirmasi bahwa HBM4 dengan stacking 12 lapisan telah memasuki tahap produksi, sementara versi 16 lapisan berada dalam tahap verifikasi pelanggan. Hybrid bonding adalah jalur menuju stacking 20 lapisan dan lebih tinggi, yang memungkinkan penggunaan chip yang lebih tebal dan jarak yang lebih rapat. Metode iHBM-nya menambahkan jalur konduksi termal khusus di dalam area paling panas dari stacking. Persaingan ini tidak lagi hanya tentang bandwidth dan kapasitas. Arsitektur chip dasar dan packaging canggih kini menjadi medan pertempuran penentu.

Pada presentasi Hot Chips 2026, Samsung Electronics meluncurkan zHBM, bentuk evolusi puncak dari high-bandwidth memory. Konsep ini meninggalkan中介层 2.5D, menumpuk DRAM secara vertikal di atas chip komputasi seperti GPU, membentuk arsitektur integrasi 3D sejati, dengan tujuan mengurangi konsumsi daya DRAM sebesar 70% dan meningkatkan bandwidth hingga 2,3 kali dibanding HBM4E.

Samsung telah menetapkan peta jalan tiga tahap untuk mengubah chip dasar dari saluran transmisi data pasif menjadi mitra komputasi aktif. Tahap pertama memindahkan controller memori dari xPU ke chip dasar untuk mereklamasi area silikon; tahap kedua menambahkan kemampuan ekspansi memori dan komputasi perhatian ke chip dasar; tahap ketiga akhirnya mencapai zHBM.

Selanjutnya, mari kita lihat solusi Samsung.

Saat pidato bermasalah, mereka menyajikan beberapa grafik yang menunjukkan tren perkembangan HBM5 dari segi spesifikasi. Meskipun semuanya belum pasti, melihat grafik di kanan atas juga menarik.

SSD HBM5 dengan kapasitas 60 GB dan bandwidth 6 TB/s sudah sangat bagus. Mari kita hitung datanya secara rinci. Dengan bandwidth 6 TB/s dan 2048 saluran, kecepatan transmisi per pin adalah 23,5 Gbps. Kecepatan tercanggih kita saat ini adalah 16 Gbps, yang merupakan kemajuan besar, dan pencapaian ini kemungkinan besar dapat direalisasikan dengan menggunakan node logika canggih. Jika kapasitas setiap chip adalah 3 GB dengan total kapasitas 60 GB, maka tinggi stack akan mencapai 20 lapisan.

Pada slide lain, Samsung mengonfirmasi kecepatan transmisi per pin HBM4E sebesar 16 Gbps. Perhitungan kami sebelumnya mengenai HBM5 juga diverifikasi dalam gambar di bawah ini.

Keunggulan jelas Samsung terletak pada kepemilikan chip logika hasil pengembangan sendiri, sementara Micron dan SK Hynix perlu bekerja sama dengan pihak lain untuk mendapatkan chip tersebut. Samsung menekankan keunggulan dirinya dan menjelaskan pentingnya chip khusus. Samsung memproduksi memori dengan proses 1C dan chip logika dengan proses 4nm, sehingga secara signifikan mengurangi konsumsi daya chip. Gambar di bawah ini menggambarkan sindiran terhadap Micron, yang menggunakan proses DRAM untuk memproduksi chip logika dalam memori HBM4.

Yang lebih menarik lagi, seperti yang telah disebutkan sebelumnya, Samsung membagi peta jalan produknya menjadi tiga tahap secara jelas. Kami akan membahasnya satu per satu.

Ketika ada node logis di dalam substrat, area fisik modul HBM PHY berkurang dan efisiensi energinya meningkat. Ini berarti ukuran modul antar-chip yang menghubungkan HBM dan XPU menjadi lebih kecil. Ini memiliki dua keuntungan:

Tingkatkan luas di XPU untuk melakukan lebih banyak perhitungan;

Tingkatkan luas area substrat HBM untuk mencapai fitur yang lebih canggih.

Kelemahan dari pengurangan ukuran adalah densitas panas yang lebih tinggi di area-area tersebut. Secara menarik, mereka menyediakan ukuran aktual modul PHY untuk berbagai generasi HBM.

Samsung juga menyebutkan bahwa mereka tidak cenderung menggunakan UCIe pada tautan D2D karena UCIe berukuran lebih besar dan memiliki konsumsi energi per bit yang lebih tinggi. Mereka menyatakan bahwa solusi PHY yang mereka kustomisasi memiliki kinerja yang lebih baik. Dalam transisi menuju HBM5, mereka memperkenalkan konsep integrasi blok jalur termal (HPB) untuk mendinginkan area D2D PHY.

Keuntungan utama lainnya adalah offload pengendali memori, yang dapat dipindahkan dari XPU ke chip dasar khusus. Ini melepaskan ruang di chip XPU yang dapat digunakan untuk menggerakkan lebih banyak prosesor operasi titik mengambang.

Keunggulan baru dari integrasi node logika pada substrat adalah kemampuan untuk mewujudkan SRAM. Jika sel di dalam stack DRAM rusak, informasi di dalam sel tersebut dapat disimpan sementara di SRAM, dan controller memori akan mencari informasi tersebut dari SRAM, bukan dari sel DRAM yang rusak. SRAM dapat dibayangkan sebagai buku catatan cadangan, yang berfungsi seperti buku catatan sementara untuk menyimpan data yang tidak dapat disimpan di sel DRAM yang rusak.

Menggunakan node logis sebagai substrat berarti bahwa jika ukuran transistor lebih kecil, area silikon yang digunakan untuk banyak fungsi semacam itu juga akan lebih kecil. Ruang yang dihemat dapat digunakan untuk berbagai tujuan, seperti meningkatkan reparabilitas, ketersediaan, dan pemeliharaan (RAS), melakukan pengujian, serta mengumpulkan data telemetri tentang kesehatan/status tumpukan memori HBM. Mengingat data telemetri HBM merupakan faktor kedua terbesar yang menyebabkan kegagalan pelatihan, data telemetri HBM akan sangat berguna.

Jika masih ada sisa area silikon, maka dapat dibuat lagi. Pengendali ekspansi memori digunakan untuk menghubungkan stack HBM lain di belakang stack HBM pertama, atau memasukkan chip DRAM untuk memperluas memori.

Terakhir, karena transistor logis tersedia, mengapa tidak mengintegrasikan beberapa fungsi komputasi juga pada substrat? Keuntungannya adalah, komputasi seperti kompresi matriks atau pengkodean dapat dilakukan di chip logis tanpa meninggalkan substrat. Ini memberikan keuntungan dalam hal latensi dan efisiensi.

Jika semuanya berjalan lancar, secara teori kita dapat membangun akselerator halus di pojok kanan bawah. Membuat diagram seperti ini mudah, dan konsepnya pun menarik, tetapi apakah peningkatan performa nyatanya signifikan masih diragukan.

Tahap terakhir adalah menggunakan substrate chip dan HBM yang disesuaikan, lalu menumpuknya di atas chip logika. Jarak antara chip komputasi dan chip memori sangat pendek, sehingga bit data hanya perlu ditransmisikan dalam jarak yang lebih singkat, yang meningkatkan efisiensi energi dan meningkatkan bandwidth memori karena memungkinkan penggunaan lebih banyak jalur data paralel di area chip (bukan hanya di tepi chip).

Semuanya tidak mudah, tetapi sangat penting bagi perusahaan untuk membuat peta jalan peningkatan teknologi. Ini menunjukkan kepercayaan mereka pada peluncuran produk yang lebih baik di masa depan, yang merupakan hal yang baik bagi perusahaan. Apakah pasar siap menerima produk ini adalah pertanyaan lain.

Jaesik Lee, Wakil Presiden Rekayasa Pengepakan SK Hynix Amerika, menyatakan pada acara Hot Chips 2026 pada 23 Agustus bahwa SK Hynix memperkirakan teknologi hybrid bonding tidak dapat memenuhi kebutuhan HBM4E, sehingga transisi pengepakan memori yang paling dinantikan industri akan tertunda hingga setidaknya HBM5.

Seperti yang ia jelaskan, masalahnya adalah ketebalan total kubus HBM dibatasi pada 775 mikrometer—ketebalan standar wafer logika 300 mm—sehingga setiap penambahan lapisan DRAM harus menggunakan chip yang lebih tipis dan celah yang lebih sempit. HBM4 kepadatan tinggi 16-lapisan yang saat ini sedang dalam sertifikasi pelanggan (kapasitas kubus tunggal 48 GB, sementara HBM4 kepadatan tinggi 12-lapisan sudah diproduksi massal) mengurangi ketebalan chip inti menjadi sekitar 50 mikrometer dan membagi dua celah antar chip. Presentasi Li juga merinci arsitektur pendingin iHBM yang diluncurkan tiga bulan setelah rilis pada bulan Mei. Li menjelaskan bahwa arsitektur ini memiliki batasan, yaitu modul pendingin tidak dapat diterapkan pada produk HBM apa pun yang sudah dirancang.

JED EC Standar HBM4 meningkatkan batas ketebalan paket dari 720 mikrometer yang digunakan pada HBM3E menjadi 775 mikrometer, sehingga meringankan tekanan yang ditimbulkan oleh teknologi hybrid bonding. Lee menjelaskan bahwa saat memasang cold plate pada paket GPU, chip logika dan lapisan stack memori akan digosok sebagian untuk mengekspos silikon telanjang. Karena ketebalan wafer logika adalah 775 mikrometer, jika tinggi chip memori ditambah sedikit lagi, maka akan melebihi tinggi prosesor di sampingnya. "Ini adalah batas maksimum yang bisa kami tingkatkan saat ini, karena ketebalan wafer logika juga 775 mikrometer," kata Lee.

Chip yang lebih tipis berarti proporsi lapisan oksida dalam stack lebih tinggi, sementara konduktivitas termal oksida jauh lebih rendah dibanding silikon. Selain itu, kecepatan pin meningkat dari 1 Gbps pada HBM generasi awal menjadi 8 Gbps pada HBM4, sehingga memerlukan lebih banyak daya dalam area yang sama. Data internal SK Hynix menunjukkan bahwa beban termal rata-rata 2,2 kali lebih tinggi pada berbagai generasi HBM yang ditunjukkan, dan jumlah lapisan stack berlipat ganda setiap dua generasi.

Proses MR-MUF (mass reflow mold underfill) perusahaan, yang mengangkat dan menempatkan semua chip serta menghubungkannya dalam satu siklus reflow, telah mengorbankan keuntungan: menurut Lee, pengisian yang mengurangi setengah celah sekaligus mengendalikan distorsi chip kurang dari 50 mikrometer merupakan tantangan manufaktur utama untuk 16-Hi.

Pada Mei tahun lalu, Samsung secara terbuka berkomitmen untuk menggunakan teknologi hybrid bonding dalam produksi HBM4, sementara SK Hynix menjadikan teknologi copper-to-copper bonding sebagai opsi alternatif untuk teknologi MR-MUF canggih. Selanjutnya, JED EC Batas ketebalan telah dilonggarkan, sehingga teknologi hybrid bonding tidak lagi menjadi prioritas utama. Saat ini, industri sedang membahas peningkatan ketebalan stack 20 lapisan menjadi 825 hingga 900 mikrometer, yang akan kembali menunda adopsi teknologi copper bonding.

Pada Maret lalu, para ahli industri menyatakan bahwa SK Hynix telah mengeluarkan pesanan produksi massal pertama untuk hybrid bonding, sebuah sistem single-line senilai sekitar 20 miliar won (15 juta dolar AS) yang menggabungkan peralatan dari Applied Materials dan Besi. Counterpoint Research memperkirakan teknologi ini akan memasuki tahap produksi HBM penuh sekitar tahun 2029 hingga 2030 seiring peluncuran HBM5.

Menurut peta jalan SK Hynix, teknologi hybrid bonding saat ini masih berada dalam tahap pengembangan dan cocok untuk struktur stack 20 lapisan ke atas. SK Hynix masih menentukan produk mana yang akan menjadi yang pertama menerapkan teknologi ini. Tuan Li tidak mengungkapkan generasi produk spesifik, tetapi setelah mengecualikan HBM4E, HBM5 kemungkinan besar akan menjadi model pertama yang menerapkan teknologi ini. Teknologi ini menghubungkan pad tembaga datar dan permukaan oksida pada suhu ruang, lalu memanfaatkan ekspansi termal tembaga selama proses pengerasan untuk membentuk ikatan.

“Proses yang tampak sederhana ini sebenarnya sangat menantang,” kata Lee. “Kami memerlukan 16 lapisan bahkan hingga 20 lapisan untuk mencapai hybrid bonding, yang sama sekali berbeda dari stacking lapisan tunggal.” Penghapusan total mikrobump memungkinkan chip inti menjadi 24% lebih tebal pada ketinggian 20 lapisan, mengurangi resistansi termal sekitar 35% dibandingkan MR-MUF dengan ketinggian yang sama, serta memungkinkan jarak bump (berdasarkan peta lapisan chip) di bawah 18 mikrometer, sementara jarak saat ini untuk MR-MUF adalah 30 mikrometer. Pada jarak bump HBM4, mikrobump tradisional masih tetap berlaku, dan setiap JED EC Saat meningkatkan batas ketebalan, MR-MUF tetap mempertahankan kelayakannya dan dilanjutkan ke produk generasi berikutnya.

Konsep iHBM memasukkan blok termal dan isolator ke dalam area PHY antar-chip pada chip dasar (titik panas antarmuka dengan kepadatan daya tertinggi), yang diklaim dapat mengurangi resistansi termal lebih dari 30%.

Slide Li secara langsung membandingkan iHBM dengan solusi Heat Path Block milik Samsung. Heat Path Block Samsung mengalirkan panas dari stack chip melalui kolom pendingin khusus, sementara desain ulang sirkuit substrat chip Micron mengklaim peningkatan efisiensi energi lebih dari 20%. Ketiganya adalah klaim pabrikan dengan standar pengukuran yang berbeda. Desain SK Hynix dan Samsung direncanakan untuk digunakan pada HBM5, tetapi diperkirakan tidak akan diproduksi massal sebelum tahun 2028. Li menyatakan bahwa karena modul-modul ini berada di dalam paket bersama dengan chip D2D PHY, mereka perlu dioptimalkan sesuai desain pelanggan dan tidak dapat diterapkan pada generasi chip yang sudah dirancang, menjadikan iHBM sebagai pekerjaan desain kolaboratif. "Ini adalah pilihan yang bisa kita lakukan dengan baik, tetapi kita tidak bisa menerapkannya pada generasi chip yang sudah kita desain."

Dalam sesi tanya jawab, Tanj Bennett dari SemiAnalysis menunjukkan bahwa menumpuk memori yang lebih tinggi akan mengurangi throughput chip itu sendiri. Saat DRAM beroperasi pada tingkat sel, throughputnya sekitar 20 TB/s per cm²; sedangkan tumpukan setinggi 20 lapis memiliki throughput maksimum sekitar 4 TB/s, dan kapasitas produksi yang dibutuhkan untuk HBM jauh lebih tinggi dibandingkan DDR5 atau LPDDR dengan spesifikasi setara. “Ketika tingkat tumpukan mencapai 20 lapis, kecepatan rata-rata memori ini justru lebih lambat daripada DDR5,” kata Bennett, “Mengapa tidak memanfaatkan ketinggian tumpukan HBM, tetapi secara cerdas menempatkan memori yang lebih murah di sekitarnya?”

Li menjawab bahwa beban pelatihan memerlukan both bandwidth dan kapasitas, lalu menambahkan bahwa proses inferensi dapat mempertimbangkan keduanya dengan menyimpan cache kunci-nilai di memori berbandwidth tinggi, sambil mengalihkan sebagian pekerjaan ke memori LPDDR. Teknik pemisahan ini telah diterapkan pada produk seperti platform NVIDIA Vera Rubin, yang secara khusus menggabungkan LPDDR5X dan HBM4 melalui protokol NVLink-C2C untuk tujuan ini. Selain itu, spesifikasi flash berbandwidth tinggi yang dikembangkan bersama oleh SK Hynix dan SanDisk memperluas konsep berlapis ini ke flash NAND.

Li membahas solusi berlapis: "Ini juga merupakan masalah yang perlu kami pertimbangkan di masa depan." Menurut laporan Januari, SK Hynix memperoleh sekitar 70% pesanan chip HBM generasi Vera Rubin dari NVIDIA, yang semuanya akan menggunakan teknologi MR-MUF. Li menyatakan bahwa perusahaan belum memutuskan produk mana yang akan terlebih dahulu mengadopsi teknologi MR-MUF.

Dalam pidatonya, Micron akan membahas arsitektur memori yang terus berkembang di bidang kecerdasan buatan. Diketahui bahwa Micron akan menjelaskan secara rinci bagaimana high-bandwidth memory dan teknologi packaging canggih menjadi inti dalam desain sistem kecerdasan buatan.

Pidato Micron dibuka dengan teori terkini tentang efisiensi komputasi OpenAI, yang menjelaskan mengapa memori sangat penting untuk skala model bahasa. Micron menunjukkan adanya hubungan pangkat antara ukuran model, ukuran dataset, dan komputasi pelatihan, serta berpendapat bahwa ketiga faktor ini harus diperluas secara sejalan untuk meningkatkan kinerja model bahasa. Memori adalah sumber daya kunci yang menghubungkan ketiga faktor ini.

Sekarang mari kita bahas bottleneck memori. Micron menyatakan bahwa TFLOPS (kinerja operasi titik mengambang) dari akselerator AI meningkat sekitar tiga kali setiap dua tahun, sementara bandwidth memori tambahan 2.5D (misalnya HBM) tumbuh kurang dari dua kali setiap dua tahun. Kesenjangan yang terus melebar ini adalah alasan mengapa teknologi memori menjadi faktor kunci yang membatasi kinerja sistem AI.

Micron menempatkan HBM sebagai jembatan antara komputasi dan memori, serta melacak peningkatan kapasitas, bandwidth, dan efisiensi energi dari generasi HBM2e hingga HBM5. Anda harus benar-benar menghargai pertemuan teknis tanpa label sumbu-Y ini.

Di sini, Micron menampilkan sebuah GPU khas dengan luas paket lebih dari 12.000 milimeter persegi, yang mencakup chip dasar dan delapan contoh memori HBM4. Ini berarti, ketika menggunakan 12 lapis HBM4, luas silikon memori dapat melebihi delapan kali luas chip GPU sendiri. Ini memang merupakan demonstrasi yang sangat intuitif.

HBM meningkatkan batas bandwidth memori, mengubah batas pembatasan memori, sehingga beban kerja AI yang padat memori dapat berjalan lebih cepat sebelum mencapai batas memori.

Pidato Micron saat ini secara rinci menjelaskan apa itu HBM dan perkembangan setiap generasi HBM. Tabel produk menunjukkan evolusi dari HBM1 hingga HBM4. Setiap generasi HBM meningkatkan kecepatan data, jumlah pseudo-channel, dan tinggi stack, sehingga memberikan bandwidth yang lebih tinggi dan kapasitas yang lebih besar.

Cara pemasangan HBM sama dengan standar EC C RDIMM berbeda. Gambar di bawah menunjukkan bagaimana tumpukan HBM diintegrasikan dengan GPU atau akselerator dalam sistem heterogen dan dikemas dalam bentuk sistem dalam paket (SiP), bukan sebagai modul slot terpisah. Saya yakin banyak orang di STH sebelumnya telah melihat desain ini.

Setiap chip DRAM berisi beberapa saluran independen, masing-masing saluran memiliki dua pseudo-channel, HBM3E membawa 128 bank per chip, sedangkan HBM4 menggandakannya menjadi 256 bank. Chip dasar berada di antara host dan stack DRAM, sisi host menggunakan PHY micro-bump, sisi stack menggunakan PHY 3D TSV, yang terhubung melalui interposer titik-ke-titik berkepadatan tinggi, meningkatkan IO dari 1K pada HBM3E menjadi 2K pada HBM4.

Micron sekarang menunjukkan kompromi antara kinerja dan kapasitas. Namun, mereka tidak benar-benar menunjukkan perbedaan antara luas PCB dan konsumsi daya di sini. Mungkin ini akan ditampilkan di slide berikutnya?

Micron sekarang memperhatikan biaya wafer yang diakibatkan oleh kecepatan ini. Kompleksitas biaya komprehensif seperti arsitektur desain, packaging canggih, dan proses manufaktur berarti bahwa untuk mencapai kapasitas HBM3E yang sama dengan DDR5, jumlah wafer yang dibutuhkan sekitar tiga kali lipat dari DDR5.

Micron kemudian merangkum parameter memori yang mendukung inovasi kecerdasan buatan, termasuk kinerja, kapasitas, dan konsumsi daya.

Tautan I/O yang lebih cepat dan lapisan antara yang lebih besar terus mendorong kemajuan teknologi SiP, termasuk desain I/O yang lebih cepat, SERDES yang dioptimalkan untuk memori dan PHY antar chip, serta perangkat optik co-packaged di sisi interkoneksi. SiP berukuran lebih besar berbasis teknologi seperti CoWoS-L dan CoWoS-R, serta substrat kaca, juga merupakan bagian dari jalur pengembangan teknologi packaging.

Sekarang mari kita bahas keandalan, termasuk interaksi paket chip dan tantangan RAS. Dalam perangkat HBM heterogen, ketidakcocokan koefisien ekspansi termal antar bahan yang berbeda menghasilkan tekanan termomekanik. Secara lebih makro, ini sebenarnya merupakan salah satu tantangan terbesar yang dihadapi dalam implementasi WSE Cerebras. EC C mencakup dua lapisan: pertama, HBM3, pada tingkat sistem, setiap akses 256 bit menggunakan 16 bit meta; kedua, Reed-Solomon berbasis simbol yang diimplementasikan di chip EC C.

Untuk mengendalikan panas, peningkatan aktivitas chip DRAM, ketinggian stack yang lebih tinggi, dan fitur dasar chip yang lebih canggih akan meningkatkan produksi panas. Micron menunjukkan bahwa pendinginan cair, hybrid bonding, serta peningkatan pada solder dan side mold adalah teknologi inovatif pendinginan yang diperlukan untuk mempertahankan ekspansi bandwidth dan kapasitas.

Tren pembungkusan tampaknya segera berakhir.

Secara keseluruhan, data ini menunjukkan bagaimana Micron Technology merespons perkembangan arsitektur memori di bidang kecerdasan buatan. Micron Technology sedang menimbang peningkatan bandwidth dan kapasitas HBM terhadap biaya packaging, pendinginan, dan keandalan yang timbul akibat menempatkan memori berkapasitas sebesar itu di samping unit komputasi.

Apa pendapat Anda tentang pergerakan HBM?

Artikel ini berasal dari akun WeChat "Observasi Industri Semikonduktor" (ID: icbank), penulis: Tim Redaksi