Samsung dan SK Hynix Berbeza dalam Strategi Reka Bentuk HBM

Di konvensi Hot Chips, Samsung dan SK Hynix setuju bahawa GPU, memori, fabrikasi wafer, dan pembungkusan mesti direka sebagai satu sistem. Sejak itu, penyelesaian mereka bercabang.

Samsung sedang mengubah chip dasar menjadi komponen aktif dalam sistem. Ia merancang untuk memindahkan pengawal memori dari GPU ke chip dasar logik, melepaskan 5–10% luas GPU untuk pengiraan tambahan dan berpotensi meningkatkan prestasi sebanyak 10–20%. Operasi AI pilihan juga boleh dijalankan di chip dasar untuk mengurangkan pergerakan data. Dalam jangka panjang, ia mendorong teknologi zHBM yang secara langsung menimbun GPU dan DRAM, dijangka mengurangkan penggunaan kuasa DRAM sebanyak kira-kira 70% sambil meningkatkan lebar pita lebih daripada dua kali ganda.

SK Hynix berfokus pada peningkatan tumpukan dan pengurusan masalah haba dan distorsi yang timbul. Ia mengesahkan bahawa tumpukan HBM4 12-lapisan telah memasuki peringkat pengeluaran, manakala versi 16-lapisan telah memasuki peringkat pengesahan pelanggan. Penggabungan hibrid adalah jalan menuju tumpukan 20-lapisan dan lebih tinggi, yang membolehkan penggunaan cip yang lebih tebal dan jarak yang lebih rapat. Kaedah iHBM-nya menambahkan laluan penghantaran haba khas di dalam kawasan paling panas tumpukan. Pertandingan ini tidak lagi semata-mata berkaitan dengan lebar pita dan kapasiti. Arkitektur cip asas dan pembungkusan canggih kini menjadi medan pertempuran yang menentukan.

Dalam ucapan Hot Chips 2026, Samsung Electronics melancarkan zHBM, bentuk evolusi akhir memori berpemandu tinggi. Konsep ini meninggalkan中介层 2.5D, menumpuk DRAM secara tegak di atas cip pengiraan seperti GPU, membentuk arsitektur integrasi 3D sejati, dengan matlamat mengurangkan penggunaan kuasa DRAM sebanyak 70% dan meningkatkan bandwidth sebanyak 2.3 kali berbanding HBM4E.

Samsung telah menetapkan peta jalan tiga tahap untuk mengubah chip dasar daripada saluran transmisi data pasif menjadi rakan pengiraan aktif. Tahap pertama memindahkan pengawal memori dari xPU ke chip dasar untuk menghemat luas silikon; tahap kedua menambahkan kemampuan ekspansi memori dan pengiraan perhatian ke chip dasar; tahap ketiga akhirnya mencapai zHBM.

Seterusnya, mari kita lihat penyelesaian Samsung.

Semasa ucapan berlaku insiden, mereka menunjukkan beberapa grafik yang memaparkan trend perkembangan HBM5 dari segi spesifikasi. Walaupun segala-galanya belum pasti, meninjau grafik di kanan atas juga menarik.

SSD HBM5 dengan kapasiti 60GB dan bandwidth 6TB/s sudah cukup baik. Mari kita hitung data spesifiknya. Dengan bandwidth 6 TB/s dan 2048 saluran, laju transmisi setiap pin adalah 23.5 Gbps. Laju paling canggih yang kita miliki saat ini adalah 16 Gbps, yang merupakan kemajuan besar, dan penggunaan nod logik canggih kemungkinan besar akan mencapai ini. Jika kapasiti setiap chip adalah 3 GB dengan kapasiti total 60 GB, maka ketinggian tumpukan akan menjadi 20 lapisan.

Pada slaid lain, Samsung mengesahkan kadar transmisi per pin HBM4E ialah 16 Gbps. Kiraan kami sebelum ini mengenai HBM5 juga telah disahkan dalam gambar di bawah.

Kelebihan jelas Samsung ialah ia memiliki cip logik buatan sendiri, manakala Micron dan SK Hynix perlu bekerjasama dengan pihak lain untuk mendapatkan cip tersebut. Samsung menekankan kelebihannya sendiri dan menjelaskan kepentingan cip tersuai. Samsung menghasilkan memori menggunakan proses 1C dan cip logik menggunakan proses 4nm, yang secara signifikan mengurangkan penggunaan kuasa cip. Gambar di bawah menggambarkan Micron secara sarkastik, yang menggunakan proses DRAM untuk menghasilkan cip logik dalam cip memori HBM4.

Lebih menarik lagi, seperti yang telah dinyatakan sebelum ini, Samsung membahagikan peta jalan produk kepada tiga peringkat dengan jelas. Kami akan membincangkan satu per satu.

Apabila terdapat nod logik di dalam substrat, luas fizikal modul HBM PHY berkurang dan kecekapan tenaga meningkat. Ini bermakna saiz modul antara chip yang menghubungkan HBM dan XPU akan lebih kecil. Ini mempunyai dua kelebihan:

Tingkatkan luas dalam XPU untuk melakukan lebih banyak pengiraan;

Tingkatkan luas permukaan yang tersedia untuk substrat HBM untuk mencapai fungsi yang lebih canggih.

Kekurangan yang dibawa oleh pengurangan saiz ialah ketumpatan haba kawasan-kawasan ini lebih tinggi. Menariknya, mereka memberikan saiz sebenar modul PHY dalam HBM generasi yang berbeza.

Samsung juga menyebut bahawa mereka tidak cenderung menggunakan UCIe dalam saluran D2D kerana UCIe lebih besar dan mempunyai penggunaan tenaga per bit yang lebih tinggi. Mereka menyatakan bahawa pelaksanaan PHY yang disesuaikan mereka memberikan prestasi yang lebih baik. Semasa beralih ke HBM5, mereka menunjukkan konsep blok laluan haba terintegrasi (HPB) untuk mendinginkan kawasan D2D PHY.

Kelebihan utama lain ialah pemindahan pengawal memori ke cip asas tersuai. Ini melepaskan ruang di cip XPU yang boleh digunakan untuk menggerakkan lebih banyak pemproses operasi titik terapung.

Kelebihan baharu dalam mengintegrasikan nod logik pada substrat ialah ia memungkinkan penerapan SRAM. Jika satu sel dalam stak DRAM rosak, maklumat dalam sel tersebut boleh disimpan sementara dalam SRAM, dan pengawal ingatan akan mencari maklumat tersebut dari SRAM, bukan dari sel DRAM yang rosak. SRAM boleh digambarkan sebagai buku nota simpanan, yang berfungsi seperti buku nota sementara untuk menyimpan data yang tidak boleh disimpan dalam sel DRAM yang rosak.

Menggunakan nod logik sebagai substrat bermakna bahawa jika saiz transistor lebih kecil, luas silikon yang digunakan untuk banyak fungsi semacam itu juga akan lebih kecil. Ruang yang dijimatkan boleh digunakan untuk pelbagai tujuan, seperti meningkatkan kebolehbaikkan, ketersediaan, dan kebolehrawatan (RAS), melakukan ujian, serta mengumpul data telemetri mengenai kesihatan/keadaan stak memori HBM. Mengingat bahawa data telemetri HBM merupakan faktor kedua terbesar yang menyebabkan kegagalan latihan, data telemetri HBM akan sangat berguna.

Jika masih ada ruang silikon yang tersisa, maka boleh dibina satu lagi. Pengawal pengembangan memori digunakan untuk menyambungkan tumpukan HBM lain di belakang tumpukan HBM pertama, atau memasukkan cip DRAM untuk mengembangkan memori.

Akhirnya, kerana transistor logik tersedia, mengapa tidak mengintegrasikan beberapa fungsi pengiraan juga pada substrat? Kelebihannya ialah pengiraan seperti mampatan matriks atau pengkodan boleh dilakukan di atas cip logik tanpa perlu meninggalkan substrat. Ini memberi kelebihan dari segi latensi dan kecekapan.

Jika semuanya berjalan lancar, secara teori ia boleh membina akselerator halus di sudut kanan bawah. Membuat gambar rajah seperti ini mudah, dan konsepnya juga menarik, tetapi peningkatan prestasi sebenarnya masih diragukan.

Tahap terakhir ialah menggunakan cip substrat tersuai dan HBM, kemudian menimbunnya di atas cip logik. Jarak antara cip pengiraan dan cip memori sangat pendek, oleh itu bit data hanya perlu dipindahkan dalam jarak yang lebih pendek, yang meningkatkan kecekapan tenaga dan meningkatkan lebar pita memori kerana lebih banyak laluan data selari boleh digunakan di dalam kawasan cip (bukan hanya di hadapan cip).

Semuanya tidak mudah, tetapi penting bagi syarikat untuk membuat peta jalan peningkatan teknologi. Ini menunjukkan keyakinan mereka dalam melancarkan produk yang lebih baik di masa depan, yang merupakan perkara baik bagi syarikat tersebut. Mengenai sama ada pasaran bersedia menerima produk ini, itu adalah perkara lain.

Pada 23 Ogos, dalam ucapan di Hot Chips 2026, Jaesik Lee, Timbalan Presiden Kejuruteraan Pembungkusan, SK Hynix America, menyatakan bahawa SK Hynix menganggap teknologi hybrid bonding tidak mampu memenuhi keperluan HBM4E, yang akan menunda peralihan pembungkusan memori yang paling dinanti-nantikan dalam industri sehingga paling awal HBM5.

Seperti yang dinyatakan, masalahnya ialah ketebalan keseluruhan kubus HBM dibatasi pada 775 mikrometer—ketebalan standard wafer logik 300 mm—oleh itu, setiap penambahan lapisan DRAM mesti menggunakan cip yang lebih nipis dan jurang yang lebih sempit. HBM4 padat 16-lapisan yang sedang dalam pengesahan pelanggan (kapasiti 48GB per kubus, berbanding HBM4 padat 12-lapisan yang sudah dihasilkan secara komersial) telah mengurangkan ketebalan cip inti kepada sekitar 50 mikrometer dan mengurangkan separuh jurang antara cip. Pidato Lee juga memberikan butiran mengenai arsitektur pendingin iHBM yang dilancarkan tiga bulan selepas pengumuman pada bulan Mei. Lee menjelaskan bahawa arsitektur ini mempunyai sekatan, iaitu modul penyejukan tidak boleh digunakan pada sebarang produk HBM yang sudah direka.

JED EC Standard HBM4 meningkatkan had ketebalan paket dari 720 mikrometer yang digunakan dalam HBM3E menjadi 775 mikrometer, yang membantu meringankan tekanan yang ditimbulkan oleh teknologi hybrid bonding. Lee menyatakan bahawa semasa pemasangan cold plate, chip logik dan lapisan tumpukan memori dipotong sebahagian untuk memaparkan silikon telanjang. Kerana ketebalan wafer logik adalah 775 mikrometer, jika ketinggian chip memori ditambah sedikit lagi, ia akan melebihi ketinggian pemproses di sampingnya. “Ini adalah had maksimum yang boleh kita tingkatkan pada masa ini, kerana ketebalan wafer logik juga 775 mikrometer,” kata Lee.

Cip yang lebih nipis bermaksud nisbah lapisan oksida dalam tumpukan lebih tinggi, dan lapisan oksida mempunyai kekonduksian haba yang jauh lebih rendah berbanding silikon. Selain itu, kelajuan pin meningkat dari 1 Gbps pada HBM awal kepada 8 Gbps pada HBM4, menyebabkan penggunaan kuasa yang lebih tinggi dalam kawasan yang sama. Data sendiri SK Hynix menunjukkan bahawa beban haba purata 2.2 kali lebih tinggi di antara generasi HBM yang ditunjukkan, dan jumlah lapisan tumpukan berlipat ganda setiap dua generasi.

Proses MR-MUF (mass reflow mold underfill) syarikat tersebut, yang mengangkat dan menempatkan semua cip serta menyambungkannya dalam satu proses reflow, telah mengorbankan keuntungan: menurut Lee, pengisian yang mengurangkan separuh jurang sambil mengawal distorsi cip kurang daripada 50 mikrometer merupakan cabaran utama pembuatan 16-Hi.

Pada Mei tahun lalu, Samsung secara terbuka berjanji akan menggunakan teknologi hybrid bonding untuk menghasilkan HBM4, manakala SK Hynix menjadikan teknologi copper-to-copper bonding sebagai pilihan alternatif untuk teknologi MR-MUF canggih. Selepas itu, JED EC Hadapan ketebalan telah dilonggarkan, menjadikan teknik ikatan hibrid bukan lagi keperluan utama. Semasa ini, industri sedang membincangkan peningkatan ketebalan susunan 20 lapisan kepada 825 hingga 900 mikrometer, yang akan menangguhkan lagi penggunaan teknik ikatan tembaga.

Pada bulan Mac, para pakar industri menyatakan bahawa SK Hynix telah mengeluarkan pesanan pertama untuk penggabungan hibrid dalam skala besar, satu sistem garis tunggal bernilai sekitar 20 bilion won Korea (15 juta dolar AS) yang menggabungkan alat dari Applied Materials dan Besi. Counterpoint Research menganggarkan bahawa teknologi ini akan memasuki peringkat penghasilan HBM sepenuhnya pada sekitar tahun 2029 hingga 2030 dengan pelancaran HBM5.

Menurut peta jalan SK Hynix, teknologi hybrid bonding masih berada dalam peringkat pengembangan dan sesuai untuk struktur bertingkat 20 lapisan ke atas. SK Hynix masih menentukan produk mana yang akan menerapkan teknologi ini terlebih dahulu. Tuan Li tidak mengungkapkan generasi produk tertentu, tetapi setelah menyingkirkan HBM4E, HBM5 kemungkinan besar akan menjadi model pertama yang menerapkan teknologi ini. Teknologi ini menghubungkan pad tembaga rata dan permukaan oksida pada suhu ruang, kemudian memanfaatkan ekspansi termal tembaga semasa proses pengerasan untuk membentuk ikatan.

“Proses yang kelihatan ringkas ini sebenarnya sangat mencabar,” kata Lee. “Kami memerlukan 16 lapisan atau bahkan 20 lapisan untuk mencapai ikatan campuran, yang berbeza sama sekali dengan susunan lapisan tunggal.” Penghapusan sepenuhnya mikro-bump membolehkan cip inti menjadi 24% lebih tebal pada ketinggian 20 lapisan, mengurangkan rintangan haba sebanyak kira-kira 35% berbanding MR-MUF dengan ketinggian yang sama, dan jarak bump (berdasarkan gambar lapisan cip) boleh kurang daripada 18 mikrometer, manakala jarak semasa MR-MUF ialah 30 mikrometer. Di bawah jarak bump HBM4, mikro-bump tradisional masih sesuai, dan setiap JED EC Semasa meningkatkan had ketebalan, MR-MUF masih mampu mengekalkan kelayakannya dan diteruskan ke produk generasi seterusnya.

Konsep iHBM memasukkan blok penghantar haba dan penginsul ke dalam kawasan PHY antara chip pada cip asas (permukaan panas di titik ketumpatan kuasa tertinggi), diklaim dapat mengurangkan rintangan haba sebanyak lebih 30%.

Slaid Li secara langsung membandingkan iHBM dengan solusi Heat Path Block milik Samsung. Heat Path Block Samsung mengalirkan haba dari tumpukan cip melalui tiang penyejuk khas, manakala reka bentuk semula litar dasar cip Micron mengklaim peningkatan kecekapan sebanyak lebih 20%. Ketiga-tiga ini adalah pernyataan pengeluar, dengan ukuran yang berbeza. Reka bentuk SK Hynix dan Samsung direncanakan untuk digunakan dalam HBM5, tetapi dijangka tidak akan diproduksi secara besar-besaran sebelum 2028. Li menyatakan bahawa kerana modul-modul ini berada di dalam paket bersama cip D2D PHY, ia perlu dioptimumkan mengikut reka bentuk pelanggan dan tidak boleh diterapkan pada generasi cip yang sudah direka, menjadikan iHBM sebagai kerja reka bentuk bersama. "Ini adalah pilihan yang boleh kita lakukan dengan baik, tetapi kita tidak boleh menerapkannya pada generasi cip yang sudah kita reka."

Dalam sesi soal jawab, Tanj Bennett dari SemiAnalysis menunjukkan bahawa peningkatan ketinggian tumpukan memori akan mengurangkan throughput silikon itu sendiri. Semasa DRAM beroperasi pada peringkat sel, throughputnya kira-kira 20 TB/s setiap cm²; manakala tumpukan setinggi 20 lapisan mempunyai throughput maksimum kira-kira 4 TB/s, dan kapasiti pengeluaran yang diperlukan untuk HBM jauh lebih tinggi berbanding DDR5 atau LPDDR dengan spesifikasi yang sama. “Apabila ketinggian tumpukan mencapai 20 lapisan, purata kelajuan memori ini sebenarnya lebih perlahan daripada DDR5,” kata Bennett, “Mengapa tidak memanfaatkan ketinggian tumpukan HBM dengan meletakkan memori yang lebih murah di sekelilingnya secara bijak?”

Li menjawab bahawa beban latihan memerlukan both bandwidth dan kapasiti, kemudian menambahkan bahawa proses inferens boleh menyeimbangkan keduanya dengan menyimpan cache kunci-nilai dalam memori berbandwidth tinggi sambil mengalihkan sebahagian kerja ke memori LPDDR. Teknik pemisahan ini telah digunakan dalam produk seperti platform Vera Rubin milik NVIDIA, yang secara khusus menggabungkan LPDDR5X dan HBM4 melalui protokol NVLink-C2C untuk tujuan ini. Selain itu, spesifikasi flash berbandwidth tinggi yang dikembangkan bersama oleh SK Hynix dan SanDisk memperluaskan konsep bertingkat ini ke dalam flash NAND.

Li berkata mengenai skema bertingkat: "Ini juga merupakan perkara yang perlu kami pertimbangkan di masa depan." Menurut laporan pada Januari, SK Hynix memperoleh pesanan sekitar 70% untuk cip HBM generasi Vera Rubin dari NVIDIA, yang kesemuanya akan menggunakan teknologi MR-MUF. Li menyatakan bahawa syarikat belum membuat keputusan mengenai produk mana yang akan mula menggunakan teknologi MR-MUF.

Dalam ucapan tersebut, Micron akan membincangkan struktur memori yang terus berkembang dalam bidang kecerdasan buatan. Diketahui, Micron akan menjelaskan secara terperinci bagaimana memori berpemandu tinggi dan teknologi pembungkusan canggih menjadi asas dalam reka bentuk sistem kecerdasan buatan.

Pembicaraan Micron bermula dengan teori terkini mengenai kecekapan pengiraan OpenAI, menjelaskan mengapa memori penting untuk penskalaan model bahasa. Micron menunjukkan hubungan kuasa antara saiz model, saiz set data, dan pengiraan latihan, dan berpendapat bahawa ketiga-tiga faktor ini mesti dipertingkatkan secara serentak untuk meningkatkan prestasi model bahasa. Memori adalah sumber kunci yang menghubungkan ketiga-tiga faktor ini.

Sekarang, mari kita bicarakan tentang bottleneck memori. Micron menyatakan bahawa TFLOPS (kemampuan pengiraan titik terapung) untuk akselerator AI meningkat sebanyak tiga kali ganda setiap dua tahun, manakala lebar pita memori tambahan 2.5D (seperti HBM) meningkat kurang daripada dua kali ganda setiap dua tahun. Kesenjangan yang semakin melebar ini adalah sebab utama mengapa teknologi memori menjadi faktor pengekangan utama kepada prestasi sistem AI.

Micron menempatkan HBM sebagai jambatan antara pengiraan dan memori, serta memantau peningkatan kapasiti, lebar pita, dan kecekapan tenaga dari generasi HBM2e hingga HBM5. Anda perlu benar-benar menghargai mesyuarat teknikal tanpa label paksi-Y ini.

Di sini, Micron memaparkan satu GPU klasik dengan luas pakej melebihi 12,000 milimeter persegi, termasuk cip asas dan lapan contoh HBM4. Ini bermakna, apabila menggunakan 12 lapis HBM4, luas cip memori boleh melebihi 8 kali luas cip GPU sendiri. Ini memang pemaparan yang sangat intuitif.

HBM meningkatkan had lebar pita memori, mengubah sempadan had memori, membolehkan beban kerja AI yang padat memori berjalan lebih pantas sebelum mencapai had memori.

Pembicaraan Micron kini memberikan perincian mendalam mengenai apa itu HBM dan perkembangan setiap generasi HBM. Jadual produk menunjukkan evolusi dari HBM1 hingga HBM4. Setiap generasi HBM meningkatkan kadar data, bilangan pseudo-channel, dan ketinggian tumpukan, untuk memberikan lebar pita yang lebih tinggi dan kapasiti yang lebih besar.

Cara pemasangan HBM adalah seperti yang biasa EC Berbeza dengan C RDIMM. Gambar di bawah menunjukkan bagaimana tumpukan HBM diintegrasikan dengan GPU atau akselerator dalam sistem integrasi heterogen, dan dikemas dalam bentuk sistem dalam paket (SiP), bukan sebagai modul slot berasingan. Saya rasa banyak orang di STH telah melihat reka bentuk ini sebelum ini.

Setiap cip DRAM mengandungi beberapa saluran bebas, setiap saluran mempunyai dua pseudo-saluran, HBM3E membawa 128 bank per cip, manakala HBM4 menggandakan jumlahnya kepada 256 bank. Cip dasar terletak di antara hos dan susunan DRAM, dengan PHY micro-bump di sisi hos dan PHY 3D TSV di sisi susunan, yang disambungkan melalui perantara titik-ke-titik ketumpatan tinggi, meningkatkan IO daripada 1K pada HBM3E kepada 2K pada HBM4.

Micron kini menunjukkan kompromi antara prestasi dan kapasiti. Namun, mereka tidak benar-benar menunjukkan perbezaan antara luas PCB dan penggunaan kuasa di sini. Mungkin ini akan ditunjukkan dalam slaid seterusnya?

Micron kini memperhatikan kos wafer yang dibawa oleh kelajuan ini. Kompleksiti reka bentuk arsitektur, pembungkusan canggih, dan proses pembuatan bermakna bahawa jumlah wafer yang diperlukan untuk mencapai kapasiti HBM3E yang sama dengan DDR5 adalah kira-kira tiga kali ganda DDR5.

Micron kemudian merumuskan dalam ucapan itu parameter memori yang menyokong inovasi kecerdasan buatan, termasuk prestasi, kapasiti, dan penggunaan kuasa.

Laluan I/O yang lebih pantas dan lapisan antara yang lebih besar terus mendorong kemajuan teknologi SiP, termasuk reka bentuk I/O yang lebih pantas, SERDES yang dioptimakan untuk memori dan PHY antara cip, serta peranti optik yang dipasang bersama di sisi sambungan. SiP berukuran lebih besar berdasarkan teknologi seperti CoWoS-L dan CoWoS-R, serta substrat kaca, juga merupakan sebahagian daripada jalan perkembangan teknologi pembungkusan.

Sekarang kita akan membahas kebolehpercayaan, termasuk interaksi paket cip dan cabaran RAS. Dalam peranti HBM yang diintegrasikan secara heterogen, ketidaksepadanan pekali pengembangan termal antara bahan yang berbeza menghasilkan tekanan termomekanik. Sebenarnya, dari sudut pandang yang lebih luas, ini merupakan salah satu cabaran terbesar yang dihadapi dalam proses pelaksanaan WSE Cerebras. EC C cakupan dibahagikan kepada dua lapisan: pertama, HBM3, pada aras sistem, setiap akses 256 bit menggunakan 16 bit meta; kedua, Reed-Solomon berdasarkan simbol yang diimplementasikan di atas cip EC C.

Untuk mengawal haba, peningkatan aktiviti cip DRAM, ketinggian susunan yang lebih tinggi, dan fungsi asas cip yang lebih canggih akan meningkatkan penghasilan haba. Micron menunjukkan bahawa penyejukan cecair, pengikatan hibrid, serta peningkatan pada timah dan cetakan sisi adalah teknologi inovatif penghawaan yang diperlukan untuk mempertahankan pengembangan lebar pita dan kapasiti.

Tren pengemasan kelihatannya akan segera berakhir.

Secara keseluruhan, data ini menunjukkan bagaimana Micron Technology menangani perkembangan arsitektur memori dalam bidang kecerdasan buatan. Micron Technology sedang menimbang peningkatan bandwidth dan kapasiti HBM berbanding kos pakej, pengurusan haba, dan kebolehpercayaan yang timbul apabila meletakkan memori berkapasiti sebesar ini bersebelahan unit pengiraan.

Apa pendapat anda mengenai pergerakan HBM?

Artikel ini berasal daripada akaun微信公众号 "Pengamatan Industri Semikonduktor" (ID: icbank), penulis: Jawatankuasa Penyunting