HBM4 ay nagtatatag muli ng AI hardware gamit ang mga inobasyon sa antas ng sistema

Patuloy na lumalago ang pangangailangan sa pag-train at pag-infer ng malalaking AI model, ang performance bottleneck ng compute chip ay naka-shift mula sa compute unit patungo sa memory bandwidth, at ang HBM high-bandwidth memory ay naging pangunahing hamon sa pag-unlad ng mga mataas-end na AI hardware. Sa HotChips2026 International Conference on Advanced Chip Technology, ang dalawang pinakamalaking manufacturer ng memory sa buong mundo—Samsung at SK Hynix—ay naglabas ng kanilang mga plano para sa pag-unlad ng HBM4, na nagbago sa tradisyonal na logic ng HBM upgrade na ginagamit ng industriya sa loob ng maraming taon.

Kumpara sa nakaraang pagtaas lamang ng bilis ng DRAM at bilang ng mga layer, ang bagong HBM4 architecture ay bumabangon sa tatlong pangunahing inobasyon: pag-upgrade sa logic process ng Base Die, hybrid bonding na 3D stacking, at EMIB heterogenous packaging. Sa likod ng teknikal na pag-unlad, ang HBM ay nagbabago mula sa isang simpleng memorya device patungo sa isang integrated system na “memorya + logic + packaging + IP + EDA”.

Sa mga nakaraang pag-update ng HBM3 at HBM3E, ang lohika ng teknikal na pag-unlad sa industriya ay relatibong patuloy, na nakatuon sa pangunahing pagpapabuti sa sariling DRAM memory chip, sa pamamagitan ng pagpapataas ng rate ng pagpapadala sa bawat chip, pagdaragdag ng bilang ng mga layer na nakakabond, at pagpapabuti sa istruktura ng micro-bump interconnect upang makamit ang patuloy na pagtaas ng kabuuang bandwidth. Sa ilalim ng sistema na ito, ang bottom Base Die ay naglalayong magbigay ng simpleng pagpapalit ng signal, pagkakabahagi ng kapangyarihan, at pagtutulong sa pagsubok, na naglalaro bilang pasibong tulay ng signal. Ang proseso arkitektura ay patuloy na gumagamit ng matatag na proseso na nagmula sa memorya, na hindi nangangailangan ng malawakang pag-update, at ang buong teknikal na hadlang at kawalan ng kapasidad para sa HBM product ay nakatuon lamang sa proseso ng paggawa ng DRAM.

Ngunit kasabay ng eksponensyal na pagtaas ng pangangailangan sa AI computing power, ang marginal benefit ng tradisyonal na iteratibong modelo ay mabilis na bumababa. Sa mga sitwasyon na nangangailangan ng sobrang mataas na bandwidth, ang pagpapabilis lamang ng DRAM ay nagdudulot ng malalaking signal crosstalk, pagtaas ng power consumption, at timing skew. Ang mga pagpapabuti sa dalawang dimensyon ay hindi na makakatugon sa mga malaking computing load. Para sa pangunahing hamon na ito sa industriya, sa kasalukuyang HotChips2026 conference, sinimulan nang pareho ng Samsung at SK Hynix ang mga bagong teknikal na ideya, at ipinakilala na ang pangunahing pag-usbong sa panahon ng HBM4 ay hindi na ang memory chip, kundi ang sistemikong pagbabago sa ilalim na Base Die.

Ang dalawang pangunahing manufacturer ay nagtatagpo ng malinaw na pagkakaiba sa kanilang teknikal na diskarte. Sa kanilang pagsasalita sa HotChips, inilahad ng Samsung na ang kanilang HBM4/HBM4E product ay gumagamit ng kanilang sariling 4nm logic process para sa Base Die, habang ang CDie ay gumagamit ng 1cDRAM node, na nagtatapos sa pinakamataas na pin rate na 11.7Gbps, na maaaring i-upgrade patungo sa 13Gbps, na nagbibigay ng single-stack bandwidth na hanggang 3.3TB/s. Sa pamamagitan ng mataas na densidad ng transistor mula sa logic process, ang Base Die ay maaaring i-integrate ang mas mataas na performance ng PHY circuit, signal error correction module, at power management unit, na nagpapabuti nang malaki sa signal integrity sa mataas na bilis at nalulutas ang timing disorder sa mataas na bandwidth. Samantala, malinaw sa disenyo ng arkitektura ng Samsung na ilalagay ang ilang memory control logic sa Base Die, na epektibong naglalabas ng silikon area sa GPU side, at nagbibigay ng espasyo para sa pagpapalawak ng compute units.

Ang SK Hynix ay gumagamit ng iteratibong modelo na batay sa pagkakasundo at pagtatrabaho nang magkakasama, at pumili na makipagtulungan sa TSMC, kung saan ang Base Die ay gumagamit ng 12nm logic process ng TSMC. Kumpara sa ganap na sariling logic architecture ng Samsung, mas pinapahalagahan ng solusyon ng SK Hynix ang stability sa mass production, at ginagawa ang pag-optimize ng power delivery network at thermal conduction structure ng Base Die upang makatugon sa mga pangangailangan sa pagpapawalang init at load ng 12 hanggang 16 layers ng ultra-high stacking architecture. Ang pagkakaiba sa estratehiya ng dalawang landas ay nangangahulugan na ang internal logic architecture ng Base Die sa HBM4 ay hindi na magkakatulad, at ang mga produkto ng iba’t ibang manufacturer ay bumubuo ng natural na pagkakaiba sa proseso, performance, at mga适用 na escenario, na nagdaragdag ng bagong antas ng hirap sa pag-angkop ng supply chain at pag-itera ng chip design.

Ang paglipat sa logika na proseso para sa Base Die ay nagdadala ng maraming benepisyo. Ang logika na proseso ay nagpapahintulot sa mas mataas na density ng transistor, na pinabuting ang signal integrity at kontrol ng kapangyarihan ng PHY circuit, na nagpapahintulot sa 2048-bit I/O width pagkatapos ng pagdoble ng HBM4. Samantala, ang sobrang sukat ng chip sa Base Die ay nagbibigay ng espasyo para sa compute-near-memory, kung saan ang HBM ay hindi na lamang isang container ng data, kundi maaaring magawa ang simpleng pre-processing ng data sa loob ng memory, na nagpapabawas sa presyon ng data movement sa arkitekturang von Neumann. Gayunpaman, ang gastos ay malaki rin: ang HBM ay hindi na isang produkto na maaaring tapusin ng buong loop ng tagagawa ng memory, kundi ang kapasidad ng logika foundry, kakayahan sa IP design, at cross-process co-simulation ay naging lahat mga limitasyon sa pagprodyus ng HBM. Kailangan ng mga tagagawa ng DRAM na magtrabaho nang malalim sa mga foundry ng logika, at ang cycle ng design, verification, at fabrication ay naging mas mahaba, habang ang kumplikadong supply chain ay dumoble.

Isang iba pang mahalagang signal mula sa HotChips2026, ang sistemang integrasyon at packaging ng HBM ay naglalakbay patungo sa pagkakaiba-iba, ang CoWoS ng TSMC ay hindi na ang tanging solusyon, ang mga mixed packaging solution ay umabot sa entablado, samantala ang teknolohiya ng internal bonding ay lumilipat patungo sa mixed bonding 3D stacking.

Kinumpirma ng SK Hynix sa kanilang talakayan na kasalukuyang tinataya ang Intel EMIB embedded silicon bridge technology para sa 2.5D system integration sa pagitan ng HBM4 at compute chip. Ang tradisyonal na CoWoS ay gumagamit ng isang malaking solid silicon interposer upang makapag-ugnay ng lahat ng mga signal sa pagitan ng GPU at HBM, na may mahusay na performance, ngunit ang gastos ng interposer ay mataas, at ang pagpapalawak ng kapasidad ay mahirap dahil sa limitasyon ng mask size ng lithography machine. Ang global na kapasidad ng CoWoS ay patuloy na nasa estado ng supply shortage, kung saan ang mga pangunahing kliyente ang unang nakakakuha ng kapasidad, habang ang iba pang mga kumpanya ay kailangang maghintay nang mahabang panahon para sa kanilang pagkakataon. Ang EMIB ay nagtatanggal ng buong silicon interposer at naglalagay lamang ng maliit na silicon bridge sa mga lokal na lugar kung saan nangyayari ang signal interaction, habang ang organic substrate ang nagsisilbing tagapagdala ng karamihan sa wiring, at ang lokal na silicon bridge ang nagpapadala ng mataas na density at mataas na bilis ng signal. Ang solusyong ito ay maaaring bawasan ang gastos sa packaging, lumabas sa limitasyon ng mask size, at magbigay-daan sa mas malaking scale ng multi-chip integration; ang Google TPU ay nagsama na ang EMIB sa kanilang listahan ng mga opsyon para sa kanilang susunod na henerasyon.

Gayon, ang EMIB ay hindi nangangahulugan ng direkta na pagpalit sa CoWoS. Ang lokal na silikon bridge ng EMIB ay mayroon pa ring pagkakaiba sa signal loss at power integrity kumpara sa buong silikon interposer sa mga sitwasyon na may napakataas na densidad ng signal. Ang posisyon ng SK Hynix ay gamitin ang EMIB bilang mahalagang komplemento, hindi bilang ganap na pagpalit. Ang mga high-end training chip ay patuloy na gagamitin ang CoWoS, habang ang mid- to high-end inference at high-performance accelerators ay maaaring gamitin ang EMIB upang mapabawasan ang presyon sa packaging capacity, at makabuo ng parehong dalawang ruta.

Sa loob ng HBM stack, o ang teknolohiya ng pagkakabond ng maraming layer ng DRAM die, kasalukuyang nasa transisyon mula sa MRMUF patungo sa hybrid bonding. Sa kasalukuyang panahon, ang mga produksyon na bersyon ng HBM4 ay patuloy na gumagamit ng MRMUF at TCNCF hot-press bonding, na gumagamit ng microbumps para sa inter-layer connectivity. Gayunpaman, habang tumataas ang bilang ng stack layers patungo sa 16 layers, ang pitch, thermal resistance, at power consumption ng microbumps ay dumadaan sa mga limitasyon sa pisikal. Ang hybrid bonding, kumpara sa MRMUF process, hindi lamang nagpapataas ng core chip thickness ng 24%, kundi nagpapaliit din ng TSV pitch sa ilalim ng 18 microns, at nagpapababa nang malaki ng thermal resistance ng 35% habang dinadagdagan ang bilang ng stack layers. Inaasahan na ang teknolohiyang ito ay magiging unang maiimplementa sa HBM5, na nakatuon sa ultra-high stacking ng 16 hanggang 20 layers at higit pa.

Gayunpaman, ang hybrid bonding ay kasalukuyang nasa pagsusuri sa maliit na skala; may mga hamon pa sa pagkontrol ng yield, gastos ng kagamitan, at paghawak ng thin wafers. Hindi ito magsisimulang makapag-apply sa malawakang komersyal hanggang 2026, at ang pangkalahatang inaasahan ng industriya ay ang pagdating ng mas malawakang paggamit ng hybrid bonding sa pagpapalit ng HBM4E at henerasyon ng HBM5 noong 2027 hanggang 2028.

Nagdulot ito ng isang napakakakaibang teknikal na transisyon sa kasalukuyang industriya ng HBM: Ang bagong henerasyon ng produkto na HBM4, ang external system integration ay nagsisimula na ng pag-aaral sa iba’t ibang pagkakabukod ng EMIB upang mapabawasan ang presyur sa kapasidad ng mataas-anteng pagpapakilos; habang ang internal DRAM stacking ay patuloy na sumusunod sa matatag na proseso ng thermal compression na MRMUF upang masiguro ang katatagan sa mass production, at ang hybrid bonding ay naglalayong magkaroon lamang ng pagsisikap sa paghahanda. Ang pagpapalaganap ng maraming teknikal na landas nang sabay-sabay, kasama ang pagkakasundo ng mga lumang at bagong proseso, ay nagpapalaki nang malaki ang kakaibang pagpili ng teknolohiya sa HBM4 sa kasalukuyan.

Bukod dito, ang thermal management ay naging pangunahing hamon sa pagbuo ng超高堆叠 HBM. Ang 16-layer stacking architecture ay nagdulot ng malaking pagtaas sa thermal load; ang pagkolekta ng init ay direktang nagdudulot ng pagbaba ng bandwidth at hindi makapagpapatakbo sa maximum na performance. Para sa problema na ito, ang dalawang kumpanya ay naglabas ng iba’t ibang solusyon: ang SK Hynix ay naglunsad ng IHBM na may built-in thermal component, kung saan inilalagay ang mataas na thermal conductivity at electrical insulation cooling component sa D2D PHY region ng HBM upang lumikha ng espesyal na thermal path, na maaaring bawasan ang thermal resistance ng higit sa 30% at mapabuti ang stability ng sistema; samantala, ang Samsung ay nagplano ng copper thermal via design para sa kanilang hinaharap na HBM5 product, na lutasin ang thermal challenge ng超高堆叠 mula sa hardware structure. Malinaw na ang limitasyon sa performance ng mga hinaharap na mataas na stacking HBM product ay hindi na nakadepende lamang sa bandwidth at speed specs, kundi direktang natutukoy ng kakayahan sa thermal management.

Ngayon, ang pangunahing hadlang sa HBM4 ay hindi lamang ang paggawa at pagpapakete, kundi napalawak na sa dalawang malakas na aspeto ng software: ang mga high-speed IP at ang heterogenous EDA toolchain, na naging pinakamadaling makalimutan ngunit pinakamahalagang punto sa industriya ngayon. Kasabay ng pagbaba ng HBM4 interface speed sa higit sa 9Gbps at pagdoble ng IO width, ang pagdisenyo ng high-speed PHY at SerDes interface IP ay tumataas sa exponential rate.

Hindi simpleng circuit design ang high-speed IP; kailangan ng malalim na pagpapadaptasyon sa mga karakteristik ng DRAM die, ang lohikal na arkitektura ng Base Die, at ang struktura ng pagkakabind ng packaging upang matapos ang joint simulation at debugging para sa signal integrity at power integrity. Sa kasalukuyan, ang mga mapagkukunan ng high-speed IP na HBM4 na may matatag na produksyon ay malawakang nakikita sa ilang mga dayuhang pangunahing kumpanya, na nagmamay-ari ng pangunahing merkado para sa IP na kasama sa mga pangunahing chip ng computing power dahil sa kanilang maraming taon ng pagpapatakbo. Para sa mga katamtamang at maliit na kumpanya sa pagdidisenyo ng computing power at mga bagong supplier sa supply chain, kung hindi sila makakakuha ng matatag na high-speed IP, hindi sila makakapagpapadaptasyo sa arkitektura ng HBM4, na direktang bumubuo ng mahigpit na hadlang sa pagsali sa industriya.

Samantay, ang kakulangan sa 3D heterogenous EDA tool chain ay nagpapalaki pa sa hirap na makapagpatupad ng HBM4. Ang HBM4 ay isang tipikal na multi-process, multi-die heterogenous integration system, kung saan ang logic substrate, memory stack, at silicon bridge/interposer packaging ay nasa iba’t ibang process systems; ang tradisyonal na 2D discrete EDA tools ay hindi kayang magawa ang cross-die, cross-process co-simulation. Sa 3D stacking scenario, ang electrical, thermal, at mechanical effects ay nagkakasalungatan, at ang anumang pagkakamali sa isang bahagi ay maaaring magdulot ng pagkabigo sa convergence ng buong disenyo.

Ang kasalukuyang pangunahing proseso ng disenyo sa industriya ay may malinaw na pagkakahiwalay: ang disenyo ng lohika ng frontend, ang pisikal na pagpapatupad sa middle-end, at ang pag-encapsulate at pag-simula ng data sa backend ay hindi makakapag-ugnay o magagamit muli, kaya mataas ang gastos sa pag-iterate. Ipinakita ng HotChips2026 na ang malawakang pagpapatupad ng HBM4 ay malalaking nakasalalay sa isang integrated 3DIC collaborative design toolchain na makakapagbigay ng koneksyon sa buong proseso mula sa disenyo, proseso, encapsulation, hanggang sa multi-physics simulation. Ang kakayahan ng EDA tools na magsesuot, at ang compatibility ng high-speed IP sa debugging, ay diretso na nakakaapekto sa yield at performance limit ng HBM4 sa mass production, at ito ang pangunahing teknikal na hadlang na hindi kayang laktawan ng mga maliit at katamtamang kumpanya sa kasalukuyan.

Sa kabuuan, ang konperensyang ito ay naglalarawan ng buong bagong landas ng pag-unlad ng HBM: ang pagtatapos sa tradisyonal na modelo ng pag-update ng hardware sa iisang punto, at ang pagpasok sa panahon ng kompetisyon sa sistema kung saan ang arkitektura, pakete, proseso, at ecosystem ng software at hardware ay nag-uunlad nang sabay-sabay. Ang mga iba’t ibang teknikal na landas ng Samsung at SK Hynix ay nagbago sa matagal nang standardisadong kalagayan ng industriya; ang pangmatagalang coexistence ng mga bagong at lumang proseso, ang paghahati-hati ng teknolohiya batay sa scenaryo, at ang pagtatagumpay sa system capability ay magiging pangunahing normal na kalagayan sa HBM sector sa susunod na 2-3 taon, at magbabago sa mga patakaran ng kompetisyon sa industriya ng AI storage.

Nakuha mula sa WeChat public account na “Semiconductor Industry纵横” (ID: ICViews), may-akda: Zihao