सैमसंग और एसके हाइनिक्स एचबीएम डिजाइन रणनीतियों में अलग पथ अपना रहे हैं

हॉट चिप्स कॉन्फ्रेंस में, सैमसंग और एसके हाइलेट दोनों ने सहमति व्यक्त की कि GPU, मेमोरी, वेफर फैब्रिकेशन और पैकेजिंग को एक सिस्टम के रूप में डिज़ाइन किया जाना चाहिए। उसके बाद से, उनके समाधान अलग-अलग दिशा में बढ़ने लगे।

सैमसंग बेसिक चिप को सिस्टम का एक सक्रिय हिस्सा बनाने जा रहा है। यह मेमोरी कंट्रोलर को GPU से लॉजिक बेस चिप पर ले जाने की योजना बना रहा है, जिससे GPU के क्षेत्रफल का 5–10% अधिक कैलकुलेशन के लिए मुक्त होगा और प्रदर्शन में 10–20% की वृद्धि संभव हो सकती है। चयनात्मक AI ऑपरेशन बेस चिप पर भी चलाए जा सकते हैं, ताकि डेटा स्थानांतरण कम हो। दीर्घकालिक रूप से, यह zHBM तकनीक को आगे बढ़ा रहा है, जिसमें GPU और DRAM को सीधे स्टैक किया जाता है, जिससे DRAM की उपभोग्यता में लगभग 70% की कमी और बैंडविड्थ में दोगुनी से अधिक वृद्धि की उम्मीद है।

SK हाइलेक्स उच्चतर स्टैकिंग पर ध्यान केंद्रित करता है और इससे उत्पन्न गर्मी और विकृति की समस्याओं का प्रबंधन करता है। यह पुष्टि करता है कि HBM4 12-लेयर स्टैकिंग उत्पादन चरण में प्रवेश कर चुकी है, जबकि 16-लेयर संस्करण ग्राहक सत्यापन चरण में है। मिक्स्ड बॉन्डिंग 20-लेयर और उससे अधिक स्टैकिंग का मार्ग है, जो अधिक मोटे चिप और अधिक संकीर्ण पिच की अनुमति देता है। इसकी iHBM पद्धति स्टैक के सबसे गर्म क्षेत्रों के भीतर एक विशेष ऊष्मा संवहन पथ जोड़ती है। यह प्रतिस्पर्धा अब केवल बैंडविड्थ और क्षमता के बारे में नहीं है। आधारभूत चिप आर्किटेक्चर और उन्नत पैकेजिंग निर्णायक मैदान बन रहे हैं।

2026 के Hot Chips सम्मेलन में, सैमसंग इलेक्ट्रॉनिक्स ने zHBM का अनावरण किया, जो हाई बैंडविड्थ मेमोरी का अंतिम विकास है। यह अवधारणा 2.5D इंटरपोजिटर को छोड़ देती है और DRAM को GPU जैसे कॉम्प्यूटिंग चिप्स के ऊपर ऊर्ध्वाधर ढेर करती है, जिससे वास्तविक 3D एकीकरण आर्किटेक्चर बनता है, जिसका लक्ष्य DRAM की उपभोग्यता में 70% की कमी और HBM4E की तुलना में बैंडविड्थ में 2.3 गुना वृद्धि करना है।

सैमसंग ने एक तीन-चरणीय रोडमैप तैयार किया है, जिसके तहत बेस चिप को निष्क्रिय डेटा ट्रांसमिशन चैनल से सक्रिय कॉम्प्यूटिंग पार्टनर में बदला जाएगा। पहला चरण में, मेमोरी कंट्रोलर को xPU से बेस चिप पर स्थानांतरित किया जाएगा, ताकि सिलिकॉन क्षेत्रफल बचाया जा सके; दूसरा चरण में, बेस चिप को मेमोरी एक्सटेंशन और ध्यान केंद्रित कॉम्प्यूटिंग क्षमता प्रदान की जाएगी; तीसरा चरण अंततः zHBM को हासिल करेगा।

अब, हम सैमसंग के समाधान पर नजर डालते हैं।

स्पीच में दुर्घटना के बाद, उन्होंने कुछ ग्राफ़ प्रस्तुत किए जो HBM5 के स्पेसिफिकेशन में विकास की प्रवृत्ति दिखाते हैं। हालांकि सब कुछ अभी निश्चित नहीं है, लेकिन दाएं ऊपरी कोने के ग्राफ़ को देखना दिलचस्प है।

60GB क्षमता और 6TB/s बैंडविड्थ वाला HBM5 SSD बहुत अच्छा होगा। आइए विस्तार से डेटा की गणना करते हैं। 6 TB/s की बैंडविड्थ और 2048 चैनल का अर्थ है कि प्रत्येक पिन की ट्रांसमिशन दर 23.5 Gbps है। हमारी वर्तमान सबसे उन्नत गति 16 Gbps है, जो एक विशाल प्रगति है, और उन्नत लॉजिक नोड का उपयोग करके इसे संभव बनाया जा सकता है। यदि प्रत्येक चिप की क्षमता 3 GB है और कुल क्षमता 60 GB है, तो स्टैकिंग ऊंचाई 20 स्तर होगी।

एक अन्य स्लाइड में, सैमसंग ने HBM4E की एकल पिन ट्रांसमिशन रेट 16 Gbps के रूप में पुष्टि की। हमारे पिछले HBM5 की गणना नीचे दिए गए चित्र में सत्यापित की गई है।

सैमसंग का स्पष्ट लाभ इस बात में है कि इसके पास स्वयं विकसित लॉजिक चिप है, जबकि माइक्रोन और एसके हाइलेस इस चिप को प्राप्त करने के लिए दूसरों के साथ सहयोग करते हैं। सैमसंग यहां अपने लाभ पर जोर देता है और कस्टम चिप के महत्व की व्याख्या करता है। सैमसंग 1C प्रक्रिया का उपयोग मेमोरी के लिए और 4nm प्रक्रिया का उपयोग लॉजिक चिप के लिए करता है, जिससे चिप की बिजली की खपत में काफी कमी आती है। नीचे का चित्र माइक्रोन की निंदा करता है, जो HBM4 मेमोरी चिप में लॉजिक चिप के लिए DRAM प्रक्रिया का उपयोग करता है।

और जैसा कि पहले बताया गया है, सैमसंग अपनी उत्पाद रोडमैप को स्पष्ट रूप से तीन चरणों में विभाजित करता है। हम इन्हें एक-एक करके पेश करेंगे।

जब बेसपेपर में लॉजिक नोड होते हैं, तो HBM PHY मॉड्यूल का भौतिक क्षेत्रफल कम हो जाता है और ऊर्जा कुशलता बढ़ जाती है। इसका अर्थ है कि HBM और XPU को जोड़ने वाले चिप-बीच मॉड्यूल का आकार छोटा होगा। इसके दो लाभ हैं:

अधिक गणना के लिए XPU में क्षेत्रफल बढ़ाएं;

अधिक उन्नत कार्यों को सक्षम करने के लिए HBM सबस्ट्रेट के उपलब्ध क्षेत्र में वृद्धि करें।

आकार में कमी का नुकसान यह है कि इन क्षेत्रों में तापीय घनत्व अधिक होता है। दिलचस्प बात यह है कि वे विभिन्न पीढ़ियों के HBM में PHY मॉड्यूल के वास्तविक आकार प्रदान करते हैं।

सैमसंग ने यह भी उल्लेख किया कि वे D2D लिंक में UCIe का उपयोग नहीं करना पसंद करते हैं, क्योंकि UCIe का आकार बड़ा है और प्रति बिट ऊर्जा खपत अधिक है। उन्होंने कहा कि उनका कस्टम PHY इम्प्लीमेंटेशन अधिक कुशल है। HBM5 पर स्थानांतरित होते समय, उन्होंने D2D PHY क्षेत्र को ठंडा करने के लिए इंटीग्रेटेड थर्मल पाथ ब्लॉक (HPB) की अवधारणा प्रस्तुत की।

एक अन्य प्रमुख लाभ मेमोरी कंट्रोलर अनलोडिंग है, जिसे XPU से कस्टम बेस चिप पर स्थानांतरित किया जा सकता है। इससे XPU चिप पर स्थान मुक्त होता है, जिसे अधिक फ्लोटिंग-पॉइंट ऑपरेशन प्रोसेसर्स को संचालित करने के लिए उपयोग किया जा सकता है।

सब्सट्रेट पर लॉजिक नोड्स के एकीकरण का नया लाभ SRAM को सक्षम करना है। यदि DRAM स्टैक में कोई सेल क्षतिग्रस्त हो जाता है, तो उस सेल में संग्रहीत जानकारी को SRAM में अस्थायी रूप से संग्रहीत किया जा सकता है, और मेमोरी कंट्रोलर उन जानकारियों को क्षतिग्रस्त DRAM सेल से नहीं, बल्कि SRAM से ढूंढता है। SRAM को एक बैकअप नोटबुक के रूप में कल्पना की जा सकती है, जो एक अस्थायी नोटबुक की तरह काम करता है, जिसमें उन डेटा को संग्रहीत किया जाता है जिन्हें क्षतिग्रस्त DRAM सेल में संग्रहीत नहीं किया जा सकता।

लॉजिक नोड्स को सबस्ट्रेट के रूप में उपयोग करने का अर्थ है कि यदि ट्रांजिस्टर आकार छोटे हैं, तो इन कई कार्यों के लिए उपयोग की जाने वाली सिलिकॉन की मात्रा भी कम होगी। बचत हुई जगह को कई उद्देश्यों के लिए उपयोग किया जा सकता है, जैसे कि RAS (उपलब्धता, सुधारयोग्यता और रखरखाव), परीक्षण, और HBM मेमोरी स्टैक की स्वास्थ्य/अवस्था के बारे में टेलीमेट्री डेटा एकत्र करना। चूंकि HBM टेलीमेट्री डेटा प्रशिक्षण विफलता का दूसरा सबसे बड़ा कारण है, इसलिए HBM टेलीमेट्री डेटा बहुत उपयोगी होगा।

यदि अभी भी सिलिकॉन क्षेत्र शेष है, तो एक और बनाया जा सकता है। मेमोरी एक्सपेंशन कंट्रोलर का उपयोग पहले HBM स्टैक के बाद एक अन्य HBM स्टैक को जोड़ने या मेमोरी को विस्तारित करने के लिए DRAM चिप्स को इंसर्ट करने के लिए किया जाता है।

अंत में, चूंकि लॉजिक ट्रांजिस्टर उपलब्ध हैं, तो बेस पर कुछ कैलकुलेशन कार्यों को क्यों नहीं एकीकृत किया जाए? इसका लाभ यह है कि मैट्रिक्स संपीड़न या कोडिंग जैसे कैलकुलेशन लॉजिक चिप पर पूरे हो सकते हैं, बिना बेस से बाहर निकले। इससे लेटेंसी और दक्षता दोनों में लाभ होता है।

यदि सब कुछ सही ढंग से चलता है, तो सिद्धांत रूप से दाहिने नीचे के उस सूक्ष्म त्वरक को बनाया जा सकता है। ऐसा ब्लॉक आरेख बनाना आसान है और अवधारणात्मक रूप से दिलचस्प है, लेकिन इसका वास्तविक प्रदर्शन सुधार महत्वपूर्ण है या नहीं, यह संदेहास्पद है।

अंतिम चरण में कस्टम बेसबोर्ड चिप और HBM का उपयोग किया जाता है और इसे लॉजिक चिप के ऊपर स्टैक किया जाता है। कैलकुलेशन चिप और मेमोरी चिप के बीच की दूरी बहुत कम होती है, इसलिए डेटा बिट्स को केवल छोटी दूरी पर ही ट्रांसमिट करना पड़ता है, जिससे ऊर्जा कुशलता में सुधार होता है और चिप के क्षेत्र में (केवल चिप के सामने के किनारे पर नहीं) अधिक समानांतर डेटा पथों का उपयोग करने से मेमोरी बैंडविड्थ में वृद्धि होती है।

यह सब आसान नहीं है, लेकिन कंपनी के लिए तकनीकी सुधारों का रोडमैप तैयार करना अत्यंत महत्वपूर्ण है। इससे यह स्पष्ट होता है कि वे भविष्य में बेहतर उत्पाद लॉन्च करने में आत्मविश्वास रखते हैं, जो कंपनी के लिए एक अच्छी बात है। बाजार क्या इस उत्पाद को स्वीकार करने के लिए तैयार है, यह एक अलग मुद्दा है।

8 अगस्त, 2026 को हॉट चिप्स कॉन्फ्रेंस में SK हाइलिस अमेरिका के पैकेजिंग इंजीनियरिंग वाइस प्रेसिडेंट ली जेसिक (Jaesik Lee) ने कहा कि SK हाइलिस का मानना है कि मिक्स्ड बॉन्डिंग तकनीक HBM4E की आवश्यकताओं को पूरा नहीं कर पाएगी, जिससे उद्योग के सबसे अधिक इंतजार किए जा रहे मेमोरी पैकेजिंग स्थानांतरण को HBM5 तक प्रतीक्षा करनी पड़ सकती है।

जैसा कि उन्होंने वर्णित किया, समस्या यह है कि HBM क्यूब की कुल मोटाई 775 माइक्रोमीटर तक सीमित है—यह 300 मिमी लॉजिक वेफर की मानक मोटाई है—इसलिए, प्रत्येक अतिरिक्त DRAM परत के लिए अधिक पतले चिप और संकीर्ण अंतराल की आवश्यकता होती है। वर्तमान में ग्राहक प्रमाणन के लिए चल रही 16-परत उच्च घनत्व HBM4 (एकल क्यूब क्षमता 48GB, जबकि 12-परत उच्च घनत्व HBM4 पहले से ही बड़े पैमाने पर उत्पादित हो रही है) इसके कोर चिप की मोटाई को लगभग 50 माइक्रोमीटर तक कम कर देती है और चिप के बीच के अंतराल को आधा कर देती है। ली के संबोधन में 5 महीने में जारी किए गए iHBM शीतलन आर्किटेक्चर का भी विस्तार से वर्णन किया गया। ली ने स्पष्ट किया कि इस आर्किटेक्चर में एक सीमा है, जिसके अनुसार, शीतलन मॉड्यूल किसी भी ऐसे HBM उत्पाद पर लागू नहीं किया जा सकता है जो पहले से ही डिज़ाइन में है।

JED EC HBM4 मानक ने HBM3E से लागू 720 माइक्रोमीटर की पैकेजिंग मोटाई सीमा बढ़ाकर 775 माइक्रोमीटर कर दी है, जिससे मिक्स्ड बॉन्डिंग तकनीक के उपयोग से उत्पन्न दबाव कम हुआ है। ली ने कहा कि GPU पैकेज को कूलिंग प्लेट लगाते समय, लॉजिक चिप और मेमोरी स्टैक दोनों को कुछ हद तक पीस दिया जाता है ताकि खुला सिलिकॉन उभर आए। चूंकि लॉजिक वेफर की मोटाई 775 माइक्रोमीटर है, अगर मेमोरी चिप की ऊंचाई थोड़ी और बढ़ गई, तो यह पास के प्रोसेसर से ऊंचा हो जाएगा। “यही हमारे पास अभी तक बढ़ाने की सीमा है, क्योंकि लॉजिक वेफर की मोटाई भी 775 माइक्रोमीटर है,” ली ने कहा।

अधिक पतले चिप का अर्थ है कि स्टैकिंग परतों में ऑक्साइड परतों का अनुपात अधिक होता है, और ऑक्साइड की ऊष्मा चालकता सिलिकॉन की तुलना में काफी कम होती है। इसके अलावा, पिन स्पीड 1 Gbps से बढ़कर HBM4 पर 8 Gbps हो गई है, जिससे समान क्षेत्रफल में अधिक शक्ति की आवश्यकता होती है। SK हाइलेक्स के स्वयं के डेटा के अनुसार, दर्शाई गई HBM की प्रत्येक पीढ़ी में तापीय भार औसतन 2.2 गुना अधिक है, और परतों की संख्या हर दो पीढ़ियों में दोगुनी हो जाती है।

इस कंपनी की बड़े पैमाने पर पुनर्गठित मॉड्यूलर फिलर (MR-MUF) प्रक्रिया, जिसमें सभी चिप्स को पिक एंड प्लेस द्वारा स्टैक किया जाता है और एक ही रीफ्लो में उन्हें जोड़ा जाता है, ने लाभ को बलि दे दिया है: ली के अनुसार, फिलर द्वारा अंतराल को आधा कर दिया गया है, जबकि 50 माइक्रोन से कम के चिप्स के विकृति को नियंत्रित किया गया है, जो 16-Hi की प्रमुख निर्माण चुनौती है।

पिछले मई में, सैमसंग ने HBM4 के उत्पादन के लिए मिश्रित बॉन्डिंग तकनीक का उपयोग करने की प्रतिबद्धता जताई, जबकि SK हाइलेस ने उन्नत MR-MUF तकनीक के लिए कॉपर-कॉपर बॉन्डिंग तकनीक को विकल्प के रूप में अपनाया। इसके बाद, JED EC मोटाई की सीमा को ढीला कर दिया गया है, जिससे मिश्रित बॉन्डिंग तकनीक अब तत्काल आवश्यकता नहीं रही। वर्तमान में, उद्योग 20 परतों के स्टैक की मोटाई को 825 से 900 माइक्रोमीटर तक बढ़ाने पर चर्चा कर रहा है, जिससे कॉपर बॉन्डिंग तकनीक के प्रसार को फिर से स्थगित कर दिया जाएगा।

मार्च में ही उद्योग विशेषज्ञों ने दावा किया था कि एसके हाइलिस ने पहला बड़े पैमाने पर उत्पादन का मिक्स्ड बॉन्डिंग ऑर्डर दिया था, जो एप्लीकेशन मैटीरियल्स और बेसी के उपकरणों को शामिल करता हुआ लगभग 200 अरब कोरियाई वॉन (15 मिलियन अमेरिकी डॉलर) का एकल लाइन सिस्टम है। काउंटरपॉइंट रिसर्च का अनुमान है कि यह तकनीक 2029-2030 के आसपास HBM5 के लॉन्च के साथ पूर्ण HBM उत्पादन में प्रवेश करेगी।

SK हाइलिस के रोडमैप के अनुसार, मिक्स्ड बॉन्डिंग तकनीक अभी भी अनुसंधान और विकास चरण में है और 20 स्तरों और उससे अधिक के स्टैकिंग संरचना के लिए उपयुक्त है; SK हाइलिस अभी भी यह तय कर रहा है कि कौन सा उत्पाद इस तकनीक का पहला उपयोग करेगा। श्रीमान ली ने कोई विशिष्ट पीढ़ी का उल्लेख नहीं किया, लेकिन HBM4E को बाहर रखते हुए, HBM5 संभवतः इस तकनीक का सबसे पहले उपयोग करने वाला मॉडल होगा। यह तकनीक कमरे के तापमान पर समतल कॉपर पैड्स और ऑक्साइड सतहों को जोड़ती है, और फिर कॉपर के कठोरीकरण प्रक्रिया के दौरान थर्मल विस्तार का उपयोग करके बॉन्डिंग बनाती है।

“यह प्रक्रिया सरल लगती है, लेकिन वास्तव में बहुत चुनौतीपूर्ण है,” ली ने कहा। “हमें मिश्रित बॉन्डिंग के लिए 16 या यहां तक कि 20 परतों की आवश्यकता होती है, जो एकल परत स्टैकिंग से पूरी तरह अलग है।” माइक्रो-बबल्स को पूरी तरह से हटाने से कोर चिप की मोटाई 20 परत की ऊंचाई पर 24% बढ़ जाती है, MR-MUF की समान ऊंचाई की तुलना में थर्मल रेजिस्टेंस लगभग 35% कम होता है, और बबल्स की अंतराल (चिप परत डायग्राम के अनुसार) 18 माइक्रोमीटर से कम हो सकता है, जबकि MR-MUF का वर्तमान अंतराल 30 माइक्रोमीटर है। HBM4 के बबल्स अंतराल पर, पारंपरिक माइक्रो-बबल्स अभी भी उपयुक्त हैं, और प्रत्येक JED EC जब मोटाई की सीमा बढ़ाई जाती है, तो MR-MUF अपनी संभाव्यता को बनाए रखता है और अगली पीढ़ी के उत्पादों में जारी रहता है।

iHBM कॉन्सेप्ट थर्मल कंडक्टिविटी और इंसुलेटेड ब्लॉक को बेस चिप के चिप-इंटर-PHY क्षेत्र में एम्बेड करता है (जहाँ पावर डेंसिटी के पीक थर्मल हॉटस्पॉट होते हैं), जिससे 30% से अधिक थर्मल रेजिस्टेंस कम होने का दावा किया जाता है।

ली के स्लाइड ने iHBM की तुलना सैमसंग के हीट पाथ ब्लॉक समाधान से सीधे की। सैमसंग का हीट पाथ ब्लॉक चिप स्टैक से ऊष्मा को विशेष ऊष्मा निकास स्तंभों के माध्यम से निकालता है, जबकि माइक्रोन के चिप सबस्ट्रेट सर्किट पुनर्डिजाइन का दावा है कि इससे ऊर्जा कुशलता में 20% से अधिक की वृद्धि होती है। ये तीनों निर्माताओं के दावे हैं, और मापदंड अलग-अलग हैं। SK हाइलेक्स और सैमसंग के डिजाइन दोनों HBM5 के लिए योजनाबद्ध हैं, लेकिन 2028 से पहले उनका बड़े पैमाने पर उत्पादन नहीं होने की उम्मीद है। ली ने कहा कि क्योंकि ये मॉड्यूल D2D PHY चिप के साथ पैकेज के अंदर स्थित होते हैं, इसलिए उन्हें ग्राहक के डिजाइन के अनुसार अनुकूलित किया जाना होगा, और पहले से डिजाइन किए गए चिप जनरेशन पर लागू नहीं किया जा सकता, जिससे iHBM एक सह-डिजाइन कार्य बन जाता है। "यह एक ऐसा विकल्प है जिसे हम अच्छी तरह से कर सकते हैं, लेकिन हम इसे हमारे पहले से डिजाइन किए गए चिप जनरेशन पर लागू नहीं कर सकते।"

प्रश्नोत्तरी के दौरान, SemiAnalysis के Tanj Bennett ने बताया कि अधिक ऊंचाई वाली मेमोरी स्टैकिंग सिलिकॉन के स्वयं के थ्रूपुट को कम कर देती है। DRAM यूनिट स्तर पर काम करते समय, प्रति वर्ग सेंटीमीटर लगभग 20 TB/s का थ्रूपुट होता है; जबकि 20 परतों तक की स्टैकिंग का अधिकतम थ्रूपुट लगभग 4 TB/s होता है, और HBM के लिए आवश्यक निर्माण क्षमता समान स्पेसिफिकेशन वाले DDR5 या LPDDR से कहीं अधिक है। "जब स्टैकिंग की ऊंचाई 20 परतों तक पहुंच जाती है, तो इस मेमोरी की औसत गति DDR5 से धीमी हो जाती है," Bennett ने कहा, "HBM स्टैकिंग की ऊंचाई का उपयोग क्यों करें, जबकि इसके आसपास अधिक सस्ती मेमोरी को समझदारी से रखा जा सकता है?"

ली ने उत्तर दिया कि ट्रेनिंग वर्कलोड को बैंडविड्थ और क्षमता दोनों की आवश्यकता होती है, और फिर यह जोड़ा कि इन्फरेंस प्रक्रिया दोनों का संतुलन बनाए रख सकती है, जिसमें की-वैल्यू कैश को हाई-बैंडविड्थ मेमोरी में रखा जाता है, जबकि कुछ कार्य LPDDR मेमोरी पर अनलोड किए जाते हैं। यह अलग करने की तकनीक पहले से ही निविडा के वेरा रुबिन प्लेटफॉर्म जैसे उत्पादों में लागू की जा चुकी है, जिसे इसी उद्देश्य के लिए LPDDR5X और HBM4 को NVLink-C2C प्रोटोकॉल के माध्यम से पूल किया गया है। इसके अलावा, SK हाइलेक्स और सैंडिस्क द्वारा संयुक्त रूप से विकसित हाई-बैंडविड्थ फ्लैश स्टैंडर्ड ने इस स्तरीय अवधारणा को NAND फ्लैश तक विस्तारित किया है।

ली ने स्तरीकरण योजनाओं के बारे में बात करते हुए कहा, "यह हमारे भविष्य में विचार करने की आवश्यकता वाला एक मुद्दा भी है।" जनवरी की रिपोर्ट के अनुसार, एसके हाइलिस ने निवेडा वेरा रूबिन पीढ़ि के HBM चिप्स के लगभग 70% ऑर्डर प्राप्त किए हैं, जिनमें सभी MR-MUF प्रौद्योगिकी का उपयोग किया जाएगा। ली ने कहा कि कौन सा उत्पाद पहले MR-MUF प्रौद्योगिकी का उपयोग करेगा, इसका फैसला कंपनी अभी तक नहीं किया है।

स्पीच में, माइक्रोन टेक्नोलॉजीज आर्टिफिशियल इंटेलिजेंस के क्षेत्र में विकसित हो रहे मेमोरी आर्किटेक्चर पर चर्चा करेगी। ज्ञात है कि माइक्रोन टेक्नोलॉजीज उच्च बैंडविड्थ मेमोरी और उन्नत पैकेजिंग तकनीकों कैसे आर्टिफिशियल इंटेलिजेंस सिस्टम डिज़ाइन का केंद्र बन रही हैं, इसका विस्तार से वर्णन करेगी।

माइक्रॉन के स्पीच ने ओपनएआई के कॉम्प्यूटेशनल एफिशिएंसी के फ्रंटियर थ्योरी के साथ शुरुआत की, जिसमें भाषा मॉडल के स्केलिंग के लिए मेमोरी क्यों महत्वपूर्ण है, इसकी व्याख्या की गई। माइक्रॉन ने बताया कि मॉडल साइज, डेटासेट साइज और ट्रेनिंग कॉम्प्यूटेशन के बीच एक पावर लॉ संबंध है, और इन तीनों को समान रूप से स्केल करना आवश्यक है ताकि भाषा मॉडल की प्रदर्शन क्षमता में सुधार हो सके। मेमोरी ही ये तीनों कारकों को जोड़ने वाला महत्वपूर्ण संसाधन है।

अब हम मेमोरी बॉटलनेक पर चर्चा करते हैं। माइक्रोन के अनुसार, AI एक्सेलरेटर्स की TFLOPS (फ्लोटिंग पॉइंट परफॉर्मेंस) लगभग हर दो साल में 3 गुना बढ़ती है, जबकि 2.5D एडिशनल मेमोरी (जैसे HBM) की बैंडविड्थ की वृद्धि दो साल में 2 गुना से कम है। यह बढ़ता हुआ अंतर ही मेमोरी तकनीक को AI सिस्टम के प्रदर्शन के लिए एक महत्वपूर्ण सीमा बना रहा है।

माइक्रोन ने HBM को कॉम्प्यूटिंग और मेमोरी के बीच की पुल के रूप में स्थापित किया है और HBM2e से HBM5 तक प्रत्येक पीढ़ी में क्षमता, बैंडविड्थ और ऊर्जा दक्षता में वृद्धि का अनुसरण किया है। आपको Y-अक्ष के बिना इस तकनीकी सम्मेलन की सराहना करनी चाहिए।

यहाँ, माइक्रोन ने एक टाइपिकल GPU दिखाया है, जिसका पैकेज क्षेत्रफल 12,000 वर्ग मिलीमीटर से अधिक है, जिसमें बेस चिप और आठ HBM4 मेमोरी इंस्टेंस शामिल हैं। इसका मतलब है कि, जब 12 स्तरों का HBM4 मेमोरी उपयोग किया जाता है, तो मेमोरी सिलिकॉन का क्षेत्रफल GPU चिप के क्षेत्रफल से 8 गुना से अधिक हो सकता है। यह वास्तव में एक बहुत स्पष्ट प्रदर्शन है।

HBM ने मेमोरी बैंडविड्थ की सीमा बढ़ा दी है, मेमोरी सीमाओं की सीमाओं को बदल दिया है, जिससे मेमोरी-घने AI कार्यभार मेमोरी सीमा तक पहुँचने से पहले तेज़ी से चल सकते हैं।

माइक्रोन के स्पीच में अभी HBM क्या है और हर पीढ़ी के HBM का विकास क्रम विस्तार से बताया जा रहा है। प्रोडक्ट टेबल HBM1 से HBM4 तक के विकास को दर्शाती है। हर पीढ़ी के HBM ने डेटा रेट, प्सीडो-चैनल संख्या और स्टैकिंग हाइट में वृद्धि की है, जिससे अधिक बैंडविड्थ और बड़ी क्षमता प्राप्त हुई है।

HBM की स्थापना मानक के साथ EC C RDIMM अलग है। नीचे का चित्र दिखाता है कि HBM स्टैक कैसे एक हेटरोजेनियस इंटीग्रेटेड सिस्टम में GPU या एक्सेलरेटर के साथ एकीकृत होता है और एक सिस्टम-लेवल पैकेज (SiP) के रूप में पैक किया जाता है, जिसे अलग स्लॉट मॉड्यूल के रूप में नहीं बनाया जाता। मुझे लगता है कि STH के कई लोग पहले ही इस डिज़ाइन को देख चुके हैं।

प्रत्येक DRAM चिप में कई स्वतंत्र चैनल होते हैं, जिनमें से प्रत्येक चैनल में दो फ़ेक चैनल होते हैं, HBM3E प्रति चिप 128 बैंक ले जाता है, जबकि HBM4 इसे 256 बैंक तक दोगुना कर देता है। बेस चिप मेजबान और DRAM स्टैक के बीच स्थित होता है, जहाँ मेजबान ओर माइक्रोबबल PHY का उपयोग किया जाता है और स्टैक ओर 3D TSV PHY का उपयोग किया जाता है, जिसे उच्च घनत्व वाले पॉइंट-टू-पॉइंट मीडियेटर के माध्यम से जोड़ा जाता है, जिससे HBM3E के 1K IO से HBM4 के 2K IO तक वृद्धि होती है।

Micron अभी प्रदर्शन और क्षमता के बीच एक समझौता दिखा रहा है। लेकिन वे यहाँ PCB क्षेत्रफल और बिजली खपत के बीच के अंतर को वास्तव में नहीं दिखा रहे हैं। क्या यह बाद की स्लाइड में दिखाया जाएगा?

माइक्रोन अब इस गति के कारण सिलिकॉन लागत को ध्यान में रख रहा है। डिज़ाइन आर्किटेक्चर, उन्नत पैकेजिंग और निर्माण प्रक्रिया की जटिलता जैसे समग्र लागत कारकों का अर्थ है कि DDR5 के समान HBM3E क्षमता प्राप्त करने के लिए आवश्यक सिलिकॉन मात्रा लगभग DDR5 की तीन गुना है।

माइक्रोन ने बाद में भाषण में कृत्रिम बुद्धिमत्ता नवाचार के समर्थन के लिए मेमोरी पैरामीटर्स, जिनमें प्रदर्शन, क्षमता और बिजली खपत शामिल हैं, का सारांश प्रस्तुत किया।

अधिक तेज़ I/O लिंक और बड़े इंटरपोज़र SiP तकनीक के विकास को आगे बढ़ा रहे हैं, जिसमें तेज़ I/O डिज़ाइन, मेमोरी के लिए अनुकूलित SERDES और चिप-बीच PHY, और इंटरकनेक्ट पर सह-पैकेज्ड ऑप्टिक्स शामिल हैं। CoWoS-L और CoWoS-R जैसी तकनीकों पर आधारित बड़े आकार के SiP और ग्लास सबस्ट्रेट भी पैकेजिंग तकनीक के विकास के मार्ग का हिस्सा हैं।

अब हम विश्वसनीयता पर चर्चा करते हैं, जिसमें चिप पैकेज इंटरैक्शन और RAS चुनौतियाँ शामिल हैं। हेटरोजीनियस इंटीग्रेशन HBM डिवाइस में, विभिन्न सामग्रियों के बीच थर्मल एक्सपैंशन कॉफिशिएंट का असंगति थर्मल मैकेनिकल स्ट्रेस पैदा करता है। वास्तव में, अधिक सामान्य दृष्टिकोण से, यही Cerebras के WSE इम्प्लीमेंटेशन के दौरान सबसे बड़ी चुनौतियों में से एक है। EC C कवरेज दो स्तरों में विभाजित है: पहला HBM3 है, जिसमें सिस्टम स्तर पर प्रत्येक 256-बिट एक्सेस के लिए 16 मेटाबिट्स का उपयोग होता है; दूसरा सिलिकॉन पर आधारित सिंबोलिक रीड-सोलोमन है। EC C.

गर्मी नियंत्रण के लिए, DRAM चिप गतिविधि में वृद्धि, स्टैकिंग ऊंचाई में वृद्धि और अधिक उन्नत चिप आधारित कार्यक्षमता गर्मी उत्पन्न करती है। माइक्रोन ने बताया कि तरल शीतलन, मिश्रित संयोजन, और स्नेहक तथा साइड मोल्ड में सुधार, बैंडविड्थ और क्षमता के विस्तार के लिए आवश्यक ऊष्मा निकास नवाचार हैं।

The packaging trend seems to be nearing its end.

समग्र रूप से, ये डेटा दर्शाते हैं कि माइक्रोन टेक्नोलॉजीज कैसे कृत्रिम बुद्धिमत्ता के क्षेत्र में मेमोरी आर्किटेक्चर के विकास का प्रतिक्रिया दे रही है। माइक्रोन टेक्नोलॉजीज HBM की बैंडविड्थ और क्षमता में वृद्धि को इतनी बड़ी मेमोरी को कॉम्प्यूटिंग यूनिट के पास रखने से होने वाले पैकेजिंग, ताप नियंत्रण और विश्वसनीयता की लागत के साथ संतुलित कर रही है।

लोगों का मानना है कि HBM का रुख कैसा होगा?

यह लेख वेचेन ग्रुप "सेमीकंडक्टर इंडस्ट्री ऑब्जर्वर" (ID: icbank) से आया है, लेखक: संपादकीय टीम