স্যামসাং এবং এসকে হাইনিক্স এইচবিএম ডিজাইন কৌশলে পৃথক পথ অনুসরণ করছে

হট চিপস কনফারেন্সে, স্যামসাং এবং এসকে হাইলিট উভয়েই সম্মত হয়েছিল যে GPU, মেমোরি, ওয়েফার প্রসেসিং এবং প্যাকেজিংকে একটি সিস্টেম হিসাবে ডিজাইন করা প্রয়োজন। তখন থেকে, তাদের সমাধানগুলি আলাদা পথে চলে যায়।

স্যামসাং বেসিক চিপকে সিস্টেমের একটি সক্রিয় অংশে রূপান্তরিত করছে। এটি গ্রাফিক্স প্রসেসিং ইউনিট (GPU) থেকে মেমোরি কন্ট্রোলারকে লজিক্যাল বেসিক চিপে সরিয়ে আনার পরিকল্পনা করছে, যার ফলে GPU-এর 5–10% এলাকা মুক্ত হবে, যা আরও কম্পিউটেশনের জন্য ব্যবহার করা যাবে এবং পারফরম্যান্স 10–20% বৃদ্ধি পেতে পারে। বেসিক চিপে নির্বাচিত AI অপারেশনও চালানো যাবে, যাতে ডেটা স্থানান্তরণ কমে। দীর্ঘমেয়াদে, এটি zHBM প্রযুক্তির দিকে এগিয়ে যাচ্ছে, যা GPU এবং DRAM-কে সরাসরি স্ট্যাক করে, DRAM-এর শক্তি প্রায় 70% কমিয়ে 2x-এরও বেশি ব্যান্ডউইথ বৃদ্ধির প্রত্যাশা করছে।

এসকে হাইনিক্স উচ্চতর স্ট্যাকিংয়ের উপর ফোকাস করে এবং এর ফলে উৎপন্ন তাপ এবং বিকৃতির সমস্যা পরিচালনা করে। এটি নিশ্চিত করেছে যে HBM4 12-লেয়ার স্ট্যাকিং উৎপাদন পর্যায়ে প্রবেশ করেছে, এবং 16-লেয়ার সংস্করণটি ক্লায়েন্ট যাচাইকরণ পর্যায়ে রয়েছে। মিক্সড বন্ডিং 20-লেয়ার এবং তারও উপরের স্ট্যাকিংয়ের পথ, যা পুরুতর চিপ এবং আরও ঘন পিচের অনুমতি দেয়। এর iHBM পদ্ধতি স্ট্যাকের সবচেয়ে বেশি তাপযুক্ত অঞ্চলের ভিতরে একটি বিশেষায়িত তাপ পরিবহন পথ যোগ করে। এই প্রতিযোগিতা এখন শুধুমাত্র ব্যান্ডউইথ এবং ক্ষমতার বিষয় নয়। ভিত্তি চিপ আর্কিটেকচার এবং অগ্রণী প্যাকেজিংই সিদ্ধান্তমূলক ময়দান হয়ে উঠছে।

2026 সালের Hot Chips সম্মেলনে, স্যামসাং ইলেকট্রনিক্স zHBM প্রকাশ করে, যা হাই-ব্যান্ডউইথ মেমোরির চূড়ান্ত উন্নতি। এই ধারণাটি 2.5D মিডিয়াম স্লেবকে বাদ দিয়ে DRAM-কে GPU ইত্যাদি কম্পিউটিং চিপের উপরে ভার্টিক্যালি স্ট্যাক করে প্রকৃত 3D ইন্টিগ্রেশন আর্কিটেকচার গঠন করে, যার লক্ষ্য DRAM-এর শক্তি খরচ 70% কমানো এবং HBM4E-এর তুলনায় 2.3 গুণ বেশি ব্যান্ডউইথ অর্জন।

স্যামসাং একটি তিন-পর্যায়ের রোডম্যাপ তৈরি করেছে, যার মাধ্যমে বেসিক চিপকে প্যাসিভ ডেটা ট্রান্সমিশন চ্যানেল থেকে একটি এক্টিভ কম্পিউটেশন পার্টনারে রূপান্তরিত করা হবে। প্রথম পর্যায়ে মেমোরি কন্ট্রোলারকে xPU থেকে বেসিক চিপে স্থানান্তরিত করা হবে, যাতে সিলিকন এরিয়া রিকভার করা যায়; দ্বিতীয় পর্যায়ে বেসিক চিপে মেমোরি এক্সটেনশন এবং অ্যাটেনশন কম্পিউটেশন ক্ষমতা যোগ করা হবে; এবং তৃতীয় পর্যায়ে zHBM-এর চূড়ান্ত বাস্তবায়ন ঘটবে।

এরপর, আমরা স্যামসাংয়ের পরিকল্পনা দেখব।

স্পিচের সময় কিছু গ্রাফ দেখানো হয়েছিল যা HBM5-এর স্পেসিফিকেশনের দিক থেকে বিকাশের প্রবণতা দেখাচ্ছে। যদিও এখনও কিছুই নিশ্চিত নয়, তবুও ডান-উপরের গ্রাফটি দেখা আকর্ষণীয়।

60GB ক্ষমতা এবং 6TB/s ব্যান্ডউইথ সহ HBM5 SSD খুবই ভালো। চলুন সঠিক ডেটা গণনা করি। 6 TB/s ব্যান্ডউইথ, 2048 চ্যানেল মানে প্রতিটি পিনের ট্রান্সমিশন রেট 23.5 Gbps। আমাদের বর্তমানের সবচেয়ে উন্নত গতি 16 Gbps, এটি একটি বিশাল উন্নতি, এবং উন্নত লজিক নোড ব্যবহার করে এটি সম্ভবপর। যদি প্রতিটি চিপের ক্ষমতা 3 GB হয় এবং মোট ক্ষমতা 60 GB হয়, তবে স্ট্যাকিং উচ্চতা 20 স্তর হবে।

অন্য একটি স্লাইডে, স্যামসাং নিশ্চিত করেছে যে HBM4E-এর একক পিন ট্রান্সমিশন রেট 16 Gbps। আমাদের আগে HBM5-এর জন্য গণনা করা ফলাফলগুলি নীচের চিত্রেও যাচাই করা হয়েছে।

স্যামসাংয়ের প্রকাশ্য সুবিধা হল এটির নিজস্ব ডিজাইন করা লজিক চিপ থাকা, যেখানে মাইক্রন এবং এসকে হাইলিস এই চিপটি অর্জনের জন্য অন্যদের সাথে সহযোগিতা করে। স্যামসাং এখানে নিজেদের সুবিধাকে তুলে ধরেছে এবং কাস্টমাইজড চিপের গুরুত্ব ব্যাখ্যা করেছে। স্যামসাং 1C প্রক্রিয়ায় মেমোরি এবং 4nm প্রক্রিয়ায় লজিক চিপ তৈরি করে চিপের বিদ্যুৎ খরচ উল্লেখযোগ্যভাবে কমিয়েছে। নীচের চিত্রটি মাইক্রনকে অপমান করে, যেখানে HBM4 মেমোরি চিপে DRAM প্রক্রিয়ায় লজিক চিপ তৈরি করা হয়েছে।

আরও ভালো বিষয় হলো, আগের আলোচনায় বর্ণিত হয়েছে যে স্যামসাং তার পণ্য রোডম্যাপকে স্পষ্টভাবে তিনটি পর্যায়ে বিভক্ত করেছে। আমরা এগুলি একে একে উপস্থাপন করব।

যখন বেস মেমোরির মধ্যে লজিক্যাল নোড থাকে, তখন HBM PHY মডিউলের ভৌত ক্ষেত্রফল কমে যায় এবং শক্তি দক্ষতা বাড়ে। এর অর্থ হলো HBM এবং XPU-এর মধ্যে সংযোগকারী চিপ-ব্যবহারিক মডিউলের আকার ছোট হবে। এর দুটি সুবিধা রয়েছে:

আরও গণনার জন্য XPU-এ ক্ষেত্রফল বাড়ান;

উন্নত ফাংশনগুলি অর্জনের জন্য HBM সাবস্ট্রেটের উপলব্ধ ক্ষেত্রফল বাড়ান।

আকার ছোট করার ফলে এই অঞ্চলগুলির তাপ ঘনত্ব বেড়ে যায়। আকর্ষণীয়ভাবে, তারা বিভিন্ন প্রজন্মের HBM-এর PHY মডিউলের প্রকৃত আকার প্রদান করে।

স্যামসাং আরও উল্লেখ করেছে যে তারা UCIe ব্যবহার করতে পছন্দ করে না D2D লিংকে, কারণ UCIe আকারে বড় এবং প্রতি বিটের জন্য শক্তি খরচ বেশি। তারা বলেছে যে তাদের কাস্টমাইজড PHY বাস্তবায়নের পারফরম্যান্স বেশি। HBM5-এর দিকে স্থানান্তরিত হওয়ার সময়, তারা D2D PHY এলাকাকে ঠাণ্ডা রাখার জন্য ইন্টিগ্রেটেড থার্মাল পাথ ব্লক (HPB) এর ধারণা প্রদর্শন করেছে।

একটি অন্যান্য প্রধান সুবিধা হল মেমোরি কন্ট্রোলার অফলোডিং, যা XPU থেকে কাস্টমাইজড বেস চিপে স্থানান্তরিত হতে পারে। এটি XPU চিপের জায়গা মুক্ত করে, যা আরও বেশি ফ্লোটিং-পয়েন্ট প্রসেসরকে চালানোর জন্য ব্যবহার করা যেতে পারে।

বেস উপাদানে লজিক নোড একীভূত করার নতুন সুবিধাটি হল এটি SRAM বাস্তবায়ন করতে পারে। যদি DRAM স্ট্যাকের কোনো ইউনিট ক্ষতিগ্রস্ত হয়, তবে সেই ইউনিটের তথ্যগুলি SRAM-এ স্থায়ীভাবে সংরক্ষণ করা যেতে পারে, মেমোরি কন্ট্রোলার ক্ষতিগ্রস্ত DRAM ইউনিটের পরিবর্তে SRAM থেকে এই তথ্যগুলি খুঁজে পাবে। SRAM-কে একটি ব্যাকআপ নোটবুক হিসাবে কল্পনা করা যেতে পারে, যা একটি অস্থায়ী নোটপ্যাডের মতো, যা ক্ষতিগ্রস্ত DRAM ইউনিটে সংরক্ষণ করা যায়না এমন ডেটা সংরক্ষণের জন্য ব্যবহার করা হয়।

লজিক্যাল নোড ব্যবহার করে সাবস্ট্রেট হিসাবে কাজ করা মানে যে ট্রানজিস্টরের আকার ছোট হলে, এই ধরনের অনেক ফাংশনের জন্য সিলিকনের ক্ষেত্রফলও ছোট হবে। সঞ্চয় করা জায়গাটি বিভিন্ন উদ্দেশ্যে ব্যবহার করা যেতে পারে, যেমন RAS (রিপেয়ারেবিলিটি, অ্যাভেইলেবিলিটি এবং মেইনটেনেবিলিটি) বৃদ্ধি, টেস্টিং এবং HBM মেমোরি স্ট্যাকের স্বাস্থ্য/অবস্থা সম্পর্কিত টেলিমেট্রি ডেটা সংগ্রহ। HBM টেলিমেট্রি ডেটা প্রশিক্ষণের ব্যর্থতার দ্বিতীয় বৃহত্তম কারণ হওয়ায়, HBM টেলিমেট্রি ডেটা খুবই উপকারী হবে।

যদি অতিরিক্ত সিলিকন ক্ষেত্র থাকে, তাহলে আরেকটি তৈরি করা যেতে পারে। মেমোরি এক্সপানশন কন্ট্রোলারটি প্রথম HBM স্ট্যাকের পিছনে অন্য একটি HBM স্ট্যাক সংযুক্ত করতে বা মেমোরি বাড়ানোর জন্য DRAM চিপ সন্নিবেশ করতে ব্যবহৃত হয়।

শেষ পর্যন্ত, যেহেতু লজিক্যাল ট্রানজিস্টর উপলব্ধ, কেন সাবস্ট্রেটে কিছু কম্পিউটেশনাল ফাংশন একীভূত করা হচ্ছে না? এটি করার সুবিধা হলো, ম্যাট্রিক্স সংকোচন বা এনকোডিংয়ের মতো কম্পিউটেশনগুলি লজিক্যাল চিপে সম্পন্ন করা যেতে পারে, যা সাবস্ট্রেট ছেড়ে যাওয়ার প্রয়োজন হয় না। এতে ল্যাটেন্সি এবং দক্ষতা উভয়েরই সুবিধা রয়েছে।

যদি সবকিছু ঠিকঠাক চলে, তাহলে সৈকতের নীচের ডানদিকে সেই সূক্ষ্ম ত্বরণকারীটি তৈরি করা সম্ভব। এই ধরনের ব্লক ডায়াগ্রাম আঁকা সহজ, ধারণাগতভাবেও আকর্ষণীয়, কিন্তু এর বাস্তব পারফরম্যান্সে কতটা উল্লেখযোগ্য উন্নতি হয় তা সন্দেহজনক।

শেষ পর্যায়ে কাস্টম বেসবোর্ড চিপ এবং HBM ব্যবহার করে এগুলিকে লজিক চিপের উপরে স্ট্যাক করা হয়। কম্পিউটিং চিপ এবং মেমোরি চিপের মধ্যে দূরত্ব খুব কম, তাই ডেটা বিটগুলিকে কম দূরত্বে প্রেরণ করা হয়, যা শক্তি দক্ষতা বাড়ায় এবং চিপের অঞ্চলে (শুধুমাত্র চিপের এগিয়ে থাকা অংশের বদলে) আরও বেশি সম songালী ডেটা পথ ব্যবহার করার কারণে মেমোরি ব্যান্ডউইথ বাড়ায়।

এটি কোনো সহজ বিষয় নয়, কিন্তু কোম্পানির জন্য প্রযুক্তিগত উন্নতির রোডম্যাপ তৈরি করা অত্যন্ত গুরুত্বপূর্ণ। এটি দেখায় যে তারা ভবিষ্যতে আরও উন্নত পণ্য চালুর প্রতি আত্মবিশ্বাসী, যা কোম্পানির জন্য একটি ভালো বিষয়। বাজারটি এই পণ্যকে গ্রহণের জন্য প্রস্তুত কি না, তা অন্য একটি বিষয়।

8 ই আগস্ট 2026-এ হট চিপস কনফারেন্সে এসকে হাইলিস আমেরিকা কোম্পানির প্যাকেজিং ইঞ্জিনিয়ারিং ভাইস প্রেসিডেন্ট লি জেসিক (Jaesik Lee) বলেন যে, এসকে হাইলিস প্রত্যাশা করছে যে মিক্সড বন্ডিং প্রযুক্তি HBM4E-এর চাহিদা পূরণ করতে পারবে না, যা শিল্পের সবচেয়ে প্রতীক্ষিত মেমোরি প্যাকেজিং স্থানান্তরকে HBM5-এর জন্য অপেক্ষা করতে বাধ্য করবে।

যেমন তিনি বর্ণনা করেছেন, সমস্যাটি হল এই যে HBM কিউবের মোট পুরুত্ব 775 মাইক্রোমিটারে সীমাবদ্ধ—যা 300 মিমি লজিক ওয়াফারের স্ট্যান্ডার্ড পুরুত্ব—তাই প্রতিটি অতিরিক্ত DRAM স্তর যোগ করার জন্য আরও পাতলা চিপ এবং আরও সংকীর্ণ ব্যবধান প্রয়োজন। বর্তমানে ক্লায়েন্ট সার্টিফিকেশনের জন্য চলছে 16-স্তরের হাই-ডেনসিটি HBM4 (একক কিউব ক্ষমতা 48GB, যেখানে 12-স্তরের হাই-ডেনসিটি HBM4 ইতিমধ্যে প্রোডাকশনে), যা কোর চিপের পুরুত্বকে প্রায় 50 মাইক্রোমিটারে কমিয়েছে এবং চিপের মধ্যকার ব্যবধানকে অর্ধেকে কমিয়েছে। লির বক্তৃতায় 5 মাসে প্রকাশিত iHBM কুলিং আর্কিটেকচারটিরও বিস্তারিত বর্ণনা দেওয়া হয়েছে। লি ব্যাখ্যা করেন যে, এই আর্কিটেকচারের একটি সীমাবদ্ধতা রয়েছে, যা হল: তাপ নিরসন মডিউলটি যেকোনো HBM পণ্যের উপর প্রয়োগ করা যাবে না, যা 이미 ডিজাইনের মধ্যে রয়েছে।

জেড EC HBM4 স্ট্যান্ডার্ড দ্বারা HBM3E এর অনুসৃত 720 মাইক্রন প্যাকেজ মোট পুরুত্বের সীমা বাড়িয়ে 775 মাইক্রনে নেওয়া হয়েছে, যা মিক্সড বন্ডিং প্রযুক্তির ব্যবহারের চাপকে কমিয়েছে। লি বলেন, GPU প্যাকেজে কুলিং প্লেট ইনস্টল করার সময়, লজিক চিপ এবং মেমরি স্ট্যাকের কিছুটা কেটে ফেলা হয়, যাতে বিশুদ্ধ সিলিকন প্রকাশিত হয়। যেহেতু লজিক ওয়াফারের পুরুত্ব 775 মাইক্রন, তাই মেমরি চিপের উচ্চতা আরও বাড়ালে এটি পাশের প্রসেসরের উচ্চতার বাইরে চলে যাবে। “এটিই আমরা এখনও বাড়াতে পারি এমন সর্বোচ্চ সীমা, কারণ লজিক ওয়াফারেরও পুরুত্ব 775 মাইক্রন।” লি বলেন।

পাতলা চিপ অর্থ হল স্ট্যাকেড স্তরে অক্সাইড স্তরের অনুপাত বেশি, এবং অক্সাইডের তাপ পরিবহন ক্ষমতা সিলিকনের চেয়ে অনেক কম। এছাড়াও, পিন স্পিড 1 Gbps থেকে HBM4-এ 8 Gbps-এ বৃদ্ধি পেয়েছে, যা একই ক্ষেত্রফলে আরও বেশি শক্তি খরচ করতে বাধ্য করে। SK hynix-এর নিজস্ব ডেটা অনুযায়ী, উল্লিখিত HBM-এর প্রতিটি প্রজন্মে, তাপীয় লোড গড়ে 2.2 গুণ বেশি, এবং স্ট্যাকড স্তরের সংখ্যা প্রতি দুটি প্রজন্মে দ্বিগুণ হয়।

লির মতে, সমস্ত চিপকে পিক এন্ড প্লেস পদ্ধতিতে স্ট্যাক করে এবং একক রিফ্লোতে তাদের সংযুক্ত করে এই কোম্পানির বড় পরিসরের মাল্টি-আপগ্রেড ফিলিং (MR-MUF) প্রক্রিয়াটি লাভকে বিসর্জন দিয়েছে: 50 মাইক্রনের কম চিপের বাঁকন নিয়ন্ত্রণ করে ফিলিংয়ের ফাঁকটি অর্ধেক কমিয়েছে, যা 16-Hi-এর প্রধান উৎপাদন চ্যালেঞ্জ।

গত বছর মে মাসে, স্যামসাং হেক্সাবন্ড বন্ডিং প্রযুক্তি ব্যবহার করে HBM4 উৎপাদনের প্রতিশ্রুতি দেয়, যখন এসকে হাইলিস কপার-কপার বন্ডিং প্রযুক্তিকে উন্নত MR-MUF প্রযুক্তির বিকল্প হিসাবে বিবেচনা করে। তারপর, JED EC পুনরায় মোট পুরুত্বের সীমা বাড়ানো হয়েছে, যার ফলে মিক্সড বন্ডিং প্রযুক্তি এখন অগ্রাধিকারের বিষয় নয়। বর্তমানে, শিল্পটি 20 স্তরের স্ট্যাকের পুরুত্ব 825 থেকে 900 মাইক্রনের মধ্যে বাড়ানোর কথা বিচার করছে, যা তামা বন্ডিং প্রযুক্তির গ্রহণকে আবার স্থগিত করবে।

মার্চের শুরুতেই শিল্প বিশেষজ্ঞরা দাবি করেছিলেন যে এসকে হাইনিস প্রথম বড় পরিমাণের মিক্সড বন্ডিং অর্ডার দিয়েছে, যা অ্যাপ্লিকেশন ম্যাটেরিয়ালস এবং বেসির টুলস একত্রিত করে প্রায় 200 বিলিয়ন কোরিয়ান ওয়ান (15 মিলিয়ন ডলার) মূল্যের একটি সিঙ্গেল-লাইন সিস্টেম। কাউন্টারপয়েন্ট রিসার্চের অনুমান, এই প্রযুক্তিটি 2029-2030 সালের দিকে HBM5-এর চালুর সাথে HBM-এর সম্পূর্ণ উৎপাদনে প্রবেশ করবে।

এসকে হাইনিক্সের রোডম্যাপ অনুযায়ী, মিক্সড বন্ডিং প্রযুক্তি এখনও গবেষণা ও উন্নয়ন পর্যায়ে রয়েছে এবং ২০টির বেশি স্তরের স্ট্যাকিং কাঠামোর জন্য উপযুক্ত। এসকে হাইনিক্স এখনও এই প্রযুক্তিটি কোন পণ্যে প্রথম ব্যবহার করবে তা নির্ধারণ করছে। শ্রীমান লি কোন প্রজন্মের পণ্যটি হবে তা উল্লেখ করেননি, তবে HBM4E-কে বাদ দিয়ে HBM5-কেই সম্ভাব্যভাবে এই প্রযুক্তির প্রথম প্রয়োগকারী মডেল হিসেবে দেখা যাচ্ছে। এই প্রযুক্তিটি কক্ষতাপমাত্রায় সমতল তামা প্যাড এবং অক্সাইড পৃষ্ঠকে সংযুক্ত করে, তারপর তামার কঠিনীভবনের সময় তাপীয় প্রসারণের মাধ্যমে বন্ডিং তৈরি করে।

“এটি যেন সহজ প্রক্রিয়া, কিন্তু বাস্তবে অত্যন্ত চ্যালেঞ্জিং,” লি বলেন। “আমাদের মিক্সড বন্ডিং অর্জনের জন্য 16 থেকে 20 স্তর প্রয়োজন, যা একক স্তর স্ট্যাকিংয়ের সাথে সম্পূর্ণভাবে ভিন্ন।” মাইক্রো-বাম্পগুলি সম্পূর্ণরূপে সরিয়ে ফেললে, কোর চিপটি 20 স্তরের উচ্চতায় 24% পুরু হয়ে যায়, MR-MUF-এর সমান উচ্চতার তুলনায় তাপীয় প্রতিরোধ প্রায় 35% কমে যায়, এবং বাম্প পিচ (চিপ স্তর ম্যাপের ভিত্তিতে) 18 মাইক্রোমিটারেরও কম হতে পারে, যখন MR-MUF-এর বর্তমান পিচ 30 মাইক্রোমিটার। HBM4-এর বাম্প পিচে, পারম্পরিক মাইক্রো-বাম্পগুলি এখনও প্রযোজ্য, এবং JED-এর প্রতিটি EC মোট পুরুত্বের সীমা বাড়ানোর সময়, MR-MUF তার সম্ভাব্যতা বজায় রাখবে এবং পরবর্তী প্রজন্মের পণ্যগুলিতে এটি চালিয়ে যাবে।

iHBM ধারণাটি তাপ পরিবহন এবং বিদ্যুৎ বিচ্ছিন্নকারী ব্লকগুলিকে বেস চিপের চিপ-মধ্যে PHY অঞ্চলে (যেখানে শক্তি ঘনত্বের শীর্ষ তাপীয় হটস্পট রয়েছে) এমবেড করে, যা 30% এর বেশি তাপীয় প্রতিবন্ধকতা কমানোর দাবি করে।

লির স্লাইডগুলিতে iHBM-কে স্যামসাংয়ের হিট পাথ ব্লক সমাধানের সাথে সরাসরি তুলনা করা হয়েছে। স্যামসাংয়ের হিট পাথ ব্লক চিপ স্ট্যাক থেকে তাপ বের করতে বিশেষায়িত হিট পাইলগুলি ব্যবহার করে, যেখানে মাইক্রনের চিপ সাবস্ট্রেট সার্কিট পুনঃডিজাইনটি 20% এরও বেশি শক্তি দক্ষতা বৃদ্ধির দাবি করে। এই তিনটি সবই প্রস্তুতকারকদের দাবি, এবং প্রতিটিরই পরিমাপের মানদণ্ড ভিন্ন। SKহাইলিস এবং স্যামসাংয়ের ডিজাইনগুলি HBM5-এর জন্য পরিকল্পিত, কিন্তু 2028-এর আগে এগুলির বড়পরিমাণে উৎপাদনের প্রত্যাশা নেই। লি বলেন, যেহেতু এই মডিউলগুলি D2D PHY চিপের সাথে প্যাকেজের ভিতরে অবস্থিত, তাই এগুলিকে গ্রাহকের ডিজাইনের সাথে অপটিমাইজ করতে হবে, এবং এটি ইতিমধ্যে ডিজাইনকৃত চিপজনের জন্য প্রয়োগযোগ্য নয়, যা iHBM-কে একটি সহ-ডিজাইনকৃতকাজে পরিণত করে। “এটি এমনইএকটি বিকল্প,যাআমরাভালভাবেকরতেপারি,কিন্তুআমরাএটিকেআমাদেরইতিমধ্যেডিজাইনকৃতচিপজনেপ্রয়োগকরতেপারবনা।”

প্রশ্নোত্তর পর্বে, SemiAnalysis-এর টানজ বেনেট উল্লেখ করেন যে, বেশি উচ্চতায় মেমোরি স্ট্যাক করলে সিলিকন চিপের নিজস্ব থ্রুপুট কমে যায়। DRAM সেল লেভেলে কাজ করলে, প্রতি বর্গসেন্টিমিটারে থ্রুপুট প্রায় 20 TB/s; যখন 20 স্তরের স্ট্যাকের সর্বোচ্চ থ্রুপুট প্রায় 4 TB/s, এবং HBM-এর জন্য প্রয়োজনীয় উৎপাদন ক্ষমতা DDR5 বা LPDDR-এর সমান স্পেসিফিকেশনের তুলনায় অনেক বেশি। “যখন স্ট্যাকের উচ্চতা 20 স্তরে পৌঁছায়, তখন এই মেমোরির গড় গতি DDR5-এর চেয়েও ধীর,” বেনেট বলেন, “HBM স্ট্যাকের উচ্চতা ব্যবহার না করে, এর চারপাশে আরও সস্তা মেমোরি সজ্জিত করা যায়নি?”

লি উত্তর দিয়েছেন যে ট্রেনিং ওয়ার্কলোডের জন্য ব্যান্ডউইথ এবং ক্ষমতা উভয়ই প্রয়োজন, এবং তিনি যোগ করেন যে ইনফারেন্স প্রক্রিয়াটি উভয়কেই সমন্বিতভাবে পরিচালনা করতে পারে, যেখানে কী-ভ্যালু ক্যাশে উচ্চ-ব্যান্ডউইথ মেমরিতে রাখা হয় এবং কিছু কাজ LPDDR মেমরিতে আউটসোর্স করা হয়। এই বিচ্ছিন্নতা প্রযুক্তিটি ইনভিডিয়ার ভেরা রুবিন প্ল্যাটফর্মের মতো পণ্যগুলিতে ইতিমধ্যেই ব্যবহার করা হচ্ছে, যেখানে LPDDR5X এবং HBM4-কে NVLink-C2C প্রোটোকলের মাধ্যমে এই উদ্দেশ্যের জন্য পুলিং করা হয়। এছাড়াও, SK হাইনিস এবং সানডিস্কের সম্মিলিতভাবে বিকাশকৃত উচ্চ-ব্যান্ডউইথ ফ্ল্যাশ মেমরি স্পেসিফিকেশনটি এই স্তরীকরণের ধারণাটিকে NAND ফ্ল্যাশ-এর দিকেও বিস্তারিত করেছে।

লি স্তরবদ্ধ সমাধান নিয়ে বলেন: “এটিও আমাদের ভবিষ্যতে বিবেচনা করার বিষয়।” জানুয়ারির এক প্রতিবেদন অনুযায়ী, এসকে হাইলিস নভেডিয়ার ভেরা রুবিন প্রজন্মের HBM চিপের প্রায় 70% অর্ডার পেয়েছে, যেগুলি সবই MR-MUF প্রযুক্তি ব্যবহার করবে। লি বলেন, MR-MUF প্রযুক্তি কোন পণ্যে প্রথম ব্যবহার করা হবে, তা এখনও কোম্পানি সিদ্ধান্ত নেয়নি।

স্পিচে, Micron Technology কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে বিকাশশীল মেমোরি আর্কিটেকচার নিয়ে আলোচনা করবে। জানা যায়, Micron Technology উচ্চ ব্যান্ডউইথ মেমোরি এবং উন্নত প্যাকেজিং প্রযুক্তি কীভাবে কৃত্রিম বুদ্ধিমত্তা সিস্টেম ডিজাইনের কেন্দ্রবিন্দু হয়ে উঠছে তা বিস্তারিতভাবে ব্যাখ্যা করবে।

মাইক্রনের বক্তৃতা শুরু হয় ওপেনএআইয়ের কম্পিউটেশনাল দক্ষতার সীমান্ত তত্ত্ব দিয়ে, যেখানে ব্যাখ্যা করা হয়েছে কেন মেমোরি ভাষামূলক মডেলের স্কেলিংয়ের জন্য অপরিহার্য। মাইক্রন বলেছেন যে মডেলের আকার, ডেটাসেটের আকার এবং ট্রেনিং কম্পিউটেশনের মধ্যে একটি পাওয়ার ল সম্পর্ক রয়েছে, এবং এই তিনটির সমস্তকেই সমন্বিতভাবে স্কেল করা প্রয়োজন ভাষামূলক মডেলের পারফরম্যান্স উন্নত করতে। মেমোরি হল এই তিনটি কারককে একত্রিত করার মূল সম্পদ।

এখন আসুন মেমোরি বটলনেক নিয়ে কথা বলি। মাইক্রন বলছে যে, এআই অ্যাক্সেলারেটরের TFLOPS (ফ্লোটিং পয়েন্ট পারফরম্যান্স) প্রায় প্রতি দুই বছরে তিনগুণ বৃদ্ধি পাচ্ছে, যখন 2.5D অ্যাডিশনাল মেমোরি (যেমন HBM) এর ব্যান্ডউইথ প্রতি দুই বছরে 2-এর কম বৃদ্ধি পাচ্ছে। এই ক্রমাগত বৃদ্ধি পাওয়া ব্যবধানই হল মেমোরি টেকনোলজির এআই সিস্টেমের পারফরম্যান্সকে সীমাবদ্ধ করে দেওয়ার মূল কারণ।

মাইক্রন HBM-কে কম্পিউটিং এবং মেমোরির মধ্যে একটি সেতু হিসাবে চিহ্নিত করেছে এবং HBM2e থেকে HBM5 পর্যন্ত প্রতিটি প্রজন্মের ক্ষমতা, ব্যান্ডউইথ এবং শক্তি দক্ষতার উন্নতি অনুসরণ করেছে। আপনাকে Y-অক্ষের লেবেল ছাড়াই এই প্রযুক্তিগত মিটিংটি ভালোভাবে উপভোগ করতে হবে।

এখানে, Micron একটি টাইপিক্যাল GPU প্রদর্শন করেছে, যার প্যাকেজ ক্ষেত্রফল 12,000 বর্গ মিলিমিটারের বেশি, যার মধ্যে বেস চিপ এবং আটটি HBM4 মেমোরি ইনস্ট্যান্স অন্তর্ভুক্ত। এর অর্থ হলো, 12 স্তর HBM4 মেমোরি ব্যবহার করলে, মেমোরি সিলিকনের ক্ষেত্রফল GPU চিপের ক্ষেত্রফলের 8 গুণেরও বেশি হতে পারে। এটি সত্যিই একটি খুব সহজবোধ্য প্রদর্শন।

HBM মেমোরি ব্যান্ডউইথের সীমানা বাড়িয়ে দিয়েছে, যা মেমোরি-ঘন এআই ওয়ার্কলোডগুলিকে মেমোরি সীমানা অতিক্রম করার আগেই দ্রুততরভাবে চালানোর অনুমতি দেয়।

মাইক্রনের বক্তৃতাটি এখন HBM কী এবং HBM-এর প্রতিটি প্রজন্মের বিকাশের ইতিহাস সম্পর্কে বিস্তারিতভাবে আলোচনা করছে। পণ্যের টেবিলটি HBM1 থেকে HBM4 পর্যন্ত বিকাশের প্রক্রিয়া দেখায়। প্রতিটি প্রজন্মের HBM ডেটা রেট, পিউডো-চ্যানেল সংখ্যা এবং স্ট্যাকিং উচ্চতা বৃদ্ধি করেছে, যা উচ্চতর ব্যান্ডউইথ এবং বড় ক্ষমতা প্রদান করে।

HBM-এর ইনস্টলেশন পদ্ধতি স্ট্যান্ডার্ড এর সাথে EC C RDIMM ভিন্ন। নীচের চিত্রটি দেখায় যে কিভাবে HBM স্ট্যাক একটি হাইব্রিড ইন্টিগ্রেশন সিস্টেমে GPU বা অ্যাক্সেলারেটরের সাথে একীভূত হয় এবং একটি সিস্টেম-লেভেল প্যাকেজ (SiP) হিসাবে প্যাকেজ করা হয়, একক স্লট মডিউল হিসাবে নয়। আমি মনে করি STH-এর অনেকেই এই ডিজাইনটি আগেই দেখেছেন।

প্রতিটি DRAM চিপে একাধিক স্বাধীন চ্যানেল থাকে, যার প্রতিটি চ্যানেলে দুটি প্রতিকৃতি চ্যানেল রয়েছে, HBM3E প্রতি চিপে 128টি মেমোরি ব্যাংক বহন করে, যেখানে HBM4 এটিকে দ্বিগুণ করে 256টিতে নিয়ে আসে। বেস চিপটি হোস্ট এবং DRAM স্ট্যাকের মধ্যে অবস্থিত, হোস্ট পাশে মাইক্রো-বাল্ব PHY এবং স্ট্যাক পাশে 3D TSV PHY ব্যবহার করা হয়, যা HBM3E-এর 1K IO থেকে HBM4-এর 2K IO-এ বৃদ্ধি পাওয়া উচ্চ-ঘনত্বের পয়েন্ট-টু-পয়েন্ট মিডিয়াটরের মাধ্যমে সংযুক্ত।

মাইক্রন এখন পারফরম্যান্স এবং ক্ষমতার মধ্যে ট্রেড-অফ দেখাচ্ছে। কিন্তু এখানে তারা পিসিবি ক্ষেত্রফল এবং শক্তি খরচের মধ্যে পার্থক্য প্রকাশ করেনি। হয়তো এটি পরবর্তী স্লাইডে দেখানো হবে?

মাইক্রন এখন এই গতির কারণে সিলিকন খরচ লক্ষ্য করছে। ডিজাইন আর্কিটেকচার, অ্যাডভান্সড প্যাকেজিং এবং উৎপাদন প্রক্রিয়ার জটিলতা সহ সমন্বিত খরচগুলির অর্থ হল যে, DDR5-এর সমান HBM3E ক্ষমতা অর্জনের জন্য প্রায় তিনগুণ সিলিকন প্রয়োজন।

মাইক্রন পরে তার বক্তৃতায় মেমোরির প্যারামিটারগুলির সমাপ্তি করেন যা কৃত্রিম বুদ্ধিমত্তার উদ্ভাবনকে সমর্থন করে, যার মধ্যে রয়েছে পারফরম্যান্স, ক্ষমতা এবং শক্তি খরচ।

আরও দ্রুত I/O লিঙ্ক এবং বড় ইন্টারপোজিটর সিপি প্রযুক্তির উন্নতিকে উৎসাহিত করছে, যার মধ্যে রয়েছে দ্রুততর I/O ডিজাইন, মেমোরির জন্য অপ্টিমাইজড SERDES এবং চিপ-বাই-চিপ PHY, এবং ইন্টারকানেকশনের পাশে কো-প্যাকেজড অপটিক্স। CoWoS-L এবং CoWoS-R এর মতো প্রযুক্তির উপর ভিত্তি করে বড় আকারের SiP এবং গ্লাস সাবস্ট্রেটও প্যাকেজিং প্রযুক্তির উন্নয়নের পথের অংশ।

এখন আমরা বিশ্বস্ততা, চিপ প্যাকেজিং ইন্টারঅ্যাকশন এবং RAS চ্যালেঞ্জ নিয়ে আলোচনা করি। হেটারোজিনিয়াস ইন্টিগ্রেশন HBM ডিভাইসে, বিভিন্ন উপাদানের মধ্যে তাপীয় প্রসারণ গুণাঙ্কের অসামঞ্জস্যতা তাপীয় যান্ত্রিক চাপ তৈরি করে। আসলে, আরও বড় পরিসরে দেখলে, এটিই Cerebras-এর WSE বাস্তবায়নের সময় একটি বড় চ্যালেঞ্জ। EC C কভারেজ দুটি স্তরে বিভক্ত: প্রথমত, HBM3, সিস্টেম স্তরে, প্রতিটি 256-বিট অ্যাক্সেস 16টি মেটা-বিট ব্যবহার করে; দ্বিতীয়ত, সিলিকনে বাস্তবায়িত সিম্বল-ভিত্তিক রিড-সোলোমন EC C।

তাপ নিয়ন্ত্রণের জন্য, DRAM চিপের ক্রিয়াকলাপ বৃদ্ধি, স্তরীকরণের উচ্চতা বৃদ্ধি এবং উন্নত চিপ ভিত্তিক ফাংশনগুলি তাপ উৎপাদন বৃদ্ধি করে। মাইক্রন বলেছেন যে, ব্যান্ডউইথ এবং ক্ষমতা বিস্তারের জন্য প্রয়োজনীয় তাপ বিচ্ছুরণ উদ্ভাবনগুলি হল তরল শীতলন, মিশ্রিত বন্ধন এবং সোল্ডার এবং সাইড মোল্ডের উন্নতি।

এনক্যাপসুলেশন ট্রেন্ড শেষ হতে চলেছে।

সামগ্রিকভাবে, এই ডেটা দেখায় যে মাইক্রন টেকনোলজি কিভাবে কৃত্রিম বুদ্ধিমত্তার ক্ষেত্রে মেমোরি আর্কিটেকচারের উন্নয়নের সাথে খাপ খাইয়ে নিচ্ছে। মাইক্রন টেকনোলজি HBM-এর ব্যান্ডউইথ এবং ক্ষমতা বাড়ানোর সাথে এই পরিমাণ মেমোরি কম্পিউটিং ইউনিটের পাশে রাখার ফলে হওয়া প্যাকেজিং, তাপ বিনিময় এবং বিশ্বস্ততা খরচের মধ্যে ভারসাম্য বজায় রাখছে।

হাই-ব্যান্ড মেমোরি (HBM) এর ভবিষ্যৎ প্রবণতা কী হতে পারে?

এই লেখাটি ওয়েইচ্যাট গ্রুপ "সেমিকনডাক্টর ইন্ডাস্ট্রি ওবজারভার" (ID: icbank) থেকে এসেছে, লেখক: সম্পাদকীয় দল