AI चिप की प्रतिस्पर्धा का ढांचा गहराई से बदल रहा है। OpenAI ने LLM निष्कर्षण के लिए Jalapeño चिप जारी की है, NVIDIA ने GPU को Groq LPU के साथ जोड़कर हाइब्रिड कंप्यूटिंग प्राप्त की है, और Google ने ट्रेनिंग और इन्फरेंस को TPU 8t और TPU 8i नामक दो अलग-अलग चिप्स में विभाजित कर दिया है। ये तीनों रास्ते ट्रेनिंग और इन्फरेंस की हार्डवेयर संसाधनों की अलग-अलग आवश्यकताओं को दर्शाते हैं: ट्रेनिंग मैट्रिक्स कैलकुलेशन और बड़े पैमाने पर कनेक्टिविटी पर केंद्रित है, जबकि इन्फरेंस को अधिक HBM बैंडविड्थ, बड़ा SRAM और छोटे नेटवर्क पथ की आवश्यकता होती है। जैसे-जैसे इन दोनों प्रकार के workload के लिए चिप के संयोजन में अंतर बढ़ रहा है, FLOPS अब एकमात्र मापदंड नहीं है, Token लागत AI हार्डवेयर प्रतिस्पर्धा का नया मापदंड बन रही है।

लेखक, स्रोत: लेफेंगवेन

Token की लागत बड़े मॉडल हार्डवेयर प्रतिस्पर्धा का एक नया मापदंड बन गई है

Embodied Intelligence invades the greasy kitchen

मिलियन ट्रैफिक के तहत रोबोट की नौकरी

पूर्व Covariant AI उपाध्यक्ष, जोउपु स्वी-शु ने LPU की भूमिका को वेरा रुबिन के लो-लेटेंसी डिकोड रिजन में खाई को भरने के रूप में सारांशित किया।

ग्रोक का चिप डिज़ाइन भी इसी बात पर केंद्रित है। एक LPX रैक में 256 LPU होते हैं, जिनका कुल योग केवल 128 GB SRAM है, जिसकी क्षमता GPU रैक में HBM के साथ तुलना की जा सकती है, लेकिन संग्रहीत SRAM बैंडविड्थ 40 PB/s तक पहुँच सकती है।

इस डिज़ाइन में "निकटता" पर जोर दिया गया है। HBM कई मॉडल स्टेट्स को स्टोर कर सकता है, लेकिन यह कैलकुलेशन यूनिट से दूर होता है; SRAM महंगा होता है और इसकी क्षमता बढ़ाना कठिन होता है, लेकिन डेटा चिप के अंदर ही होता है, जिससे अत्यधिक बैंडविड्थ और बहुत कम एक्सेस लेटेंसी प्रदान की जा सकती है।

प्रत्येक चरण में किए जाने वाली गणनाएँ सीमित होती हैं, और डेटा को बार-बार प्राप्त किया जाता है, इसलिए डेटा को ALU के अधिक करीब रखने से अगले टोकन के प्रतीक्षा समय पर बहुत सीधा प्रभाव पड़ता है।

Groq ने डायनामिक हार्डवेयर कंट्रोल को भी और कम कर दिया है। LPU एक निर्धारित निष्पादन आर्किटेक्चर है, जिसमें निर्देश स्केड्यूलिंग मुख्य रूप से सॉफ्टवेयर द्वारा पहले से ही पूरी की जाती है। प्रत्येक चिप एक साथ प्रोसेसर और राउटर के रूप में कार्य करता है, और कंपाइलर कंप्यूटेशनल संसाधनों और नेटवर्क संसाधनों को एक साथ स्केड्यूल करता है, यहाँ तक कि पारंपरिक हार्डवेयर फ्लो कंट्रोल और वर्चुअल चैनल जैसे मैकेनिज़म को भी छोड़ दिया जाता है।

लागत भी स्पष्ट है: यह आर्किटेक्चर GPU जितना सामान्य नहीं है, और ऑन-चिप SRAM में पूरा बड़ा मॉडल स्टेट फिट नहीं होता। इसलिए NVIDIA ने Groq 3 को पूरे मॉडल को स्वतंत्र रूप से चलाने की बजाय एक अधिक जटिल हाइब्रिड सिस्टम बनाया।

Prefill GPU पर किया जाता है, जबकि अधिकांश Decode LPU पर किया जाता है; Decode के भीतर Attention को फिर से GPU पर लौटाया जा सकता है। GPU और LPU अपने-अपने KV Cache को अलग-अलग रखते हैं, और दोनों के बीच मुख्य रूप से draft Tokens का आदान-प्रदान होता है, साथ ही micro-batch के माध्यम से गणना और संचार को ओवरलैप किया जाता है। चूंकि LPU सिंक्रोनस डोमेन है, जबकि GPU और बाहरी KV Cache असिंक्रोनस सिस्टम हैं, NVIDIA ने दोनों के बीच असिंक्रोनस ब्रिज के रूप में FPGA भी शामिल किया है।

यह संरचना यह बताती है कि AI चिप्स की विशेषज्ञता कितनी आगे बढ़ चुकी है। यह केवल “ट्रेनिंग चिप” और “इन्फरेंस चिप” तक ही नहीं, बल्कि एक ही Decode के अलग-अलग हिस्सों को भी अलग-अलग आर्किटेक्चर पर निष्पादित कर सकती है।

हालांकि NVIDIA द्वारा प्रस्तुत डेटा इस रास्ते की सीमाएं भी दर्शाता है: जब व्यवसाय केवल कुल थ्रूपुट की ओर ध्यान केंद्रित करता है और उच्च लेटेंसी को स्वीकार कर सकता है, तब Rubin GPU अभी भी बहुत कुशल है; जैसे-जैसे एकल उपयोगकर्ता Token की गति की मांग बढ़ती है, LPX ही धीरे-धीरे अपना लाभ प्रदर्शित करने लगता है, और अधिक LPU का उपयोग करने के बाद, कुल थ्रूपुट कुशलता भी कम हो जाती है।

इसलिए Groq 3 के आने का मतलब यह नहीं है कि GPU को इन्फरेंस के लिए बेकार कर दिया गया है। इससे एक अलग बात सामने आती है: एक ही GPU एक साथ उच्च थ्रूपुट और अत्यधिक कम लेटेंसी दोनों को पकड़ने में कठिनाई का सामना करती है, जबकि दोनों हार्डवेयर को अपने-अपने अधिक कुशल क्षेत्र में काम करने देने से सिस्टम की प्रदर्शन वक्र को आसानी से अलग किया जा सकता है।

Google ने इस कट को अधिक ऊपरी स्तर पर रखा है।

ट्रेनिंग और इन्फरेंस के लिए दो अलग चिप रेसिपी का उपयोग करें

Google ने TPU 8 पीढ़ि में TPU 8t और TPU 8i दोनों को एक साथ बनाया,t ट्रेनिंग के लिए,i इन्फरेंस के लिए। इस विभाजन के पीछे का तर्क सीधे चिप के मेमोरी कॉन्फ़िगरेशन पर लिखा गया है।

हॉट चिप्स के लाइव प्रदर्शन में, TPU 8t का उपयोग 6 समूह HBM के साथ किया जाता है, जबकि TPU 8i ने 8 समूह का उपयोग किया। Google द्वारा दिया गया स्पष्टीकरण है कि निष्कर्षण के लिए प्रति इकाई गणना को अधिक HBM की आवश्यकता होती है, साथ ही अधिक SRAM की आवश्यकता होती है, इसलिए 8i ने अधिक संसाधन SRAM, मेमोरी क्षमता और बैंडविड्थ के लिए आवंटित किए।

यह अंतर गहराई से सोचने लायक है। यदि AI चिप केवल मैट्रिक्स कैलकुलेशन क्षमता की तुलना कर रही है, तो इन्फरेंस वर्जन के पास मेमोरी पर इतने अधिक चिप क्षेत्रफल और पैकेजिंग संसाधन खर्च करने का कोई कारण नहीं होना चाहिए। TPU 8i का यह डिज़ाइन यह दर्शाता है कि Google को बॉटलनेक डेटा आपूर्ति में स्थानांतरित हो चुका है।

ट्रेनिंग के दौरान, बड़े बैच वजन पढ़ने की लागत को कई टोकन पर बांट देते हैं; डिकोड में प्रत्येक उत्पन्न टोकन कम होता है, लेकिन वजन और KV कैश को अभी भी बार-बार एक्सेस किया जाता है। इसलिए, प्रति इकाई FLOPS के लिए कितनी HBM बैंडविड्थ की आवश्यकता होती है, इसका उत्तर दोनों कार्यों के लिए अलग-अलग होता है।

गूगल ने इस अंतर को नेटवर्क टॉपोलॉजी तक ले गया है। पिछले समय TPU के लिए आमतौर पर 3D Torus का उपयोग किया जाता था, जो प्रशिक्षण के लिए अधिक उपयुक्त है और बड़े क्लस्टर में कुल थ्रूपुट पर ध्यान केंद्रित करता है। TPU 8i BoardFly का समर्थन करता है, जिससे नेटवर्क पथ छोटे होते हैं: BoardFly का पथ सीमा 7 hops है, जबकि 3D Torus 16 hopsतक पहुँचता है।

ट्रेनिंग के लिए, कुछ अतिरिक्त नेटवर्क हॉप्स के बाद अक्सर एक बड़ा मैट्रिक्स कैलकुलेशन होता है, जिससे संचार समय को बांटा जा सकता है। डिकोड करते समय प्रत्येक कदम की कैलकुलेशन विंडो छोटी होती है, जिससे कुछ हॉप्स की नेटवर्क लेटेंसी सीधे टोकन अंतर में आ जाती है।

MoE इस समस्या को और अधिक स्पष्ट करता है। MoE एक टोकन को केवल कुछ एक्सपर्ट्स को सक्रिय करने देता है, जिससे गणना के मामले में लाभ होता है, लेकिन राउटर टोकन को विभिन्न एक्सपर्ट्स पर भेजता है। जब ये एक्सपर्ट्स विभिन्न चिपों पर स्थित होते हैं, तो गणना कम होती है, लेकिन All-to-All संचार बढ़ जाता है।

इसलिए TPU 8i में Collective Acceleration Engine भी शामिल किया गया है, जो कुछ collective ऑपरेशन्स को नेटवर्क इंटरफेस के पास I/O Die पर प्रोसेस करता है। डेटा को पहले Compute Die में ले जाने और HBM के माध्यम से ऑपरेशन पूरा करने की आवश्यकता नहीं है, जिससे चिप के अंदर डेटा स्थानांतरण का एक हिस्सा सीधे बच जाता है।

训练版 TPU 8t 的资源分配则明显朝另一边倾斜。训练需要大量 FLOPS，也需要巨大的 Scale-Up 域去同步参数和梯度。TPU 8t 的 Superpod 可以扩展到 9600 颗芯片，拥有约 2 PB 共享 HBM 和 121 EFLOPS FP4 聚合计算能力，Google 还为它引入 Virgo 网络，把更大范围的训练连接做成专门体系。

गूगल ने ऑनलाइन एक वास्तविक चिप डिजाइन समस्या का उल्लेख किया: डार्क सिलिकॉन।

चिप का क्षेत्रफल और शक्ति बजट सीमित है। यदि एक ही चिप में ट्रेनिंग के लिए आवश्यक बड़ी मैट्रिक्स कैलकुलेशन संसाधनों के साथ-साथ इन्फरेंस के लिए अधिक SRAM, HBM और निम्न लेटेंसी नेटवर्क भी शामिल किए जाते हैं, तो किसी एक प्रकार के workload के समय हमेशा कुछ सर्किट लंबे समय तक अनुपयोगी रहते हैं।

चूंकि दोनों कार्यों के लिए अलग-अलग संसाधन अनुपात की आवश्यकता होती है, इसलिए सीधे दो चिप्स बनाना अधिक स्पष्ट होगा।

FLOPS से टोकन अर्थशास्त्र तक

तीनों रास्तों को एक साथ रखने पर, अंतर स्पष्ट है।

OpenAI Jalapeño करता है, जिसमें चिप को LLM निष्पादन के स्तर तक विशिष्ट किया जाता है, लेकिन Prefill और Decode को समान हार्डवेयर पर लचीले ढंग से शेड्यूल किया जाता है; NVIDIA आगे नीचे जाता है, जिससे GPU और Groq LPU एक निष्पादन के विभिन्न चरणों को साझा करते हैं; Google ऊपर की ओर काटता है, जिससे प्रशिक्षण और निष्पादन को सीधे दो TPU में बदल दिया जाता है।

इन रास्तों के पीछे कोई रहस्यमयी नए गणना सिद्धांत नहीं हैं, बदलाव केवल संसाधन अनुपात में है। प्रशिक्षण में अधिक ट्रांजिस्टर को मैट्रिक्स गणना और विशालकाय संबंधन में लगाने की इच्छा होती है, क्योंकि उच्च बैच आकार डेटा स्थानांतरण लागत को वितरित करता है; निम्न लेटेंसी निष्पादन को उच्च HBM बैंडविड्थ, बड़ा SRAM, बेहतर KV कैश स्थानीयता और छोटे नेटवर्क पथ की आवश्यकता होती है, क्योंकि कई समय का उपयोग डेटा का इंतजार करने में होता है।

जब दो प्रकार के लोड को आवश्यक “चिप रेसिपी” एक दूसरे से अधिक अलग होती जा रही होती है, तो एक ही सामान्य चिप के साथ उन दोनों की सेवा करने से दक्षता में हानि स्पष्ट रूप से बढ़ती जाएगी।

यही कारण है कि इस हार्डवेयर प्रतिस्पर्धा के केंद्र में बदलाव आ रहा है। FLOPS अभी भी महत्वपूर्ण है, लेकिन इसके साथ Tokens/s/user、TBT、TTFT、Tokens/kW、HBM बैंडविड्थ और नेटवर्क लेटेंसी भी सामने आ रहे हैं।

वे वास्तव में एक ही चीज का वर्णन कर रहे हैं: हैशरेट पहले से ही वहाँ है, प्रणाली क्या लगातार डेटा प्रदान कर सकती है और उत्पन्न टोकन को जल्द से जल्द बाहर भेज सकती है।

OpenAI, NVIDIA और Google अभी अलग-अलग बॉर्डर चुन रहे हैं, और आगे जो वास्तविक रूप से बदलेगा, वह यह होगा कि यह बॉर्डर कहाँ खींचा जाए।

ट्रेनिंग और इन्फरेंस को अलग किया जा सकता है, प्रीफिल और डिकोड को अलग किया जा सकता है, और डिकोड के भीतर एटेंशन और अन्य कैलकुलेशन को भी आगे अलग किया जा सकता है। जितना अधिक विस्तार से विभाजित किया जाएगा, उतनी ही आसानी से प्रत्येक घटक की दक्षता में सुधार हो सकता है, लेकिन संसाधन नियोजन, KV कैश का स्थानांतरण और हार्डवेयर के बीच संचार अधिक जटिल हो जाएगा।

इसलिए अगले चरण में AI चिप प्रतिस्पर्धा की चुनौती, शायद केवल एक अधिक शक्तिशाली चिप बनाने की नहीं है।

अधिक कठिन बात यह निर्णय लेना है: कौन से कार्यों के लिए अलग से एक चिप बनाना उचित होगा और कौन से कार्य अभी भी एक ही हार्डवेयर पर रखे जाएँ, ताकि पूरे सिस्टम की टोकन लागत कम हो।