OpenAI का जलपेन्यो चिप NVIDIA के ब्लैकवेल से दक्षता में बेहतर प्रदर्शन करता है

लेखक: SemiAnalysis

संपादित: शेनचाओ टेकफ्लो

शेनचाओ का सारांश: OpenAI का पहला स्व-विकसित निष्कर्षण चिप Jalapeño के प्रयोगात्मक डेटा सामने आए हैं, जो न्वाइडिया के वर्तमान फ्लैगशिप Blackwell की ऊर्जा कुशलता को सीधे पीछे छोड़ देता है और अगली पीढ़ी के Rubin के करीब पहुँच जाता है। डेटा सेंटर के बिजली की सीमाओं से जूझ रही AI कंपनियों के लिए, यह चिप संभवतः कैलकुलेशन मार्केट के पैटर्न को बदल सकती है। हालाँकि, पहली पीढ़ी के चिप की CUDA इकोसिस्टम पर वास्तविक रूप से प्रभाव डालने की क्षमता अभी भी एक प्रश्नचिह्न है।

पिछले दो वर्षों में, OpenAI ने "Jalapeño" नामक इन्फरेंस चिप का निर्माण चुपचाप किया है, जिसकी घोषणा हाल ही में Hot Chips पर की गई है। चिप के सफल फैब्रिकेशन की अफवाहें पहले से ही फैल चुकी थीं। लेकिन अब हमें विस्तार से जानकारी मिली है। OpenAI ने हमें चिप देखने, प्रयोगशाला में जाकर इसकी वास्तविकता की पुष्टि करने और हमारे InferenceX किट का उपयोग करके बेंचमार्क करने के लिए आमंत्रित किया है।

इस वर्ष जून में, OpenAI ने ब्रॉडकॉम के साथ मिलकर एक चिप प्रोजेक्ट की घोषणा की, जिसे LLM निष्पादन के लिए शून्य से डिज़ाइन किया गया है। डिज़ाइन कार्य 2024 के मध्य से शुरू हुआ, और प्रारंभिक टीम भर्ती से लेकर निर्माण तक केवल लगभग 16 महीने लगे, जो एक अत्यंत तेज ASIC विकास चक्र है।

आम तौर पर पहली पीढ़ी के चिप्स प्रतिस्पर्धी नहीं होते, लेकिन OpenAI ने इसके विपरीत किया और कई शीर्ष ओपन सोर्स मॉडल्स पर हमने जिन निवेडिया, एएमडी और गूगल चिप्स का परीक्षण किया, उन सभी को हरा दिया और उद्योग में अग्रणी स्थिति प्राप्त की। OpenAI की सफलता का रहस्य अत्यधिक सॉफ्टवेयर-हार्डवेयर समन्वय है। आश्चर्यजनक बात यह है कि OpenAI ने मॉडल इन्फरेंस के किसी विशिष्ट पहलू पर अत्यधिक ध्यान केंद्रित नहीं किया, बल्कि सभी परिदृश्यों में उच्च प्रदर्शन प्रदान करने वाला एक सामान्य चिप बनाने पर केंद्रित रहा।

यह लेख Jalapeño के InferenceX पर आर्किटेक्चर विवरण, सॉफ्टवेयर विवरण और प्रदर्शन परिणामों की गहराई से व्याख्या करेगा।

सभी कहते हैं कि OpenAI का चिप OpenAI मॉडल के लिए विशेष रूप से डिज़ाइन किया गया है, लेकिन यह गलत है, OpenAI ने AI निष्कर्षण के लिए एक सामान्य चिप बनाया है।

टाइमलाइन बहुत पागलपन भरी है। यह साबित करता है कि "AI के साथ चिप डिज़ाइन को तेज़ करना" का दावा सच है। हालाँकि टाइमलाइन तेज़ है, लेकिन OpenAI ने बहुत पैसा खर्च किया है, व्यावहारिक डिज़ाइन निर्णय लिए हैं, और टीम बहुत मजबूत है, इसलिए यह आश्चर्यजनक नहीं है।

केवल विनिर्देशों को देखकर, यह तुरंत एक मजबूत प्रतिस्पर्धी है:

और HBM4 का उपयोग करके इसे निविडा और AMD के फ्लैगशिप GPU के साथ तुलनीय बनाया गया है:

कई मीडिया रिपोर्ट्स ने ओपनएआई के कुछ बेकार के बयानों का पीछा किया और दावा किया कि यह चिप अपने मॉडल्स के लिए अन्य चिप्स के द्वारा असंभव तरीके से अनुकूलन करेगी। यह गलत है। जलपेन्यो एक सामान्य निष्पादन चिप है, जो विभिन्न मॉडल्स और विभिन्न कार्यभारों को संचालित कर सकती है, जिसमें हमारा InferenceX बेंचमार्क भी शामिल है—हमने इसे ओपनएआई इंजीनियर्स के साथ प्रयोगशाला में चलाया था। मजाक में, ओपनएआई ने हमें यह भी दिखाया कि उनकी चिप पर केवल Codex प्रॉम्प्ट का उपयोग करके移植 किए गए डायब्लो के साथ कैसे खेला जा सकता है।

नीचे हमारे सबसे महत्वपूर्ण प्रदर्शन/वाट परिणाम दिए गए हैं, जिनमें प्रति मेगावाट कुल शक्ति खपत के आधार पर टोकन थ्रूपुट को देखा गया है। Jalapeño सभी अन्य चिप्स को पूरी तरह से हरा देता है। यह सब मल्टी-टोकन प्रेडिक्शन (MTP) का उपयोग किए बिना किया गया है, जबकि ग्राफ में दिखाए गए अन्य चिप्स अपने-अपने SKU के सर्वोत्तम कॉन्फ़िगरेशन में हैं और सभी में MTP सक्षम है।

जलपेन्यो हर स्थिति में ब्लैकवेल की तुलना में प्रदर्शन/वाट के मामले में बेहतर है, और इसे किसी विशिष्ट बिंदु के लिए ऑप्टिमाइज़ नहीं किया गया है। यह न केवल लो-लेटेंसी स्थितियों में उत्कृष्ट प्रदर्शन करता है, बल्कि हाई-थ्रूपुट स्थितियों में भी शानदार है। एक अधिक न्यायसंगत तुलना एकल टोकन प्रेडिक्शन पर आधारित है, जहाँ जलपेन्यो हर प्रतिद्वंद्वी को कई कदम आगे छोड़ देता है। कम समानांतरता स्थितियों में, जलपेन्यो अद्भुत इंटरैक्टिविटी प्रदर्शित करता है, DeepSeek R1 मॉडल पर, 1 समानांतरता पर प्रति उपयोगकर्ता प्रति सेकंड 700 से अधिक टोकन।

अविश्वसनीय बात यह है कि यह सब एकल टोकन पूर्वानुमान (STP) के साथ, बिना अनुमानित डिकोडिंग के और बिना प्री-फिलिंग-डिकोडिंग अलगाव के प्राप्त किया गया है। DeepSeek R1 के अलावा, हमने कुछ अन्य मॉडल जैसे Kimi-K2.5 और GPT-OSS भी देखे हैं, जो लगभग प्रति उपयोगकर्ता प्रति सेकंड 1,400 टोकन तक पहुँच गए हैं। सभी मॉडल के लिए, हमने पुष्टि की है कि Jalapeño का GSM8k मूल्यांकन नेविडिया चिप्स के साथ समान है।

यहाँ कुछ ध्यान देने योग्य बातें हैं। पहली, सभी डेटा OpenAI द्वारा प्रदान किए गए हैं। हमने अपने प्रयोगशाला में InferenceX का संचालन सत्यापित किया है, लेकिन पूर्ण InferenceX बेंचमार्क सूट नहीं चलाया है, और AgentX के परिणाम भी नहीं देखे हैं। AgentX हमारा चिप प्रदर्शन की तुलना करने के लिए प्राथमिक सूट है, क्योंकि इसके डेटासेट की अत्यधिक लंबी संदर्भ और बहु-चरण प्रकृति, वास्तविक उत्पादन कार्यभार के तहत कैशिंग व्यवहार को प्रतिबिंबित करती है। 8k1k पर अच्छा प्रदर्शन करने वाले फ्रेमवर्क, AgentX पर बुरा प्रदर्शन कर सकते हैं, क्योंकि वास्तविक उत्पादन लोड रूटर, प्रीफिक्स कैशिंग मैकेनिज़म, कैश प्रबंधन, और ऑफलोडिंग बुनियादी ढांचे जैसे घटकों को टेस्ट करता है। सिंगल-राउंड 8k1k परीक्षण इन्हें कवर नहीं करता। अधिक जानकारी के लिए हमारे AgentX लेख को पढ़ें।

AgentX - InferenceXv3: क्या CUDA की खाई एजेंट निष्कर्षण में अभी भी टिक पाएगी?

दूसरा, हम मानते हैं कि ब्लैकवेल के साथ तुलना कुछ अपूर्ण और थोड़ी अन्यायपूर्ण है। जलपेन्यो का वास्तविक प्रतिद्वंद्वी उन चिप्स हैं जो HBM4 का उपयोग करते हैं, जैसे कि रूबिन। वेरा रूबिन सिस्टम अभी ग्राहकों को शिप करना शुरू कर चुका है, जबकि OpenAI का जलपेन्यो अभी केवल इंजीनियरिंग सैंपल है और बड़े पैमाने पर उत्पादन के लिए अभी भी कुछ समय की आवश्यकता है।

इसलिए, प्रदर्शन का वास्तविक तुलना Rubin के साथ होना चाहिए, न कि Blackwell के साथ। किसी अर्थ में, हम यही अपेक्षा करते थे कि Jalapeño जैसे कस्टम चिप्स Blackwell को पार कर जाएंगे। Vera Rubin NVL72 का प्रदर्शन/वाट GB200 NVL72 की तुलना में 5.4 गुना है, जिसके बारे में हमने पिछले महीने NVIDIA और CoreWeave के प्रदर्शन दावों के विश्लेषण में लिखा था। हम बाद में Jalapeño की Vera Rubin के जुलाई प्रदर्शन डेटा की तुलना करेंगे।

Vera Rubin NVL72 बनाम GB200 NVL72? रीजनिंग TCO और आर्किटेक्चर विश्लेषण

तीसरा, परीक्षण किए गए मॉडल ओपन सोर्स के सबसे अग्रणी स्तर पर नहीं हैं। न्वीडिया और एएमडी ने पहले ही AgentX के माध्यम से बड़े मॉडल्स जैसे DeepSeek V4 Pro और Kimi K3 के परिणाम प्रकाशित कर दिए हैं। जितना बड़ा और नया मॉडल होता है, उतना ही नए चिप पर इसे चलाना जटिल होता है। हालांकि, OpenAI द्वारा Jalapeño पर चलाया गया मॉडल छोटा नहीं है।

OpenAI का डिजाइन लक्ष्य प्रदर्शन/वाट है। कारण सरल है: OpenAI वर्तमान में डेटासेंटर बिजली से सीमित है, न कि बजट या सर्वर रूम स्थान से, इसलिए प्रति मेगावाट टोकन की संख्या महत्वपूर्ण है। Computex 2026 पर, हुआंग रेनशुन ने कहा कि प्रदर्शन/वाट, विश्वसनीयता और लंबी जीवनकाल भविष्य के GPU की मुख्य विशेषताएँ हैं। उनके शब्दों में: "अगर आपके पास 1 गीगावाट बिजली है, तो प्रति वाट थ्रूपुट ही आय है।" उन्होंने यह भी कहा कि केवल इसलिए कि चिप सस्ती है, गलत आर्किटेक्चर का चयन करना बेकार है।

निविडा ने Hot Chips 2026 के Vera स्पीच में भी इस बात पर जोर दिया और समान आय चार्ट दिखाया: "आज के डेटासेंटर बिजली के प्रतिबंधों से प्रभावित हैं।" बिजली महत्वपूर्ण है और आय को चलाती है।

ऑपरेटर्स को आसानी से अधिक मेगावॉट प्राप्त नहीं कर सकते। GPU बढ़ाने और ग्रिड क्षमता बढ़ाने के समय स्केल में भारी अंतर है। डेटा सेंटर बिजली की सीमा कई प्रतिबंधों से प्रभावित है। उदाहरण के लिए, यूटिलिटी इंटरकनेक्शन, बुनियादी ढांचा, शीतलन क्षमता और UPS/बैकअप जनरेटर डिज़ाइन। ग्रिड देरी अक्सर हार्डवेयर और निर्माण की प्रगति से आगे निकल जाती है, जिससे बिजली के बाद क्षमता की मांग पैदा होती है। यानी, डेटा सेंटर के स्थान पर गैस टरबाइन और स्थानीय जनरेटर बनाना। ये क्षमताएं यूटिलिटी मीटर के बाद स्थित होती हैं और सार्वजनिक ग्रिड पर निर्भर नहीं करतीं। इससे ऑपरेटर्स को ग्रिड इंटरकनेक्शन और यूटिलिटी अपग्रेड का इंतजार किए बिना सुविधा को बिजली प्रदान करने की सुविधा मिलती है। xAI का Colossus 2 इसी कारण से बाद की बिजली क्षमता पर गहरी निर्भरता रखता है, जबकि इसका वास्तविक ग्रिड कनेक्शन काफी पीछे है। अधिक जानकारी के लिए हमारे ऊर्जा मॉडल को देखें।

जैसा कि हमने X पोस्ट में लिखा था, tok/s/MW को प्रति जूल टोकन के रूप में सरल किया जा सकता है। क्योंकि वाट प्रति सेकंड जूल है। इसलिए tok/s/MW प्रणाली की दक्षता और ऊर्जा को टोकन में परिवर्तित करने की क्षमता को दर्शाता है।

इस संदर्भ में, जलपेंयो, रुबिन की तुलना में भी श्रेष्ठ है। OpenAI का जलपेंयो, प्रति मेगावाट STP टोकन थ्रूपुट पर, वेरा रुबिन के MTP परिणाम को पार कर जाता है। यह परिणाम नवीम्बर में NVIDIA और CoreWeave द्वारा प्रकाशित किया गया था। यह GB200 के 2025 के MTP परिणाम से भी काफी अधिक है। जैसा कि हमने वेरा रुबिन लेख में उल्लेख किया, VR की तुलना 2025 के GB200 परिणाम से की गई है। इसका कारण यह है कि दोनों समान प्रारंभिक शुरुआती चरण में हैं। साथ ही, 2025 के GB200 के साथ तुलना सॉफ्टवेयर परिपक्वता को स्थिर रखती है। इसी तर्क के अनुसार, हम तीन प्रकार के परिणामों की तुलना करते हैं: वेरा रुबिन का नवीनतम 2026 जुलाई परिणाम, GB200 का 2025 परिणाम, और वर्तमान जलपेंयो परिणाम। यह तुलना बहुत उचित है, क्योंकि ये सबसे अच्छे उपलब्ध रुबिन डेटा हैं। साथ ही, OpenAI ने रुबिन के बाद ही अपना चिप लॉन्च किया है। OpenAI और Rubin दोनों अभी अपरिपक्व हैं, इसलिए प्रदर्शन अभी भी सुधरता रहेगा।

प्रदर्शन/कुल स्वामित्व लागत के संदर्भ में, वेरा रुबिन और जलपेन्यो समान प्रदर्शन रखते हैं। प्रति डॉलर लगभग समान आउटपुट टोकन की संख्या उत्पन्न होती है। हालाँकि, जैसा कि पहले बताया गया है, जलपेन्यो के परिणामों में अनुमानित डिकोडिंग का उपयोग नहीं किया गया है। वेरा रुबिन के परिणामों में अनुमानित डिकोडिंग का उपयोग किया गया है। अनुमानित डिकोडिंग प्रति टोकन लागत को लगभग 3-5 गुना कम कर सकती है। जब जलपेन्यो अनुमानित डिकोडिंग को लागू करेगा, तो इसकी टोकन सेवा प्रदान करने की लागत-दक्षता अधिक होगी। निश्चित रूप से, TCO के कुछ लाभों का कारण उच्च मुनाफा मार्जिन वाले NVIDIA से हटकर Broadcom के कम (लेकिन अभी भी उच्च) मुनाफा मार्जिन पर स्थानांतरित होना है। लेकिन यह सब कारण नहीं है। उदाहरण के लिए, Meta और Microsoft के AI ASIC प्रोजेक्ट्स में अधिक समय लगा, लेकिन वे सफलतापूर्वक लॉन्च नहीं हो पाए। इससे पता चलता है कि लागत केवल समीकरण का एक हिस्सा है। Jalapeño की पूर्ण TCO विभाजन के लिए, SemiAnalysis AI Cloud TCO मॉडल देखें।

आर्किटेक्चरल रूप से, OpenAI ने प्रीफिल (prefill) और डिकोड (decode) को अलग-अलग चिप पूल में विभाजित नहीं किया है। ड्राफ्ट मॉडल और मुख्य मॉडल एक ही चिप और इंटरकनेक्ट स्ट्रक्चर को साझा करते हैं। इस डिजाइन दृष्टिकोण ने कुछ सैद्धांतिक कुशलता की बदले में वास्तविक संचालन की सुविधा को प्राथमिकता दी है। इसका उद्देश्य यह है कि कार्यभार की संरचना समय के साथ बदलती रहती है। उदाहरण के लिए, इनपुट, कैश लिखना, कैश पढ़ना और आउटपुट टोकन का अनुपात पहले से ही महत्वपूर्ण रूप से बदल चुका है। यह परिवर्तन हमारे तीन मॉडल युगों—ज्ञान, तर्क और एजेंट—के अनुभव के बाद हुआ, जैसा कि हमारे हाल के लेख में चर्चा की गई है। इसलिए, यदि हम प्रीफिल और डिकोड सिलिकॉन के लिए पहले से ही असमान मात्रा निर्धारित करते, तो समय के साथ इससे कुशलता में कमी होती। OpenAI ने इस आर्किटेक्चर में समान पूल का चयन किया है और सभी कार्यों पर चिप्स को अच्छा प्रदर्शन करने के लिए प्रयास किया है।

और यह वास्तव में सफल रहा। Kimi K2.5 (जिस पर Cursor Composer 2.5 आधारित है) पर, Jalapeño 700 tok/s/user तक पहुँच गया। यह गति दूसरे सर्वश्रेष्ठ चिप की 100 tok/s/user की तुलना में 9 गुना से अधिक है।

GPT-OSS पर, एक और भी बड़ी छाप। Jalapeño की प्रति मेगावाट समान इंटरैक्टिव थ्रूपुट, GB200 के उच्चतम थ्रूपुट पॉइंट से लगभग दोगुना है। यह GB200 के कंकरेंट 1 पॉइंट से 50 गुना से अधिक है। अधिक कंकरेंट Jalapeño पॉइंट EP8 का उपयोग करते हैं।

ये परिणाम प्रभावशाली हैं! हालाँकि, हमें थोड़ा आलोचनात्मक होना चाहिए: ये केवल 8k1k हैं, जिनका ट्यूनिंग कठिनाई स्तर काफी कम है, और इनमें अभी तक AgentX के रनिंग डेटा नहीं हैं। जैसा कि हमने AgentX लेख में उल्लेख किया है, मल्टी-राउंड और लंबे कॉन्टेक्स्ट वर्कलोड इन्फरेंस स्टैक के अधिक पहलुओं पर दबाव डालते हैं। उदाहरण के लिए, रूटर और प्रीफिक्स कैश। एजेंट वर्कलोड में उत्कृष्ट प्रदर्शन के लिए अधिक अनुकूलन की आवश्यकता होती है। अधिक जानकारी के लिए AgentX लेख पढ़ें।

AgentX - InferenceXv3: क्या CUDA की खाई एजेंट निष्कर्षण में अभी भी बरकरार है?

ये सभी परिणाम Jalapeño के A0 स्टेप से आए हैं, जो केवल 9 महीने पहले प्रोजेक्ट शुरू हुआ था। लेकिन B0 स्टेप अब वेफर फैक्ट्री में है! B0 के अनुकूलन से A0 सिलिकॉन की तुलना में प्रति वाट प्रदर्शन लगभग 25% बेहतर हो गया है। विशेष रूप से, B0 स्टेप एकल मास्क साइज़ कैलकुलेशन चिप पर 13.4 PFLOPs MXFP4 प्राप्त करता है। यह चिप TSMC N3P पर निर्मित है। इसकी तुलना में, एकल Rubin कैलकुलेशन चिप समान आकार और समान नोड पर 17.5 PFLOPs सघन Rubin NVFP4 प्राप्त करता है।

जलपेंयो का TDP केवल 700W है, जबकि रूबिन प्रति कैलकुलेशन चिप 900-1150W है, इसलिए यह प्रदर्शन और भी प्रशंसनीय है। चूंकि जलपेंयो ट्रेनिंग के बजाय इन्फरेंस के लिए डिज़ाइन किया गया है, इसलिए OpenAI को FLOPs को अधिकतम करने के लिए TDP बढ़ाने की आवश्यकता नहीं है। यह समझ में आता है। लेकिन फिर भी, उपरोक्त परिणाम यह दर्शाते हैं कि जलपेंयो प्रति सेकंड उपलब्ध सैद्धांतिक FLOPs का एक महत्वपूर्ण मात्रा प्रदान करता है।

जब अन्य एक्सेलरेटर्स के साथ सीधी तुलना की जाती है, तो Jalapeño के पास प्रति वाट सबसे अधिक HBM बैंडविड्थ और प्रति वाट सबसे अधिक FLOPs हैं। यह स्तर 1800W Rubin Max-Q कॉन्फ़िगरेशन के समान है।

जलपेन्यो हेवी बैंडविड्थ मेमोरी 4 (HBM4) के साथ लॉन्च होगा, जिससे यह Nvidia और AMD के बाद इस तकनीक को अपनाने वाला एक अग्रणी चिप बन जाएगा, और पहले से मौजूद TPU और Trainium प्रोजेक्ट्स से भी आगे निकल जाएगा। Jalapeño के मुख्य आर्किटेक्चर सिद्धांतों में से एक HBM बैंडविड्थ को पूरी तरह से अधिकतम करना है, इसलिए उच्चतम स्तर के HBM का उपयोग न करना इस लक्ष्य के खिलाफ होगा। इससे प्रति पैकेज मेमोरी बैंडविड्थ 15.4TB/s हो जाती है, जो HBM3E का उपयोग करने वाले सभी अन्य एक्सेलरेटर्स से अधिक है। 15.4TB/s की बैंडविड्थ से पता चलता है कि HBM4 की पिन रेट 10Gbps होगी, जो Nvidia के Rubin में HBM4 की 9.6Gbps से थोड़ी अधिक है। HBM संभवतः सैमसंग द्वारा प्रदान किया जाएगा।

OpenAI ने 2025 नवंबर में Jalapeño की फ्लॉव को पूरा किया, जो बस टॉप-लेयर डाई नहीं, बल्कि CoWoS डिज़ाइन फ्लॉव है। 2025 नवंबर में फ्लॉव के बाद केवल 9 महीनों में, और केवल 3 महीनों के वास्तविक सिलिकॉन पर डीबगिंग के बाद, OpenAI ने Jalapeño के साथ बहुत अच्छे परिणाम प्राप्त किए हैं। इसे और भी प्रभावशाली बनाता है कि टीम ने सॉफ्टवेयर स्टैक पर शून्य से शुरुआत की थी।

इसी बीच, रुबिन का CoWoS फैब्रिकेशन 2025 अक्टूबर में पूरा हो गया, जो एक महीने पहले है, लेकिन हम जो एकल प्रारंभिक परिणाम देख रहे हैं, वे CoreWeave के प्रोटोटाइप से आए हैं। Nvidia ने OpenAI की तरह हमें बेंचमार्क चलाने और प्रकाशित करने की अनुमति नहीं दी है, जिससे लगता है कि उनके चिप का सॉफ्टवेयर अभी अपरिपक्व है। चूंकि OpenAI अपने स्वयं के चिप पर इतनी तेजी से नए मॉडल चला पा रहा है, CUDA की रक्षा की दीवार समाप्त हो सकती है।

वे अभी भी बहुत कम अनुकूलित हैं, और हम देख सकते हैं कि सामान्य रूप से Jalapeño ने बेहतर डेटा दिया है। हम नहीं मानते कि Nvidia हार्डवेयर खराब है, बल्कि Jalapeño का सॉफ्टवेयर डीबगिंग Nvidia की तुलना में तेजी से आगे बढ़ रहा है। यह हार्डवेयर/सॉफ्टवेयर सह-डिज़ाइन की शक्ति को दर्शाता है, जो शीर्ष अग्रणी प्रयोगशालाओं के ASIC टीमों को अधिक परिपक्व वाणिज्यिक चिप निर्माताओं से आगे निकलने का मुख्य क्षेत्र है। विपरीत रूप से, शून्य से शुरू करना OpenAI के लिए लाभदायक भी हो सकता है, क्योंकि इससे वह पिछले संगतता या पुराने सॉफ्टवेयर संस्करणों के प्रतिबंधों से मुक्त होकर पूरी तरह से नए आर्किटेक्चर निर्णय ले सकता है।

हालांकि OpenAI के पास Jalapeño इंजीनियरिंग प्रोटोटाइप पहले से मौजूद है, लेकिन बड़े पैमाने पर उत्पादन की योजना 2027 में धीरे-धीरे बढ़ाने की है, और अधिकांश उत्पादन को अगले साल के अंत तक निर्धारित किया गया है। इकाइयों की संख्या और औसत बिक्री मूल्य के बारे में अधिक विवरण के लिए SemiAnalysis Accelerator Model देखें।

यह कहा जा सकता है कि OpenAI Jalapeno एक वास्तविक बड़े पैमाने का ASIC है।

जलपेन्यो की गति रुबिन की टाइमलाइन की तुलना में अविश्वसनीय रूप से तेज है। जैसा कि पहले दिखाया गया है, हालाँकि रुबिन ने शुरुआत अधिक पहले की थी, लेकिन जलपेन्यो के परिणाम रुबिन से बेहतर हैं।

Jalapeño आर्किटेक्चर

गहरे आर्किटेक्चर के अनुसार, यह चिप एमएक्सएफपी मान मानक और वजन-स्थिर पल्सेटेड ऐरे का उपयोग करता है, जो TPU के समान है। लेकिन TPU की सीधी तुलना में, यह छोटे आकार/आयामों का समर्थन करता है, जिसका अर्थ है कि यह बड़े पल्सेटेड ऐरे पर असंगत आकारों के मैट्रिक्स गुणन की तरह अजीब प्रदर्शन क्लिफ नहीं दिखाता।

इसमें 64-बिट स्केलर कोर और FP32/INT32 वेक्टर कोर भी शामिल हैं। ओपनएआई ने ट्रे स्तर पर रिडंडेंसी डिज़ाइन में निवेश किया है और कोर और चैनल स्तर पर यील्ड रिकवरी को समाहित किया है। उनका दावा है कि AI-सहायता वाले चिप डिज़ाइन में SIMD क्षेत्र में 8% की कमी और मैट्रिक्स इंजन क्षेत्र में 10% की कमी हुई है। हालाँकि, उन्होंने कोई विशिष्ट प्रक्रिया/वोल्टेज/तापमान (PVT) परिस्थितियाँ नहीं बताई हैं, लेकिन AI-सहायता मॉड्यूल के तुलना में प्रारंभिक मॉड्यूल में समयबद्धता और बिजली की खपत में सुधार हुआ है।

Jalapeño आर्किटेक्चर डिज़ाइन KVCache और वेट्स के मेमोरी मूवमेंट और फिक्स्ड लेटेंसी और ओवरहेड को हटाने पर केंद्रित है, ताकि अन्य एक्सेलरेटर्स की तुलना में, छोटे बैच या छोटे आकार पर भी मूल शीर्ष कैलकुलेशन/बैंडविड्थ के करीब पहुँचा जा सके।

कोर और HBM को कई स्लाइस में विभाजित किया गया है, जिसमें प्रत्येक कोर स्लाइस अपने स्वयं के HBM स्लाइस के लिए निम्न लेटेंसी वाला स्थानीय दृश्य रखता है। स्लाइस के बीच समन्वय उच्च बैंडविड्थ वाले विशेष संग्रह नेटवर्क द्वारा किया जाता है। इस अत्यंत सरल मेमोरी हैरार्की ने Jalapeño को GPU की तुलना में विशाल संभावित लाभ प्रदान किया है, क्योंकि GPU के मेमोरी एक्सेस को जटिल मेमोरी सिस्टम के माध्यम से गुजरना पड़ता है, जिससे बड़े आकार पर बंटाए जाने या छुपाए जाने वाले बड़े लेटेंसी का उत्पादन होता है।

यह विकल्प संभव है क्योंकि भार और KV को सावधानी से स्थापित करके, कोर के बीच समन्वय को सीमित और ज्ञात उच्च बैंडविड्थ संचार पर ही सीमित रखा जा सकता है, जैसे कि गणना के साथ ओवरलैप होने वाला टेंसर समानांतर संचार।

एक अतिरिक्त सामान्य NoC भी है, जो सामान्य संचार और विस्तारित नेटवर्क तक पहुँच के लिए उपयोग किया जाता है। समग्र रूप से, OpenAI ने Nvidia और Google की तुलना में सरलीकृत NOC और मेमोरी सबसिस्टम के माध्यम से बड़ी मात्रा में ऊर्जा बचाई है और महत्वपूर्ण प्रदर्शन में वृद्धि प्राप्त की है।

मूल स्तर पर, OpenAI ने L1 कैश के साथ एक अनुक्रमित (OoO) कोर का वर्णन किया है। यह अन्य त्वरकों में देखे जाने वाले पैटर्न से बहुत भिन्न है, जहाँ सॉफ्टवेयर प्रबंधित स्टैटिक मेमोरी, अक्सर असमान DMA समर्थन के साथ, उपयोग किए जाते हैं। यहाँ का तर्क है कि इससे Jalapeño को बैरियर लेटेंसी जैसे स्थिर ओवरहेड से बचने की अनुमति मिलती है, जबकि अन्य त्वरकों (जैसे GPU) पर, इन ओवरहेड को प्रति कोर कार्य मात्रा बढ़ाकर छुपाया या वितरित किया जाना पड़ता है, जिससे मूल शीर्ष बैंडविड्थ/गणना के पास पहुँचना कठिन हो जाता है।

इसका अर्थ है कि Jalapeño को समय पर मेमोरी अनुरोध पहुँचाने के लिए अच्छी प्रीफेचिंग पर निर्भर करना पड़ता है, जो अधिक कठिन है और अनुमान लगाने में चुनौतीपूर्ण है। हालाँकि, Codex के साथ अच्छे फ्रेमवर्क में विस्तृत ट्रेसिंग प्राप्त करके, दिए गए आकार के लिए सर्वोत्तम प्रीफेचिंग के साथ आदर्श कर्नेल ढूंढना लगभग मानव हस्तक्षेप के बिना संभव हो सकता है। हम मानते हैं कि यही कारण है कि OpenAI DeepSeek R1, Kimi K2.5 और GPT-OSS को इतनी तेजी से चला पाया।

कोर छोटे मैट्रिक्स आयामों को भी समर्थन करता है, जो (जितना छोटा होता है) विभिन्न मॉडल और बैच आयामों पर अधिक सामान्यता प्रदान करता है और मैट्रिक्स आयाम समायोजन, पैडिंग ओवरहेड और ब्लॉकिंग की अक्षमता के प्रति कम संवेदनशील होता है। उदाहरण के लिए, TPU, Trainium और Etched चिप्स के पास बहुत बड़े स्टीमिंग ऐरे होते हैं, जिन्हें ब्लॉकिंग की अक्षमता से बचने के लिए बड़े बैच या सटीक रूप से विभाज्य मॉडल आयामों की आवश्यकता होती है।

Jalapeño के साथ, OpenAI प्रणाली में निर्धारित देरी को हटाने पर ध्यान केंद्रित करता है, ताकि पैरेटो वक्र के सभी क्षेत्रों में roofline प्रदर्शन के जितना संभव हो सके, उतना करीब पहुंचा जा सके। सिद्धांत रूप से, यह कई कार्य बिंदुओं पर GPU के सापेक्ष लाभ ला सकता है:

लो-लेटेंसी/स्मॉल-बैच इन्फरेंस की अधिकतम प्रदर्शन क्षमता GPU से काफी बेहतर है। GPU, स्टार्टअप लेटेंसी, बैरियर लेटेंसी, मेमोरी सिस्टम लेटेंसी आदि निश्चित ओवरहेड के कारण सीमित है।

भर्पूर मात्रा या लंबे संदर्भ के साथ भी, हार्डवेयर रूफलाइन के अधिक निकट पहुँचने की क्षमता है।

इसके साथ एक चेतावनी है: भले ही सैद्धांतिक रूप से ऊपरी सीमा प्रदर्शन हो, वास्तविक कर्नेल उस प्रदर्शन को प्राप्त करने में अधिक कठिनाई का सामना कर सकता है। इसलिए, इसकी विधि प्रतीत होती है:

सभी वर्कलोड शेप्स के लिए उच्चतम सीमा प्रदर्शन का डिज़ाइन करें

Let Codex do the heavy lifting and find the kernel that achieves this cap

OpenAI टीम ने Jalapeño पर InferenceX वर्कलोड शुरू किया है, जिसकी टर्नअराउंड स्पीड बहुत तेज है।

हम इस विधि के प्रति आशावादी हैं।

अगर जलपेंयो सफल होता है, तो यह एक मजबूत संकेत देगा।

प्रोग्रामिंग मॉडल और परफेक्ट जनरल-पर्पस कंपाइलर के प्रति उद्योग की लगन, अग्रणी AI मॉडल द्वारा तोड़ दी जाएगी।

OpenAI Jalapeño कर्न को असेम्बली लिखने की तरह लिखता है।

प्रत्येक कोर में हाथ से अनुकूलित कोड होता है, जिसका कुछ हिस्सा लगभग 3000 पंक्तियों का होता है।

साथ ही सहीता जांच और कस्टम सैनिटाइजर समर्थन है।

प्रारंभिक कोर कार्य मानव-सहायता वाला था, न कि पूर्णतः स्वचालित।

बाद में बड़े पैमाने पर आंतरिक संस्करण Codex पर स्विच किया गया।

OpenAI इस संस्करण को व्यावसायिक ग्राहकों को बेचने की योजना बना रहा है।

Internal service engine is called "Teacup".

दिलचस्प बात यह है कि OpenAI ने पहले कभी अपने आंतरिक MLA कोर कार्यान्वयन नहीं किया था।

जब तक उन्होंने InferenceX के साथ DeepSeek का बेंचमार्क नहीं लिया।

Codex इतनी तेजी से कार्यात्मक और कुशल कर्नेल लिख सकता है, बिना कर्नेल इंजीनियरिंग टीम की सहायता के।

यह सॉफ्टवेयर पाइपलाइन के विकास क्षमता को दर्शाता है।

OpenAI is programming Jalapeño with Gluon.

Gluon OpenAI की कोर प्रोग्रामिंग भाषा है।

Gluon, Triton पर आधारित है और Triton का SPMD (Single Program Multiple Data) प्रोग्रामिंग मॉडल बरकरार रखता है।

लेकिन यह नींव की प्रोग्रामिंग अमूर्ति को उजागर करता है।

उदाहरण के लिए, NVIDIA GPU के लिए, यह PTX निर्देशों को मैप करने वाला API प्रदान करता है।

MMA निर्देश, TMA निर्देश, mbarrier तंत्र आदि शामिल हैं।

Gluon द्वारा प्रदान की गई सबसे अनोखी अमूर्ति लेआउट है।

सामान्य तौर पर, लेआउट हार्डवेयर संसाधनों और टेंसर तत्वों के बीच प्रतिचित्रण को परिभाषित करता है।

उदाहरण के लिए, वार्प 9 का पांचवां रजिस्टर, टेंसर तत्व के 6वें पंक्ति और 7वें स्तंभ के संगत है।

Gluon का लेआउट अमूर्तीकरण लीनियर लेआउट्स पर आधारित है।

यह OpenAI द्वारा विकसित एक लेआउट बीजगणित है।

Linear Layouts ने लेआउट को गणितीय रूप से परिभाषित किया है।

और ऑपरेशन लेआउट के लिए उपकरण प्रदान करें।

यह कई सुविधाओं को समर्थन करता है, जैसे कि साबित किए जा सकने वाले लेआउट ट्रांसफॉर्मेशन।

और ऑप्टिमल मेमोरी स्विजलिंग।

जलपेंयो के प्रोग्रामिंग मॉडल में, प्रत्येक Gluon प्रोग्राम स्थायी थ्रेड में मैप होता है।

हम मानते हैं कि यह संकेत देता है कि Jalapeño स्थायी कर्नेल प्रोग्रामिंग पैटर्न के लिए उपयुक्त है।

प्रत्येक कार्यक्रम कई टाइल पर निष्पादित होता है, जहाँ कार्य का आवंटन प्रोग्रामर द्वारा किया जाता है, हार्डवेयर स्केड्यूलर द्वारा नहीं।

OpenAI ने TensorInfo का उल्लेख किया।

यह एक स्पष्ट रूप से कोडित लेआउट का अमूर्तीकरण है।

यह जलापेंयो के लिए डिज़ाइन की गई एक सेट लेआउट हो सकती है।

यह लीनियर लेआउट्स द्वारा संचालित होगा।

अंत में, प्रत्येक कोर में डेटा प्रीफेच और डिकपल्ड ओर्डर आउट ऑफ ऑर्डर यूनिट होती है।

उदाहरण के लिए, उपयोगकर्ता पूर्व-प्राप्त डेटा का इंतजार करने के लिए प्रोग्राम कर सकते हैं।

यह डेटा सेमफोर द्वारा लॉक किया गया है।

परिहास यह है कि GPT 5.6 Sol जैसे OpenAI मॉडल वर्तमान में NVIDIA GPU पर चल रहे हैं।

उन्हें चिप्स डिज़ाइन करने के लिए उपयोग किया जाता है, जो CUDA की खाइयों के लिए वास्तविक खतरा हैं।

NVIDIA के अपने GPU वर्तमान में संभावित उत्तराधिकारी को समर्थन दे रहे हैं।

क्रॉस-टाइम कंपेरिसन में, हम जलपेन्यो के डेवलपमेंट स्पीड को भी देख सकते हैं।

दो सप्ताह से कम समय में, कुछ इंटरैक्शन सीनों की थ्रूपुट में 2 गुना से अधिक की वृद्धि हुई है।

हमें Jalapeño टीम से प्रत्येक tarball अद्भुत दुनिया के साथ मिलता है।

केवल कोर प्रदर्शन में ही वृद्धि नहीं, बल्कि 8 दिनों में Jalapeño टीम ने TP32 सक्षम कर दिया।

Earlier TP8 configuration के आधार पर, पूर्ण रैक-लेवल कॉन्फ़िगरेशन को एकल सिस्टम से आगे बढ़ाकर बड़े मॉडल चलाएं।

यह विकास गति वास्तव में प्रभावशाली है।

OpenAI के पास एक सिमुलेटर "chilisim" भी है जिसका उपयोग वास्तविक हार्डवेयर पर चलाने से पहले प्रदर्शन की जांच के लिए किया जाता है।

इसकी सटीकता वास्तविक हार्डवेयर पर 5% के भीतर है, जिसमें फिक्स्ड विड्थ ट्रेस बस का उपयोग किया जाता है।

A0 पर ट्रैकिंग क्षमता सीमित है, लेकिन B0 पर उल्लेखनीय सुधार हुआ है।

यह A0 सिलिकॉन वाफर के वास्तविक डेटा के कारण संभव है।

इंजीनियर ने कोडेक्स CLI के साथ आंतरिक मॉडल चलाने का प्रदर्शन किया।

इसका उपनाम "Raiku" या "5.3 Codex Spark" है, TPOT 1.2 मिलीसेकंड है।

टीम ने कोडेक द्वारा लिखा गया डेमो भी चिप पर सीधे चलाया।

36 FPS के साथ Doom, FP32 फ्लूइड डायनामिक्स सिमुलेशन शामिल हैं।

साथ ही "Liquid Light" माउस ड्रैग विज़ुअलाइजेशन।

मॉडल के संदर्भ में, OpenAI के आंतरिक megakernel समाधान का उपनाम "gigakernel" है।

यह एकल megakernel के चारों ओर बनाया गया है, जो डिवाइस पर चलता है ताकि CPU का ओवरहेड और स्टार्टअप समय कम हो।

टीम टेस्टिंग के दौरान रणनीति की गणना को आगे बढ़ा रही है।

100 लाख rollouts के उपयोग को कैसे समन्वयित किया जाए, इस पर आंतरिक विशेष ध्यान केंद्रित है।

हमने पहले उल्लेख किया था कि OpenAI ने इन चिप्स पर prefill-decode अलगाव का उपयोग नहीं किया है।

हमें आश्चर्य हुआ क्योंकि NVIDIA और AMD GPU की प्रदर्शन क्षमता PDD से महत्वपूर्ण लाभ प्राप्त कर रही है।

यहां तक कि समान हार्डवेयर पर।

आइए जलपेन्यो टीम द्वारा ऐसा करने के पीछे का कारण गहराई से समझते हैं।

जब वर्कलोड स्थिर हो, तो prefill-decode पृथक्करण आकर्षक लगता है।

Prefill और decode हार्डवेयर पर अलग दबाव डालते हैं।

Each stage is assigned to a separately tuned pool to improve efficiency under selected input-output ratios.

लेकिन उत्पादन ट्रैफ़िक इस अनुपात को नहीं बनाए रखेगा।

इनपुट आउटपुट अनुक्रम लंबाई, समानांतरता, कैश हिट रेट, अनुमानित स्वीकृति दर और लेटेंसी लक्ष्य पूरे दिन बदलते रहते हैं।

जब उपकरण को prefill और decode पूल में विभाजित किया जाता है, तो prefill की अधिक मांग से decode चिप अनुपयोगी हो जाती है और अनुरोध लाइन में जमा हो जाते हैं।

लेकिन अधिक decode की मांग विपरीत प्रभाव डालती है।

Operators must continuously predict the correct split and reserve backup capacity on both sides.

एक ऐसे सिस्टम को जिसका आदर्श अनुपात लगातार बदलता रहता है, उसे पुनः संतुलित करें।

एकीकृत प्रणाली में, कुछ संसाधन विशिष्ट चरणों में अपर्याप्त रूप से उपयोग किए जा सकते हैं।

लेकिन प्रत्येक उपकरण अगले अनुरोध की सेवा के लिए अभी भी उपलब्ध है।

एक अलग प्रणाली में, पूरा चिप केवल गलत पूल में होने के कारण अक्षम हो सकता है।

स्थानीय उपयोग बेहतर दिखता है, लेकिन वैश्विक उपयोग खराब हो सकता है।

Separation will also destroy locality.

prefill worker बड़ा KV cache उत्पन्न करता है जिसे decode worker तुरंत आवश्यकता होती है।

स्थिति को नेटवर्क के माध्यम से ट्रांसमिट किया जाना चाहिए, ताकि प्रक्रिया जारी रह सके।

इससे बैंडविड्थ खपत, सिंक्रनाइज़ेशन, कतारबद्धता और एक और फ़ॉल्ट डोमेन बढ़ जाता है।

लागत इनपुट अनुक्रम की लंबाई के साथ बढ़ जाती है, क्योंकि KV कैश बढ़ रहा है।

हालाँकि, KV को नहीं ले जाना मुख्य रूप से बिजली की खपत और लेटेंसी अनुकूलन के लिए है।

कुछ KV स्थानांतरित करने से हार्डवेयर उपयोग बढ़ सकता है, लेकिन इसकी कीमत बिजली की खपत और एकल अनुरोध देरी के रूप में चुकानी पड़ती है।

Interchangeable clusters can shift capacity between latency-sensitive requests and throughput-oriented batches.

Fixed splitting idles hardware when traffic combinations change.

इसके अलावा, संदर्भ लंबाई में परिवर्तन attention और FFN कार्य के बीच संतुलन को बदल देता है।

कोई भी निश्चित हार्डवेयर अनुपात केवल डिजाइन बिंदु के आसपास कुशल होता है।

समान सीमाएँ अनुमानित डिकोडिंग पर भी लागू होती हैं। रूपरेखा मॉडल को वैलिडेटर को उम्मीदवार टोकन प्रदान करने के लिए अत्यंत कम लेटेंसी के साथ होना चाहिए। दोनों को अलग-अलग विशेष पूल में रखने से संकुचित डिकोडिंग चक्र वितरित प्रोटोकॉल में बदल जाता है। अतिरिक्त संचार और समन्वय से रूपरेखा द्वारा बचाया गया लेटेंसी खा जाएगा। केवल दोनों मॉडल को एक ही उपकरण और कम लेटेंसी संरचना पर रखकर ही स्थानीयता को बनाए रखा जा सकता है, जिससे अनुमानित डिकोडिंग करना सार्थक हो।

हालाँकि, जहाँ मांग पर्याप्त, स्थिर और भविष्यवाणीय होती है, वहाँ डिकपलिंग अभी भी बेहतर प्रदर्शन करता है। खासकर जब पारंपरिक GPU को अच्छी थ्रूपुट प्राप्त करने के लिए बड़े बैच और चरणबद्ध बैच की आवश्यकता होती है। लेकिन यह मुफ्त का भोजन नहीं है।

जलपेन्यो सिस्टम रैक यूनिट स्तर पर CPU होस्ट रैक और ASIC रैक से बना है। होस्ट रैक में 16 "कात्सु" होस्ट CPU ट्रे समाहित हैं। प्रत्येक कात्सु दाईं ओर के 16 "विंडालू" नामक ASIC ट्रे में से एक के साथ संबंधित है। प्रत्येक होस्ट पर दो तुरिन-श्रेणी AMD EPYC CPU, प्रत्येक रैक पर 1.5TB DRAM, 2x E1.S और 2x M.2 SSD स्थापित हैं। प्रत्येक ट्रे पर 400G (2x200G) फ्रंटएंड नेटवर्क भी उपलब्ध है। प्रत्येक कात्सु ट्रे को 8 बाहरी PCIe DAC केबल्स के माध्यम से प्रत्येक विंडालू ट्रे से जोड़ा जाता है। ये केबल्स रैक के सामने की ओर क्षैतिज रूप से व्यवस्थित हैं। सिस्टम स्तरीय डिज़ाइन Celestica के साथ सहयोग से तैयार किया गया है।

ASIC रैक 16 Vindaloo ट्रे और 8 एक्सटेंशन स्विच ट्रे (6 स्थानीय + 2 ग्लोबल) से बना है, जिसे "Chana" कहा जाता है। प्रत्येक Vindaloo ट्रे में 8 Jalapeño ASIC होते हैं, जिससे प्रति रैक कुल 128 Jalapeño ASIC होते हैं। ASIC, Nvidia के Oberon की तरह, प्रत्येक Chana स्विच ट्रे से कॉपर केबल बैकप्लेन के माध्यम से जुड़े होते हैं। एक्सटेंशन टॉपोलॉजी स्थानीय डोमेन और ग्लोबल डोमेन में विभाजित है। स्थानीय डोमेन रैक के भीतर 128 ASIC को कवर करता है। ग्लोबल डोमेन अधिकतम 16 रैक या 2,048 ASIC को जोड़ता है। हम नीचे बैंडविड्थ और टॉपोलॉजी को अधिक विस्तार से समझाएंगे।

साइड-माउंटेड होस्ट रैक की बिजली खपत लगभग 50kW (उत्पादन में 31kW) है, ASIC रैक 130kW खपत करता है। पूरा डुअल-रैक सिस्टम लगभग 160kW है। बिजली खपत के आधार पर, यह लगभग एक डुअल-विड्थ GB300 रैक के बराबर है।

OpenAI एकल विस्तारित नेटवर्क में अधिकतम 2,048 Jalapeño XPU को जोड़ सकता है। विस्तारित नेटवर्क दो डोमेन से बना है। स्थानीय डोमेन बैकप्लेन के माध्यम से एक रैक के सभी 128 XPU को जोड़ता है। वैश्विक डोमेन में तांबे के केबल और प्रकाशिक इंटरकनेक्शन का मिश्रण उपयोग किया जाता है, जो 16 रैक के 2,048 XPU को जोड़ता है। प्रत्येक रैक में 8 Chana स्विच ट्रे होते हैं। स्थानीय डोमेन के लिए मध्य के 6 Chana स्विच उपयोग किए जाते हैं। प्रत्येक में 102.4T Tomahawk 6 स्विच ASIC होता है। वैश्विक डोमेन के लिए शीर्ष और निचले 2 Chana स्विच उपयोग किए जाते हैं। हम मानते हैं कि यह 2x 102.4T Tomahawk 6 स्विच हो सकते हैं, जिससे प्रति स्विच ट्रे पर अधिकतम 204.8T होता है।

स्थानीय विस्तार में, 128 Jalapeño चिप्स प्रति XPU के लिए 4.8Tb/s एकदिशा बैंडविड्थ प्रदान करते हैं। वे 6 नंबर 102.4Tb/s Tomahawk 6 ASIC के साथ पूर्ण-प्रति-पूर्ण तरीके से जुड़े हुए हैं। इसका अर्थ है प्रति XPU 48 जोड़ी डिफरेंशियल जोड़ी (DP) पुरुष-महिला कनेक्टर। कुल मिलाकर, स्थानीय विस्तार के लिए प्रति रैक 6,144 जोड़ी DP निष्क्रिय कॉपर केबल का उपयोग किया जाता है।

ग्लोबल डोमेन में, 16 रैक्स में 2,048 XPU, कॉपर बैकप्लेन, इलेक्ट्रिकल 204.8T TH6 स्विच, 1.6T ऑप्टिकल मॉड्यूल और ऑप्टिकल स्विच के संयोजन द्वारा जुड़े हुए हैं। प्रत्येक XPU के लिए ग्लोबल लिंक की एक दिशात्मक बैंडविड्थ 1.6Tb/s है। अर्थात, प्रत्येक XPU में XPU और ग्लोबल स्विच के बीच बैकप्लेन के लिए 16 जोड़ी डिफरेंशियल पेयर (DP) मेल-मेल कनेक्टर होते हैं। प्रत्येक ग्लोबल स्विच ट्रे में 2 ASIC होते हैं, जिनकी आउटपुट बैंडविड्थ बैकप्लेन और फ्रंट पैनल ऑप्टिकल्स के बीच विभाजित होती है।

स्थानीय और वैश्विक डोमेन के बीच, प्रति XPU 64 जोड़े DP के साथ प्रति रैक बैकप्लेन कनेक्टर की संख्या है। कुल मिलाकर प्रति रैक 8,192 जोड़े DP के निष्क्रिय तांबे के केबल हैं।

ग्लोबल डोमेन प्यूर रेल आर्किटेक्चर का उपयोग करता है, जिसमें 8 रेल शामिल हैं। हम मानते हैं कि OpenAI प्रत्येक रैक पर स्थापित ऑप्टिकल स्विचिंग डिवाइस (OCS) के माध्यम से ग्लोबल डोमेन में ऑप्टिकल लिंक्स को रूट करता है। प्रत्येक XPU का 1.6Tb/s ग्लोबल बैंडविड्थ कॉपर बैकप्लेन के माध्यम से ग्लोबल स्विच ट्रे तक पहुँचेगा। फिर यह स्विच से फ्रंट पैनल पर 1.6T ऑप्टिकल मॉड्यूल के माध्यम से बाहर निकलेगा। यह पहले पैसिव ऑप्टिकल स्विच में प्रवेश करता है, फिर रैक से बाहर निकलता है। इससे 2,048 XPU का विस्तारित डोमेन स्केल, 16 रैक, प्रत्येक में 128 XPU के साथ संभव होता है।

चूंकि विस्तारित नेटवर्क केवल कुल प्रणाली लागत का लगभग 10% है, इसलिए यह लचीलापन भविष्य के 10 ट्रिलियन से 20 ट्रिलियन पैरामीटर मॉडल या 2 मिलियन से 4 मिलियन टोकन कंटेक्स्ट विंडो के लिए मूल्यवान विकल्प प्रदान करता है। डिप्लॉयमेंट के संदर्भ में, OpenAI neocloud के साथ सहयोग कर रहा है। इसने एक महीने पहले डेटासेंटर साझेदारों के साथ विश्वसनीयता डेटा इकट्ठा किया है, जबकि डॉक से रैक तक डिप्लॉयमेंट समय को अनुकूलित किया है।

अगले, हम जलपेंयो के भविष्य पर चर्चा करेंगे, जिसका पहला प्रोडक्शन टोकन आने वाला है। अगला लक्ष्य 100 मेगावाट है, जिसकी बाधाएँ मुख्य रूप से हार्डवेयर में हैं: वे कितना उत्पादन कर सकते हैं, डेटा सेंटर को कितनी अच्छी तरह से स्थापित और संचालित कर सकते हैं, और निगरानी और लचीलापन को कैसे संभालते हैं। सॉफ्टवेयर पहले से सत्यापित है, और आंतरिक मॉडल के साथ, कोई भी सॉफ्टवेयर पहल की बड़ी बाधा आसानी से पीछे छूट जाती है। भुगतान दीवार के बाद, हम NVIDIA, AMD, Cerebras जैसी चिप कंपनियों पर प्रभाव की चर्चा करेंगे, जिन्होंने अगले कुछ वर्षों में OpenAI के साथ अनुबंध किए हैं।

हमने एक्सेलरेटर मॉडल में अगली पीढ़ी के चिप्स के उत्पादन, मात्रा और समयसूची को भी शामिल किया है।

बाद का भाग भुगतान किए गए सामग्री है, जिसे अधिकार समस्याओं के कारण अधिक अनुवाद नहीं किया गया है, लेकिन पिछले भाग में OpenAI द्वारा NVIDIA के चिप्स की चुनौती के बारे में कई जानकारी पहले ही दी गई है। चिप सेक्टर और NVIDIA के स्टॉक पर ध्यान देने वाले खिलाड़ियों के लिए, ये जानकारी नवीन और मजबूत संदर्भ प्रदान करेगी।