लेखक: शियाओबिंग
AMD द्वारा Taalas का अधिग्रहण: इन्फरेंस चिप्स अब मॉडल वेट्स को सिलिकॉन में उकेरने लगे हैं
8 जून को, AMD ने टोरंटो स्थित चिप कंपनी Taalas का अधिग्रहण करने की घोषणा की, जिसकी लेनदेन की कीमत खुलासा नहीं की गई। यह 2023 में स्थापित और 219 मिलियन डॉलर की संचित फंडिंग वाली स्टार्टअप कंपनी ने एक ऐसा काम किया जो थोड़ा पागलपन भरा लगता है: AI मॉडल के वेट्स को सीधे चिप की धातु परत में जला दिया गया, ताकि केवल एक ही मॉडल चलाने के लिए एक विशेष-उद्देश्य चिप बनाई जा सके।
GPU कार्य करता है जिसमें मॉडल पैरामीटर्स को हाई-बैंडविड्थ मेमोरी (HBM) में स्टोर किया जाता है, और इन्फरेंस के दौरान डेटा को कॉम्प्यूटेशन यूनिट में बार-बार लाया-ले जाया जाता है। यह "ले जाने" की प्रक्रिया ऊर्जा और समय का बहुत अधिक उपयोग करती है, जिसे उद्योग में "मेमोरी वॉल" कहा जाता है। Taalas का दृष्टिकोण है कि इस "ले जाने" को पूरी तरह से समाप्त कर दिया जाए, और वेट्स को चिप के ट्रांजिस्टर में स्थिर कर दिया जाए, जिससे स्टोरेज और कॉम्प्यूटेशन एक साथ हो जाते हैं।
इस चिप की कीमत यह है कि यह केवल एक मॉडल ही चला सकती है, लाभ यह है कि गति और ऊर्जा कुशलता में क्रम की छलांग होती है।
17000 टोकन प्रति सेकंड का क्या अर्थ है?
Taalas का तकनीकी प्रमाणन चिप HC1 ताइवान सेमीकंडक्टर निर्माण कंपनी के 6nm प्रक्रिया पर आधारित है, 815 वर्ग मिमी के कोर क्षेत्रफल और 530 अरब ट्रांजिस्टर के साथ, और इसमें Meta का Llama 3.1 8B मॉडल शामिल है।
HC1 का प्रदर्शन डेटा: एक उपयोगकर्ता के लिए लगभग 17,000 टोकन/सेकंड। तुलना के लिए, Nvidia H200 इसी मॉडल पर लगभग 230 टोकन/सेकंड और H100 लगभग 150 टोकन/सेकंड प्रदान करता है। 73 गुना की गति का अंतर, जबकि बिजली खपत केवल दूसरे का दसवां हिस्सा है।
अधिक स्पष्ट आर्थिक लागत: तालस द्वारा घोषित निष्कर्षण लागत लगभग प्रति मिलियन टोकन 0.75 सेंट (Llama 8B) है, जबकि GPU समाधान 20 से 49 सेंट के बीच है। प्रत्येक HC1 कार्ड की शक्ति खपत 250W है, और एक मानक हवा-शीतलित रैक में 10 कार्ड लगाने के लिए केवल 12-15 KW की आवश्यकता होती है, जिसके लिए तरल शीतलन की आवश्यकता नहीं होती, जबकि GPU रैक 120-600 KW तक की शक्ति खपत करते हैं।
फॉर्ब्स विश्लेषक कार्ल फ्रेंड ने फरवरी में आकलन के दौरान कहा: "Cerebras वाफर-स्तरीय इंजन से 10 गुना तेज, GPU से दो घातांक तेज।"
लेकिन कुछ महत्वपूर्ण सीमाएँ हैं। HC1, Taalas द्वारा स्वयं विकसित 3-बिट डेटा फॉर्मेट के साथ 6-बिट पैरामीटर का उपयोग करता है, जिसमें क्वांटाइजेशन बहुत तीव्र है और जटिल निष्कर्षण कार्यों पर गुणवत्ता में कमी निश्चित रूप से मौजूद है। 17000 टोकन/सेकंड का डेटा 1K इनपुट/1K आउटपुट के विक्रेता बेंचमार्क पर आधारित है, जो उत्पादन पर्यावरण की वास्तविक प्रदर्शन क्षमता को दर्शाता नहीं है। इसके अलावा, Llama 3.1 8B 2024 के मध्य में जारी किया गया मॉडल है, और 8B पैरामीटर के क्वांटाइज़ड संस्करण को यहाँ तक कि रेज़बरी पाई 5 पर चलाया जा सकता है। HC1 एक आर्किटेक्चर की क्षमता को दर्शाता है, न कि परिपक्व उत्पाद की प्रतिस्पर्धात्मकता।
मॉडल के अपग्रेड का क्या करें?
मॉडल को चिप में बर्न करने का सबसे सीधा सवाल यह है: अगर मॉडल अपडेट हो जाए, तो क्या चिप बेकार हो जाएगी?
Taalas का जवाब है: नहीं, इसे बंद नहीं किया जाएगा। पारंपरिक ASIC डिजाइन चक्र दो साल से अधिक का होता है। Taalas ने एक स्वचालित डिजाइन प्रक्रिया विकसित की है, जिसमें केवल चिप के शीर्ष स्तर पर कुछ धातु मास्क में परिवर्तन करके नए मॉडल को नए चिप में कंपाइल किया जा सकता है, जिसका चक्र लगभग 8 सप्ताह का होता है। कंपनी ने अपने लागत मॉडल में 4 वर्षों के जीवनकाल के दौरान 3 बार चिप अपडेट की लागत को शामिल किया है।
यह उत्तर कुछ चिंता को हल कर सकता है, लेकिन पूरी तरह से नहीं दूर कर सकता।
GPU की लचीलापन यह है कि एक ही कार्ड आज Llama चला सकती है, कल Claude चला सकती है, और परसों एक अभी तक जारी नहीं हुआ नया मॉडल चला सकती है। Taalas का चिप इसे करने में सक्षम नहीं है। यदि कोई ग्राहक एक साथ कई मॉडल सेवाओं की आवश्यकता रखता है (जो उत्पादन परिवेश में अत्यंत सामान्य है), तो प्रत्येक मॉडल के लिए अलग-अलग चिप की आवश्यकता होगी, जिससे स्टॉक प्रबंधन और संचालन की जटिलता बढ़ जाएगी।
HC2 विकासाधीन है, जिसका लक्ष्य लगभग 200 अरब पैरामीटर के मॉडल को 4-बिट फ्लोटिंग पॉइंट के साथ सटीकता बढ़ाना है। तालास ने 2026 के अंत तक अग्रणी स्तर के मॉडल का समर्थन प्राप्त करने की योजना बनाई थी।
AMD के अधिग्रहण से इस पथ पर Instinct GPU उत्पाद रेखा और Helios रैक सिस्टम का समन्वय हुआ, जिससे ग्राहक GPU का उपयोग लचीले और अनियमित कार्यभारों के लिए कर सकते हैं और Taalas चिप का उपयोग स्थिर, उच्च आवृत्ति वाले एकल मॉडल निष्कर्षण के लिए कर सकते हैं।
रीजनिंग चिप्स की सैन्य प्रतिस्पर्धा
AMD ने Taalas का अधिग्रहण किया, जो उद्योग के संदर्भ में पिछले 8 महीनों की निष्कर्षण चिप अधिग्रहण लहर की नवीनतम घटना है।
दिसंबर 2025 में, Nvidia ने Groq को 200 बिलियन डॉलर में अधिग्रहित किया, जिससे SRAM आधारित लो-लेटेंसी इन्फरेंस आर्किटेक्चर पर कब्जा हो गया।
मई 2026 में, सेरेब्रास ने लगभग 560 अरब डॉलर के बाजार मूल्य के साथ आईपीओ किया, जो 2020 के स्नोफ्लेक के बाद सबसे बड़ा टेक आईपीओ बन गया।
जून में, Etched ने दो साल से अधिक की गुप्त अवधि के बाद अपना पहला Transformer विशिष्ट चिप टाइवेई N4P प्रक्रिया पर सफलतापूर्वक निर्मित करने की घोषणा की, जिसके साथ उनके पास 10 अरब डॉलर से अधिक के ग्राहक अनुबंध हैं। Intel को SambaNova के साथ अधिग्रहण की इच्छा पत्र पर हस्ताक्षर करने की रिपोर्ट है, जबकि Qualcomm Tenstorrent के संपर्क में है।
ये लेनदेन एक ही निष्कर्ष की ओर इशारा करते हैं: निष्कर्ष निकालना AI कैलकुलेशन खर्च का मुख्य क्षेत्र बन रहा है।
अनुमान है कि 2026 तक रीजनिंग AI कॉम्प्यूटिंग खर्च का दो-तिहाई हो जाएगा, और 2030 तक विशिष्ट रीजनिंग ASIC 45% रीजनिंग बाजार पर कब्जा कर सकते हैं। Nvidia के GPU अभी भी ट्रेनिंग पर शासन करते हैं, लेकिन रीजनिंग पर, उनकी सामान्य आर्किटेक्चर का सामना विभिन्न दिशाओं से आ रहे विशिष्ट चिप्स से हो रहा है।
Taalas इस स्पेक्ट्रम के सबसे चरम छोर पर है: यह "कैटेगरी-वाइज मॉडल" की सार्वभौमिकता तक को छोड़ देता है और सीधे "एक मॉडल" के लिए स्पेशलाइज्ड चिप बनाता है।
Groq SRAM का उपयोग करके मेमोरी वॉल को लांघता है, Cerebras वेफर-स्तरीय क्षेत्रफल का उपयोग करके बलपूर्वक बाधा को तोड़ता है, Etched केवल Transformer आर्किटेक्चर के लिए अनुकूलित है, और Taalas का जुआ और भी अधिक जोखिम भरा है: यह यह मानता है कि AI मॉडल समय के साथ स्थिर हो जाएंगे, जैसे कि संचार प्रोटोकॉल अंततः कुछ मानकों पर समायोजित हो जाते हैं। जब मॉडल महीने में बदलने लगेंगे, तो कुछ सबसे लोकप्रिय मॉडल के लिए अलग-अलग डेडिकेटेड चिप्स बनाना आर्थिक रूप से लाभदायक होगा।
बेटिंग मॉडल “जम जाएगा”
एमडी के सीनियर वाइस प्रेसिडेंट वम्सी बोप्पना ने घोषणा में कहा कि अधिग्रहण का उद्देश्य ग्राहकों को "प्रत्येक AI वर्कलोड के लिए उत्तम कंप्यूटिंग समाधान" प्रदान करना है। इसका प्रतिस्पर्धी रणनीति के रूप में अर्थ है: GPU लचीलापन के लिए, टालास चिप अत्यधिक कुशलता के लिए, और ग्राहक अपनी आवश्यकता के अनुसार संयोजन करते हैं।
इस संयोजन तर्क का सत्यापन एक मूलभूत धारणा पर निर्भर करता है: क्या AI मॉडल के अपडेट चक्र धीमे हो जाएंगे?
अगर बड़े मॉडल हर कुछ महीनों में आर्किटेक्चर-लेवल के अपडेट्स के साथ आते रहते हैं, तो वेट्स को सिलिकॉन में बर्न करने का तरीका बिल्कुल रेत पर कंक्रीट ढालने जैसा है—चिप अभी अपना लागत वापस नहीं कर पाई होगी, जबकि मॉडल पहले ही पुराना हो चुका होगा। लेकिन अगर मॉडल क्षमताएँ संगठित होने लगें और शीर्ष मॉडल्स का एक-दो साल तक स्थिर सेवा प्रदान करना सामान्य हो जाए, तो तालास जैसे स्पेशलाइज्ड चिप्स संचार उद्योग के बेसबैंड चिप्स की तरह, बहुत सारे प्रयोगों से सामान्य और स्वाभाविक विकल्प बन जाएँगे।
पिछले 12 महीनों को देखें, तो मॉडल अपडेट की गति में सूक्ष्म परिवर्तन आया है। Llama श्रृंखला 3.1 से 3.2 और फिर 4 तक के अंतराल बढ़ रहे हैं, जबकि GPT 4 से 4o और फिर 5 तक के आर्किटेक्चर में परिवर्तन का पैमाना संकुचित हो रहा है। अधिकतर नए मॉडल वर्तमान आर्किटेक्चर पर डिस्टिलेशन, क्वांटाइजेशन और फाइन-ट्यूनिंग के माध्यम से विकसित किए जा रहे हैं, और बेस मॉडल का अपग्रेड धीमा हो रहा है।
अगर यह रुझान जारी रहा, तो तालस सही था।
ट्विटर：https://twitter.com/BitpushNewsCN
बिटपुश टेलीग्राम समुदाय：https://t.me/BitPushCommunity
बिटपुश टेलीग्राम सब्सक्रिप्शन: https://t.me/bitpush