AI कॉम्प्यूट लागतें 15 गुना बढ़ सकती हैं क्योंकि मांग आपूर्ति वृद्धि को पार कर जाती है

लेखक: Dwarkesh Patel

संकलन: शेनचाओ टेकफ्लो

शेनचाओ का सारांश: जब AI मॉडल की क्षमता शीर्ष सॉफ्टवेयर इंजीनियर के स्तर तक पहुँच जाएगी, तो एक H100 का उचित किराया 25 डॉलर प्रति वर्ष से अधिक होगा—आज की स्पॉट कीमत का 15 गुना। यह दूर का भविष्यवाणी नहीं है, बल्कि Anthropic की आय में 10 गुना की वृद्धि और कैलकुलेशन क्षमता में 3 गुना की वृद्धि के बीच की संरचनात्मक तनाव है जो वास्तविक प्रवृत्ति को बढ़ावा दे रही है। निवेशकों के लिए, जो पहले कैलकुलेशन क्षमता हासिल करेगा, और जो सबसे कुशल मॉडल को प्रशिक्षित करेगा, वह अगली प्रतिस्पर्धा के स्वरूप को निर्धारित करेगा।

मैं एक न्यूनतम लेखन शैली आजमाना चाहता हूँ: खुद को 2 घंटे का समय दें और एक ब्लॉग पोस्ट तेजी से पूरी कर लें। मैं कई महत्वपूर्ण उप-समस्याओं पर गहराई से नहीं जा पा रहा, लेकिन अगर मैं ऐसा नहीं करता, तो मुझे जिन विषयों में दिलचस्पी है, वे हमेशा स्थगित ही रहेंगे और कोई प्रगति नहीं होगी।

आज मैं AI प्रयोगशालाओं की कैलकुलेशन क्षमता की स्थिति के बारे में अगले कुछ वर्षों के लिए बात करना चाहता हूँ।

एंथ्रोपिक की राजस्व प्रति वर्ष 10 गुना बढ़ रही है। इस रुझान के अनुसार, एंथ्रोपिक की इस साल के अंत तक राजस्व 1000 से 1500 अरब डॉलर के बीच होने की संभावना है। यदि यह रुझान जारी रहा, तो अगले साल के अंत तक उन्हें 1 ट्रिलियन डॉलर की राजस्व प्राप्त करनी होगी। बेशक, कोई कठोर कारण नहीं है कि यह रुझान जारी रहेगा—यह मूल रूप से AI क्षमता का मुद्दा है। लेकिन मान लीजिए कि यह सचमुच जारी रहा, तो इस दुनिया में कौन-सी परिस्थितियाँ सत्य होनी चाहिए?

लैब की कैलकुलेशन क्षमता हर साल 3 गुना बढ़ती है। यदि एक लैब को केवल 3 गुना की कैलकुलेशन क्षमता वृद्धि के साथ आय में 10 गुना की वृद्धि करनी है, तो निम्नलिखित तीन में से कम से कम कुछ बातें एक साथ होनी चाहिए: एक, लैब का लाभमार्जिन बढ़े; दो, कैलकुलेशन क्षमता की कीमतें बढ़ें; तीन, लैब अपनी कैलकुलेशन क्षमता का एक बड़ा हिस्सा निष्कर्षण पर लगाए।

मेरी समझ है कि ये तीनों चीजें लगभग एक साथ हो रही हैं: एक, Anthropic की लाभमार्जिन 2025 में 40% से बढ़कर इस साल Fable रीजनिंग बिजनेस के लिए 80% से अधिक हो सकती है (हालांकि, सीमांत कैपेसिटी की लाभमार्जिन अलग हो सकती है, जिसके बारे में बाद में बताऊंगा); दो, इस साल के फरवरी के निम्न स्तर के बाद से कैपेसिटी स्पॉट मूल्य 40% से अधिक बढ़ चुका है, और प्रयोगशाला को वास्तविक रूप से जो मूल्य देना पड़ रहा है, उसमें वृद्धि और भी अधिक हो सकती है (बाद में विस्तार से); तीन, Epoch के डेटा के अनुसार, OpenAI ने 2024 में लगभग 25% कैपेसिटी खर्च रीजनिंग पर किया, अब यह अनुपात 50% के करीब, या उससे भी अधिक होना चाहिए।

प्रयोगशालाएँ वास्तव में तीसरा रास्ता (अधिक और अधिक कैलकुलेशन क्षमता को निष्कर्षण पर लगाना) अपनाना नहीं चाहतीं। एक मजाक बहुत सटीक है: निष्कर्षण आय का उद्देश्य, निवेशकों को यह समझाना है कि आपको अधिक कैलकुलेशन क्षमता खरीदने के लिए और अधिक पैसा दें, ताकि आप बड़े मॉडल ट्रेन कर सकें। अगर आप अधिकांश कैलकुलेशन क्षमता निष्कर्षण पर केंद्रित कर दें, तो किसी अर्थ में यह घोषणा है कि AI की प्रगति रुक गई है—क्योंकि प्रशिक्षण पर अधिक निवेश करना अब लाभदायक नहीं है, और आपका व्यवसाय मूलतः एक क्लाउड सर्विस प्रोवाइडर बन गया है। सभी प्रयोगशालाएँ ऐसा नहीं समझतीं—वे मानती हैं कि वे जो मॉडल अभी डिप्लॉय कर रही हैं, वे एक साल बाद बहुत पुराने लगेंगे, और अभी यह व्यवसाय करने का मकसद, अधिक स्मार्ट मॉडल को ट्रेन करने के लिए व्यावसायिक मामलों का संचय करना है।

तो शेष दो रास्ते हैं: एक, प्रयोगशाला का लाभमार्जिन बढ़े; दो, कैलकुलेशन पावर महंगा हो जाए। यदि शीर्ष एक या दो प्रयोगशालाएँ प्रतिद्वंद्वियों से काफी आगे हैं, तो पहला रास्ता अधिक स्पष्ट होगा। बाजार प्रतिस्पर्धा में, लाभमार्जिन आपके द्वारा दूसरे सर्वोत्तम विकल्प से कितना बेहतर होना है, इस पर निर्भर करता है। पहले प्रभाव को प्रमुखता देने के लिए, अगले साल के अंत तक लाभमार्जिन 90% से अधिक होना चाहिए। मुझे लगता है कि यह काफी अतिशयोक्ति है। लेकिन मुझे वास्तव में लगता है कि AI प्रयोगशालाओं की आय अभी भी अद्भुत गति से बढ़ सकती है।

इसलिए, "अगले साल के अंत तक राजस्व 1 ट्रिलियन डॉलर तक विस्फोटक रूप से बढ़ जाएगा" इस दुनिया को सच कैसे बनाया जाए, इसकी अंतिम प्रभाव शेष है: कैलकुलेशन क्षमता में भारी वृद्धि। जैसा कि मैंने कहा, यह पहले से ही हो रहा है। यदि हम लैबोरेटरी को वास्तव में आवश्यकता होने वाली कैलकुलेशन क्षमता पर नज़र डालें, तो कीमतों में वृद्धि और भी चौंकाने वाली होगी—उन्हें स्पॉट इंस्टेंस पर निर्भर रहना संभव नहीं है, उन्हें मॉडल वेट्स और उपयोगकर्ता डेटा की सुरक्षा की आवश्यकता है, साथ ही अच्छी उपयोग दर और लचीलापन प्राप्त करने के लिए पर्याप्त पैमाने की आवश्यकता है। आइए देखें कि यह बाज़ार कितना पागल है: Google और Anthropic के SpaceX से कैलकुलेशन किराए पर लेने की कीमत। रिपोर्ट के मुताबिक, Google हर महीने 110,000 GPU किराए पर लेने पर 900 मिलियन डॉलर खर्च करता है, जो GB200 और GB300 का मिश्रण है। इसका मतलब है कि ये GPU स्पॉट मूल्य के लगभग 2 गुना हैं। और वर्तमान स्पॉट मूल्य पहले से ही फरवरी से 40% अधिक है।

मैं एक मूलभूत निष्कर्ष पर जोर देना चाहता हूँ: जैसे-जैसे AI मॉडल अधिक शक्तिशाली होते जा रहे हैं, एक ही कैलकुलेशन क्षमता से उत्पन्न होने वाला मूल्य भी बढ़ता जा रहा है। यदि एक वास्तविक मानव-स्तरीय सॉफ्टवेयर इंजीनियर H100 स्तर के उपकरण पर चल सकता है, तो वर्तमान सॉफ्टवेयर इंजीनियरों के बाजार वेतन स्तर के अनुसार, H100 की वार्षिक किराया 250,000 डॉलर से अधिक होनी चाहिए—आज की स्पॉट कीमत का 15 गुना।

जब अचानक 10 मिलियन सॉफ्टवेयर इंजीनियर जुड़ जाएं, तो सीमांत इंजीनियर का मूल्य स्वाभाविक रूप से घट जाएगा, इसलिए वह H100 वास्तव में वर्तमान आय का 15 गुना उत्पन्न नहीं कर सकता। लेकिन मुझे वास्तव में यकीन नहीं है कि यह तर्क सही है। अगर हम इस तर्क को AI के बजाय मनुष्यों पर लागू करें, तो यह पारंपरिक "श्रम की कुल मात्रा का भ्रम" है। अर्थशास्त्री सामान्यतः मानते हैं कि उच्च-कौशल आप्रवासी लंबे समय में वेतन को कम नहीं करते, क्योंकि विशेषज्ञता और नवाचार श्रम के मूल्य को बढ़ाते हैं। शायद इस बार श्रम की आपूर्ति में प्रभाव इतना बड़ा और इतना तेज़ है कि यह सामान्य नियम अमान्य हो गया है। लेकिन अगर हम मानते हैं कि मानक अर्थशास्त्र का श्रम पर निर्णय सही है, तो सीमांत श्रम का मूल्य (और कैलकुलेशन की सीमांत कीमत) हैरान करने वाले स्तर पर बना रहना चाहिए।

What will happen in this world?

हेड मॉडल अब अधिक गणना शक्ति से अधिक मूल्य निकालने लगे हैं, इसलिए पीछे रहने की कठिनाई बढ़ रही है। यदि 2028 तक सॉफ्टवेयर इंजीनियरिंग स्वचालित हो चुकी है और गणना शक्ति की कीमतें वर्तमान से 15 गुना अधिक हैं, तो बिना किसी आय के हेड लैब के साथ गणना शक्ति के लिए प्रतिस्पर्धा करना अत्यंत कठिन होगा।

अगर आप सबसे अच्छे और सबसे अधिक कुशल मॉडल को ट्रेन कर सकते हैं, तो आपका लाभमार्जिन आज से कहीं अधिक होगा। यह आल्चिन-एलेन प्रभाव है: जब एक निश्चित लागत दो अलग-अलग गुणवत्ता वाली वस्तुओं पर एक साथ लागू होती है, तो उच्च गुणवत्ता वाली वस्तु अपेक्षाकृत अधिक सस्ती हो जाती है, और मांग उसकी ओर स्थानांतरित हो जाती है। जब H100 की प्रति घंटे की कीमत 20 डॉलर हो जाती है, तो एक कमजोर और कम कुशल मॉडल का उपयोग करना अत्यधिक महंगा और मूर्खतापूर्ण हो जाता है—क्योंकि आपको समान परिणाम प्राप्त करने के लिए अधिक token खर्च करने पड़ते हैं और अधिक महंगी कैलकुलेशन पावर का उपयोग करना पड़ता है। इसलिए, अगर कोई ऐसा शीर्ष मॉडल ट्रेन कर सकता है जो कम प्रोसेसिंग पावर का उपयोग करता है, तो वह बहुत अधिक प्रीमियम वसूल सकता है। चूंकि नींव की प्रोसेसिंग पावर पर पहले से ही इतना पैसा खर्च करना पड़ता है, तो समान प्रोसेसिंग पावर पर सबसे कुशल मॉडल का उपयोग करने के लिए कुछ अधिक पैसा क्यों नहीं खर्च किया जाए?

बहुत सारे वर्तमान में लोकप्रिय AI अनुप्रयोगों को कीमत के कारण बाहर कर दिया जाएगा। AI अभी अपेक्षाकृत सस्ता है, कम से कम मानव शक्ति की तुलना में, जिसका आंशिक कारण यह है कि यह शीर्ष मानवों द्वारा किए जाने वाले कई कार्यों को अभी नहीं कर सकता। एक दिन यह सच नहीं रहेगा। उस समय, GPU का उपयोग करके छोटे वीडियो के अवांछित सामग्री का निर्माण करना, इतना महंगा हो जाएगा कि यह लाभदायक नहीं रहेगा।

हालांकि, ऐसे भविष्यवाणियाँ दुर्लभता के बारे में ऐतिहासिक गलत अनुमानों के समान हैं। मैं साइमन-एलरिच बेट के बारे में सोच रहा हूँ: पॉल एलरिच ने यह बेट लगाया कि 1990 से पहले के दशक में कच्चे माल के एक बास्केट की कीमतें गिरने के बजाय बढ़ेंगी। यह बेट सामान्य आर्थिक चर्चाओं में प्रसिद्ध है, क्योंकि इसे एलरिच के माल्थसवादी दृष्टिकोण को खंडित करने का सबूत माना जाता है—उन्होंने बाजार संकेतों और मानवीय बुद्धिमत्ता की दुर्लभ संसाधनों को बचाने में भूमिका को कम आंका (हालांकि, कुछ विश्लेषणों ने यह भी बताया है कि अगर इस बेट को किसी अन्य दशक के लिए किया जाता, तो एलरिच जीतता)।

मुझे लगता है कि कच्चे माल का यह संदर्भ गणना क्षमता के लिए उपयुक्त नहीं है, क्योंकि गणना क्षमता की आपूर्ति की लचीलापन धातु खनन की तुलना में कहीं अधिक कम है, और बड़े मांग के सदमे को अवशोषित करने या विकल्प ढूंढने की क्षमता भी कहीं कम है। प्रति वर्ष 3 गुना की गणना क्षमता वृद्धि निम्नलिखित तीन संख्याओं के गुणनफल से प्राप्त होती है: मोरे के नियम से 1.4 गुना, नए वेफर प्लांट निर्माण से 1.2 गुना (कम से कम 2030 तक EUV उपकरणों की आपूर्ति से सीमित), और AI द्वारा अन्य उपकरणों से उन्नत प्रक्रिया वेफर कोटा हड़पने से 1.8 गुना (यह पहलू 2027 के आसपास एक दीवार से टकराएगा, जब N3 वेफर पर AI का हिस्सा 60% से बढ़कर 86% हो जाएगा)। इन तीनों गुणकों में से कोई भी आगे बढ़ाया जाना मुश्किल है, और अंतिम एक पहले ही एक-दो साल में वेफर कोटा की संतृप्ति के साथ शीर्ष पर पहुंच जाएगा।

मैं यह स्पष्ट करना चाहता हूँ कि भविष्य में किसी बिंदु पर कैलकुलेशन क्षमता फिर से सस्ती हो जाएगी। एक दिन, रोबोट समुद्र के किनारे की चिकनी रेत और भूमि के नीचे के तांबे के खनिजों को सीधे कंप्यूटर में बदल देंगे, और उस समय कैलकुलेशन क्षमता की कीमतें कच्चे माल और उपकरणों की लागत के करीब वापस आ जाएंगी। मैं अभी वर्तमान चरण पर चर्चा कर रहा हूँ—AI कैलकुलेशन क्षमता हर साल केवल 3 गुना बढ़ रही है, जो AI के हर साल अधिक मूल्यवान होने की दर से बहुत पीछे है, जो कीमतों में वृद्धि का कारण बनती है।

एक बात और, एंथ्रोपिक की आय हर साल 10 गुना बढ़ रही है, जबकि कैलकुलेशन क्षमता केवल 3 गुना बढ़ रही है, जिससे स्पष्ट होता है कि मॉडल व्यवसाय में अत्यधिक स्केल इकोनॉमी मौजूद है। तर्कसंगत रूप से यह समझ में आता है—एक मॉडल को ट्रेन करने के लिए आपको एक बार का सीखने का लागत देना पड़ता है, और फिर इस लागत को सभी उपयोगकर्ताओं पर बाँटा जा सकता है (जैसे मानव श्रम, जहाँ प्रत्येक उदाहरण को शुरू से ट्रेन करना पड़ता है)। मैं एक ऐसी दुनिया में रहना नहीं चाहता जहाँ बुद्धिमत्ता के पास इतनी मजबूत स्केल इकोनॉमी हो (क्योंकि मुझे सत्ता केंद्रीकरण की चिंता है)। लेकिन वास्तविकता ऐसी ही प्रतीत होती है।