बढ़ती मांग और आपूर्ति सीमाओं के बीच एआई कंप्यूट लागतें बढ़ने की संभावना

मैं एक न्यूनतम लेखन शैली का प्रयास करना चाहता हूँ: खुद को 2 घंटे का समय दें और एक ब्लॉग पोस्ट तेजी से पूरी कर लें। मैं बहुत सारे महत्वपूर्ण उप-प्रश्नों को गहराई से नहीं सुलझा पाऊँगा, लेकिन अगर मैं ऐसा नहीं करूँगा, तो मुझे जिन विषयों में दिलचस्पी है, वे हमेशा स्थिर रहेंगे और कोई प्रगति नहीं होगी।

आज मैं AI प्रयोगशालाओं की कैलकुलेशन क्षमता की स्थिति के बारे में अगले कुछ वर्षों के लिए बात करना चाहता हूँ।

एंथ्रोपिक की राजस्व प्रति वर्ष 10 गुना बढ़ रही है। इस रुझान के अनुसार, इस साल के अंत तक एंथ्रोपिक की राजस्व 1000 से 1500 अरब डॉलर के बीच होने की संभावना है। यदि यह रुझान जारी रहा, तो अगले साल के अंत तक उन्हें 1 ट्रिलियन डॉलर की राजस्व प्राप्त करनी होगी। बेशक, कोई कठोर कारण नहीं है कि यह रुझान जारी रहेगा—यह मूल रूप से AI क्षमता का मुद्दा है। लेकिन मान लीजिए कि यह सचमुच जारी रहा, तो इस दुनिया में कौन-सी शर्तें सत्य होनी चाहिए?

लैब की कैलकुलेशन क्षमता हर साल 3 गुना बढ़ती है। यदि एक लैब को केवल 3 गुना की कैलकुलेशन क्षमता वृद्धि के साथ राजस्व में 10 गुना की वृद्धि करनी है, तो निम्नलिखित तीन में से कम से कम कुछ बातें एक साथ होनी चाहिए: एक, लैब का लाभमार्जिन बढ़े; दो, कैलकुलेशन क्षमता की कीमतें बढ़ें; तीन, लैब अपनी कैलकुलेशन क्षमता का एक बड़ा हिस्सा इन्फरेंस के लिए उपयोग करे।

मेरी समझ में, ये तीनों चीजें लगभग एक साथ हो रही हैं: एक, Anthropic की लाभमार्जिन 2025 में 40% से बढ़कर इस साल Fable रीजनिंग बिजनेस के लिए 80% से अधिक हो सकती है (हालांकि, सीमांत कैपेसिटी की लाभमार्जिन अलग हो सकती है, जिसके बारे में बाद में बताऊंगा); दो, इस साल के फरवरी के निम्न स्तर के बाद से कैपेसिटी स्पॉट मूल्य में 40% से अधिक की वृद्धि हुई है, और प्रयोगशाला को वास्तविक रूप से जो मूल्य देना पड़ रहा है, उसमें संभवतः और अधिक वृद्धि हुई है (बाद में विस्तार से); तीन, Epoch के डेटा के अनुसार, OpenAI ने 2024 में लगभग 25% कैपेसिटी खर्च रीजनिंग पर खर्च किया, अब यह अनुपात 50% के करीब, या उससे भी अधिक होना चाहिए।

प्रयोगशालाएँ वास्तव में तीसरा रास्ता (अधिक और अधिक कैलकुलेशन शक्ति को निष्कर्षण पर लगाना) अपनाना नहीं चाहतीं। एक मजाक बहुत सटीक है: निष्कर्षण आय का उद्देश्य, निवेशकों को यह समझाना है कि आपको अधिक कैलकुलेशन शक्ति खरीदने के लिए और अधिक बड़े मॉडल ट्रेन करने के लिए अधिक पैसा दें। अगर आप अधिकांश कैलकुलेशन शक्ति को निष्कर्षण पर केंद्रित कर दें, तो किसी न किसी तरह यह घोषणा होती है कि AI की प्रगति रुक गई है—क्योंकि ट्रेनिंग पर अधिक निवेश करना अब लाभदायक नहीं है, और आपका व्यवसाय मूलतः एक क्लाउड सर्विस प्रोवाइडर बन गया है। सभी प्रयोगशालाएँ ऐसा नहीं समझतीं—वे महसूस करती हैं कि वे जिन मॉडल्स को अभी डिप्लॉय कर रही हैं, वे एक साल बाद बहुत पुराने लगेंगे, और अभी यह व्यवसाय करने का मकसद, अधिक स्मार्ट मॉडल्स को ट्रेन करने के लिए व्यावसायिक मामलों का संचय करना है।

तो शेष दो रास्ते हैं: एक, प्रयोगशाला का लाभमार्जिन बढ़े; दो, कैलकुलेशन क्षमता महंगी हो जाए। यदि शीर्ष एक या दो प्रयोगशालाएँ प्रतिद्वंद्वियों से काफी आगे हैं, तो पहला रास्ता अधिक स्पष्ट होगा। बाजार प्रतिस्पर्धा में, लाभमार्जिन आपके पास दूसरे सर्वोत्तम विकल्प से कितना बेहतर फायदा है, इस पर निर्भर करता है। पहले प्रभाव को प्रमुखता देने के लिए, अगले साल के अंत तक लाभमार्जिन 90% से अधिक होना चाहिए। मुझे लगता है कि यह काफी अतिशयोक्ति है। हालाँकि, मुझे विश्वास है कि AI प्रयोगशालाओं की आय अभी भी अद्भुत गति से बढ़ सकती है।

इसलिए, "अगले साल के अंत तक राजस्व 1 ट्रिलियन डॉलर तक विस्फोटक रूप से बढ़ जाएगा" इस दुनिया को कैसे सच किया जा सकता है, इसकी अंतिम प्रभाव: कैलकुलेशन क्षमता में भारी वृद्धि। जैसा कि मैंने कहा, यह पहले से ही हो रहा है। यदि हम लैब्स को वास्तव में जिस कैलकुलेशन क्षमता की आवश्यकता होती है, उस पर नज़र डालें, तो कीमतों में वृद्धि और भी चौंकाने वाली होगी—उन्हें स्पॉट इंस्टेंस पर निर्भर रहना संभव नहीं है, उन्हें मॉडल वेट्स और उपयोगकर्ता डेटा की सुरक्षा की आवश्यकता है, साथ ही अच्छी उपयोग दर और लचीलापन प्राप्त करने के लिए पर्याप्त पैमाने की आवश्यकता है। आइए देखें कि यह बाजार कितना पागल है: Google और Anthropic SpaceX से कैलकुलेशन क्षमता किराए पर ले रहे हैं। रिपोर्ट के मुताबिक, Google हर महीने 110,000 GPU किराए पर लेने पर 900 मिलियन डॉलर खर्च करता है, जो GB200 और GB300 का मिश्रण है। इसका मतलब है कि यह GPU की स्पॉट कीमत के लगभग 2 गुना है। और वर्तमान स्पॉट कीमतें पहले से ही फरवरी से 40% अधिक हैं।

मैं एक मुख्य निष्कर्ष पर जोर देना चाहता हूँ: जैसे-जैसे AI मॉडल अधिक शक्तिशाली होते जा रहे हैं, एक ही कैलकुलेशन क्षमता से उत्पन्न होने वाला मूल्य भी बढ़ता जा रहा है। यदि एक वास्तविक मानव-स्तरीय सॉफ्टवेयर इंजीनियर H100 स्तर के उपकरण पर चल सकता है, तो वर्तमान सॉफ्टवेयर इंजीनियरों के बाजार वेतन स्तर के अनुसार, H100 की वार्षिक किराया 250,000 डॉलर से अधिक होनी चाहिए—आज की स्पॉट कीमत का 15 गुना।

जब अचानक 10 मिलियन सॉफ्टवेयर इंजीनियर जुड़ जाएं, तो सीमांत इंजीनियर का मूल्य स्वाभाविक रूप से घट जाएगा, इसलिए H100 का वर्तमान आय से 15 गुना आय उत्पन्न करना सच में संभव नहीं हो सकता। लेकिन मुझे यकीन नहीं है कि यह तर्क सही है। अगर हम इस तर्क को AI के बजाय मानव पर लागू करें, तो यह पारंपरिक "श्रम की कुल मात्रा का भ्रम" होगा। अर्थशास्त्री सामान्यतः मानते हैं कि उच्च-कौशल आप्रवासी लंबे समय में वेतन को कम नहीं करते, क्योंकि विशेषज्ञता और नवाचार श्रम के मूल्य को बढ़ाते हैं। शायद इस बार श्रम की आपूर्ति में परिवर्तन इतना बड़ा और इतना तेज़ है कि यह सामान्य नियम अमान्य हो गया है। लेकिन अगर हम मानव श्रम के संदर्भ में मानक अर्थशास्त्र पर विश्वास करते हैं, तो सीमांत श्रम का मूल्य (और कैलकुलेशन की सीमांत कीमत) अभी भी अद्भुत स्तर पर बना रहेगा।

What will happen in this world?

शीर्ष मॉडल अब अधिक गणना क्षमता से मूल्य निकालने में सक्षम हो रहे हैं, इसलिए पीछे रहने की कठिनाई बढ़ती जा रही है। यदि 2028 तक सॉफ्टवेयर इंजीनियरिंग स्वचालित हो चुकी है और गणना क्षमता की कीमतें वर्तमान से 15 गुना अधिक हैं, तो बिना किसी आय के शीर्ष प्रयोगशालाओं के साथ गणना क्षमता के लिए प्रतिस्पर्धा करना अत्यंत कठिन होगा।

अगर आप सबसे अच्छे और सबसे अधिक कुशल मॉडल को ट्रेन कर सकते हैं, तो आपका लाभमार्जिन आज से कहीं अधिक होगा। यह आल्चिन-एलेन प्रभाव है: जब एक निश्चित लागत दो अलग-अलग गुणवत्ता वाली वस्तुओं पर एक साथ लागू होती है, तो उच्च गुणवत्ता वाली वस्तु अपेक्षाकृत अधिक किफायती हो जाती है, और मांग उसकी ओर स्थानांतरित हो जाती है। जब H100 की प्रति घंटे की कीमत 20 डॉलर हो जाती है, तो एक कमजोर और कम कुशल मॉडल का उपयोग करना अत्यंत महंगा और मूर्खतापूर्ण हो जाता है—क्योंकि आपको समान परिणाम प्राप्त करने के लिए अधिक टोकन खर्च करने पड़ते हैं और अधिक महंगी कैलकुलेशन क्षमता का उपयोग करना पड़ता है। इसलिए, अगर कोई ऐसा शीर्ष मॉडल ट्रेन कर सकता है जो कम कैलकुलेशन क्षमता का उपयोग करे, तो वह बहुत अधिक प्रीमियम प्राप्त कर सकता है। चूंकि नींव की कैलकुलेशन क्षमता पर ऐसी ही राशि खर्च करनी ही पड़ती है, तो समान कैलकुलेशन क्षमता पर सबसे कुशल मॉडल का उपयोग करने के लिए थोड़ा और खर्च करने में क्या हानि है?

अभी लोकप्रिय कई AI अनुप्रयोग मूल्य के कारण बाहर हो जाएंगे। AI अभी निपुण मानव शक्ति की तुलना में अपेक्षाकृत सस्ता है, जिसका एक कारण यह है कि यह अभी भी शीर्ष मानवों द्वारा किए जाने वाले कई कार्यों को नहीं कर सकता। एक दिन यह सच नहीं रहेगा। उस समय, GPU का उपयोग करके छोटे वीडियो की बर्बरता बनाने की लागत इतनी अधिक हो जाएगी कि यह लाभदायक नहीं रहेगा।

हालाँकि, ऐसे भविष्यवाणियाँ पिछले समयों में दुर्लभता के बारे में किए गए गलत अनुमानों के समान हैं। मैं साइमन-एलरिच बेट की याद करता हूँ: पॉल एलरिच ने बेट लगाया कि 1990 से पहले के दशक में कच्चे माल के एक बास्केट की कीमतें गिरने के बजाय बढ़ेंगी। यह बेट सामान्य आर्थिक चर्चाओं में प्रसिद्ध है, क्योंकि इसे एलरिच के माल्थसियन दृष्टिकोण को खंडित करने का सबूत माना जाता है—उन्होंने बाजार संकेतों और मानवीय बुद्धिमत्ता की भूमिका को कम आंका, जो दुर्लभ संसाधनों को बचाने में मदद करती है (हालाँकि, कुछ विश्लेषणों के अनुसार, अगर इस बेट को किसी अन्य दशक के लिए किया जाता, तो एलरिच जीतता)।

मुझे लगता है कि कच्चे माल का यह संदर्भ गणना क्षमता के लिए उपयुक्त नहीं है, क्योंकि गणना क्षमता की आपूर्ति की लचीलापन धातु खनन की तुलना में कहीं अधिक कम है, और बड़े मांग के सदमे को सोखने या वैकल्पिक समाधान ढूंढने की क्षमता भी काफी कम है। प्रति वर्ष 3 गुना की गणना क्षमता वृद्धि निम्नलिखित तीन संख्याओं के गुणनफल से प्राप्त होती है: मोर्स के नियम के कारण 1.4 गुना, नए वेफर प्लांटों के निर्माण के कारण 1.2 गुना (कम से कम 2030 तक EUV उपकरणों की आपूर्ति से सीमित), और AI द्वारा अन्य उपकरणों से उन्नत प्रक्रिया वेफर के कोटा को हड़पने से 1.8 गुना (यह पहलू 2027 के आसपास सीमा पर पहुंच जाएगा, जब N3 वेफर पर AI का हिस्सा 60% से बढ़कर 86% हो जाएगा)। इन तीनों गुणकों में से कोई भी आगे बढ़ाया जाना मुश्किल है, और अंतिम पहलू एक-दो साल में ही वेफर कोटा संतृप्ति के कारण शीर्ष पर पहुंच जाएगा।

मैं यह स्पष्ट करना चाहता हूँ कि भविष्य में किसी बिंदु पर कैलकुलेशन क्षमता फिर से सस्ती हो जाएगी। एक दिन, रोबोट समुद्र के किनारे की सिलिका रेत और भूमि के नीचे के तांबे के खनिजों को सीधे कंप्यूटर में बदल देंगे, और उस समय कैलकुलेशन क्षमता की कीमतें कच्चे माल और उपकरणों की लागत के करीब वापस आ जाएंगी। मैं अभी वर्तमान चरण पर चर्चा कर रहा हूँ—AI कैलकुलेशन क्षमता प्रतिवर्ष केवल 3 गुना बढ़ रही है, जो AI के प्रतिवर्ष अधिक मूल्यवान होने की दर से बहुत पीछे है, जो कीमतों में वृद्धि का कारण बनती है।

एक बात और, एंथ्रोपिक की आय हर साल 10 गुना बढ़ रही है, जबकि कैलकुलेशन क्षमता केवल 3 गुना बढ़ रही है, जिससे स्पष्ट होता है कि मॉडल व्यवसाय में अत्यधिक स्केल इकोनॉमिक्स मौजूद है। तर्कसंगत रूप से यह समझ में आता है—एक मॉडल को प्रशिक्षित करने के लिए आपको एक बार का सीखने का लागत भुगतान करना पड़ता है, और फिर इस लागत को सभी उपयोगकर्ताओं पर बांटा जा सकता है (जिसके विपरीत मानव श्रम है, जहां प्रत्येक उदाहरण को पुनः प्रशिक्षित करना पड़ता है)। मैं एक ऐसी दुनिया में रहना नहीं चाहता जहां बुद्धिमत्ता के पास इतनी मजबूत स्केल इकोनॉमिक्स हो (क्योंकि मुझे सत्ता केंद्रीकरण का डर है)। लेकिन वास्तविकता ऐसी ही प्रतीत होती है।

लेखक: ड्वार्केश पाटेल, अनुवाद: शेनचाओ टेकफ्लो