दांत के एक बाल से बनी आईटी बुनियादी ढांचा: अदृश्य बॉटलनेक

लेखक: संकलन साधु

क्या आपने कभी सोचा है कि आप अभी जिस लेख को स्क्रॉल कर रहे हैं, वह कितनी परतों के तकनीकी स्टैक से गुजर चुका है?

मोबाइल ऑपरेटिंग सिस्टम, ब्राउज़र कर्नेल, जावास्क्रिप्ट इंजन, वेबएसेम्बली, सीडीएन, डीएनएस, क्लाउड सर्वर, लिनक्स कर्नेल, सी भाषा रनटाइम लाइब्रेरी, सीपीयू निर्देश सेट, अर्धचालक वेफर... अंततः एक ऐसे सिलिकॉन चिप पर आकर बंद हो जाता है जो बिजली खपत कर रहा है।

प्रत्येक स्तर अटूट लगता है। प्रत्येक स्तर के पास व्हाइटपेपर, प्रमाणीकरण और बड़ी कंपनियों का समर्थन है।

लेकिन उन्हें एक साथ रखकर देखें, तो आपको एक असहज कर देने वाला दृश्य मिलता है—एक डगमगाती हुई बाबल की मीनार, जिसके सबसे नीचे सब कुछ संभाले रही है एक मुश्किल से हास्यास्पद पतली लाल स्तंभ।

इसका नाम: वॉन न्यूमैन बॉटलनेक है।

और टावर के शीर्ष पर खड़े होकर आप अपना फोन उठाए हुए हैं और लगता है कि सब कुछ सामान्य है।

वॉन न्यूमैन, आधुनिक कंप्यूटर के पिता। वॉन न्यूमैन आर्किटेक्चर, लगभग सभी आधुनिक कंप्यूटर का नींव का डिज़ाइन है। CPU गणना के लिए जिम्मेदार है, मेमोरी भंडारण के लिए जिम्मेदार है, और दोनों के बीच डेटा को एक बस के माध्यम से आवागमन किया जाता है। यह डिज़ाइन 1945 से आज तक प्रयोग में है, जिसने मेनफ्रेम, पीसी, इंटरनेट, मोबाइल युग को पार किया है, और अब कृत्रिम बुद्धिमत्ता को समर्थन दे रहा है।

लेकिन इसमें दो प्राकृतिक दोष हैं: 1) CPU तेजी से तेज हो रहा है, लेकिन मेमोरी और बस उसके साथ नहीं बढ़ पा रही हैं। डेटा का स्थानांतरण पूरे सिस्टम की सीमा बन गया है—CPU का अधिकांश समय गणना करने के बजाय डेटा का इंतजार करने में बीत जाता है। 2) CPU की उच्च संसाधन क्षमता कैश की क्षमता पर निर्भर करती है, लेकिन कैश की प्राकृतिक भौतिक सीमाएँ होती हैं, जो मेमोरी की तरह क्षैतिज रूप से विस्तारित नहीं की जा सकतीं। मानव-पठनीयता पर बल देने वाली आधुनिक उच्च स्तरीय प्रोग्रामिंग भाषाओं के कारण, जटिल असमान डेटा के साथ क्रमशः बड़े होते जा रहे प्रोग्राम पहले से ही कैश क्षमता की सीमा से परे हो चुके हैं, जिससे मेमोरी-CPU के बीच डेटा स्थानांतरण की आवृत्ति और मात्रा में और वृद्धि हुई है, जिसके परिणामस्वरूप कंप्यूटर धीमा, उलझनवाला और अधिक से अधिक क्रैश होने लगा है। यही "वॉन न्यूमैन बॉटलनेक" है।

विचित्र बात यह है कि यह बॉटलनेक पूरे IT उद्योग की सबसे निचली, सबसे मूलभूत और सबसे अपरिहार्य समस्या है, लेकिन यह सबसे कम ध्यान आकर्षित करने वाली समस्या भी है।

क्यों? क्योंकि इसे हल करना बहुत कठिन है और इससे आसानी से कमाई नहीं होती।

बड़ी कंपनियाँ इस पर अधिक स्तर जोड़ना पसंद करती हैं—तेज़ GPU, बड़ी वीडियो मेमोरी, अधिक जटिल कैश स्तर, अधिक बुद्धिमान स्केड्यूलिंग एल्गोरिदम। प्रत्येक स्तर को PPT में शामिल किया जा सकता है, प्रत्येक स्तर से पैसा कमाया जा सकता है, और प्रत्येक स्तर उस लाल स्तंभ को चारों ओर से घेरता है, न कि समस्या का सामना करके उसे हल करता है।

जैसे एक इमारत लगातार ऊपर की ओर बढ़ रही हो, लेकिन नींव के दरार को लगातार मोटी दीवार के कागज से ढक दिया जा रहा हो।

आप पूछते हैं कि अंदर रहने वाले लोग सुरक्षित हैं? वे कहेंगे: चिंता मत करें, हमने अभी नवीनतम स्मार्ट लॉक बदल दिया है और सबसे महंगी आपातकालीन बीमा खरीद ली है।

इस चित्र को देखकर आप एक दिलचस्प बात देख सकते हैं: प्रत्येक स्तर को अलग से लेने पर, यह एक सावधानी से डिज़ाइन किए गए ब्लॉक की तरह लगता है।

ऑपरेटिंग सिस्टम की कोर आर्किटेक्चर कठोर होती है। हाई-बैंडविड्थ मेमोरी (HBM) की सूक्ष्म स्टैकिंग प्रक्रिया होती है। CPU और GPU के दस अरब ट्रांजिस्टरों का सूक्ष्म डिज़ाइन होता है। सेमीकंडक्टर वेफर फैक्ट्री मानव उद्योग का मुकुट है।

Linux और Apache फाउंडेशन दुनिया के सबसे विश्वसनीय ओपन-सोर्स इंफ्रास्ट्रक्चर को बनाए रखते हैं। LibcURL को लगभग हर नेटवर्क की आवश्यकता वाले प्रोग्राम द्वारा कॉल किया जाता है। DNS सिस्टम वैश्विक इंटरनेट को एक-दूसरे को ढूंढने में सक्षम बनाता है। क्लाउड कंप्यूटिंग प्रोवाइडर 99.99% उपलब्धता का वादा करते हैं।

प्रत्येक ब्लॉक वर्गाकार होता है, प्रत्येक ब्लॉक में शोध पत्र, मानक और ऑडिट होते हैं।

लेकिन उन्हें नीचे से ऊपर तक ढेर कर देने से दृश्य बदल जाता है।

यह आधुनिक डिजिटल बुनियादी ढांचे का सच है: एक सावधानी से डिज़ाइन किया गया समग्र प्रणाली नहीं, बल्कि असंख्य अस्थायी समाधानों का एक जमावड़ा।

यह काम करता है, क्योंकि इसे अच्छी तरह से डिज़ाइन नहीं किया गया था, बल्कि काफी सारे लोगों ने काफी सारे रातों में काफी सारे पैच लगाए थे।

आप सोच रहे हैं कि आप एक इमारत का उपयोग कर रहे हैं। वास्तव में आप एक ढेर के ऊपर खड़े हैं, जो जुड़े हुए टुकड़ों से बना है।

चित्र में दिख रहे पार्श्व से निकले रोबोटिक बाजू को "AI कृत्रिम बुद्धिमत्ता" के रूप में चिह्नित किया गया है।

यह मीनार को समर्थन नहीं दे रहा है, बल्कि ब्लॉक जैसी सुविधाओं के पतन को लीवर के रूप में तेज कर रहा है।

यह वर्तमान एआई उत्साह के लिए सबसे सटीक व्यंग्य है।

सभी कह रहे हैं कि AI उत्पादकता क्रांति है, अगला युग है, और सब कुछ बचाने वाली चांदी की गोली है। लेकिन बुनियादी ढांचे के दृष्टिकोण से, AI पहला काम यह करता है कि पहले से ही कमजोर प्रणाली को और अधिक खतरनाक किनारे पर धकेल देता है।

क्यों? क्योंकि 1) AI एक कैलकुलेशन जानवर है। एक बड़े मॉडल के प्रशिक्षण के लिए खपत होने वाली बिजली, एक छोटे शहर की एक साल की बिजली खपत के बराबर होती है। निष्कर्षण तैनाती के लिए असंख्य GPU की आवश्यकता होती है, और GPU की नींव अभी भी फोन न्यूमैन आर्किटेक्चर पर चलती है—उस लाल स्तंभ पर पहले से अधिक दबाव पड़ रहा है। 2) AI उपयोगकर्ताओं का डेटा इंफ्रास्ट्रक्चर पर हिंसक खोज का दबाव मानव उपयोगकर्ताओं की तुलना में हजारों गुना अधिक है, और अब जिस loop सर्कुलेशन समाधान का जिक्र किया जा रहा है, वह AI कार्यों की डेटा खोज, क्वेरी और गणना की आवृत्ति को भी ज्यामितीय रूप से बढ़ाएगा।

अधिक व्यंग्य है AI का उत्पाद।

बहुत सारे AI द्वारा उत्पादित कोड ओपन सोर्स प्रोजेक्ट्स में सबमिट किए जा रहे हैं, जिनकी गुणवत्ता अस्थिर है और जिनमें लगातार वल्नरेबिलिटीज़ होती हैं। इंटरनेट पर AI द्वारा उत्पादित सामग्री की भरमार है, जिससे सर्च इंजन के परिणाम जंक सामग्री से भर गए हैं। AI द्वारा उत्पादित "समाधान" को उत्पाद के रूप में पैक करके ग्राहकों को बेचा जा रहा है, और समस्या उत्पन्न होने पर पता चलता है कि नींव में केवल एक भ्रम है।

AI ने उस लाल स्तंभ को नहीं ठीक किया, इसने केवल मीनार के शीर्ष पर एक और परत जोड़ दी, और सभी को बता दिया: देखो, हम अब अधिक ऊँचे हैं।

क्या यह टूट जाएगा? यह अगले चौथाई का मुद्दा है।

एक मजाक कहता है: मनुष्य ने 70 साल में कंप्यूटर को "जल्दी गणना करने वाला" से "बेकार की बातें करने वाला" बना दिया, और इसे प्रगति कहा।

चित्र के दाईं ओर, एक गुस्से में छोटा चिड़िया टावर की दीवार पर टकरा रहा है। बगल में लिखा है: "बड़ी कंपनियाँ" जो कुछ कर रही हैं।

यह उपमा कर्कश है, लेकिन सटीक है।

बड़ी कंपनियाँ एक नियमित अंतराल पर एक "क्रांतिकारी" नया उत्पाद, नया फ्रेमवर्क या नया मानक जारी करती हैं। प्रकाशन समारोह विशाल होता है, PPT अत्यंत सुंदर होते हैं, और KOL एक साथ प्रशंसा करते हैं।

लेकिन इन उत्पादों का अक्सर मौजूदा उद्योग संरचना को मरम्मत या मजबूत करने के बजाय नुकसान पहुंचाया जाता है।

एक नया फ्रेमवर्क आता है, तो पुराने फ्रेमवर्क का इकोसिस्टम मर जाता है। एक नया मानक आता है, तो सभी पुराने मानक के साथ संगत उपकरण "पुराने उत्पाद" बन जाते हैं। बड़ी कंपनियाँ नहीं जानतीं कि इसकी कीमत होती है। लेकिन उनके लिए, इकोसिस्टम को नुकसान पहुँचाने की लागत डेवलपर्स और उपयोगकर्ताओं द्वारा वहन की जाती है, जबकि नए उत्पाद से होने वाली वृद्धि और मूल्यांकन उनकी होती है।

चित्र के बाईं ओर, एक Rust स्वतंत्र विकासक रॉकेट पर उड़ रहा है, जिस पर लिखा है: "RUST स्वतंत्र विकासक अपना काम कर रहे हैं"

यह एक और व्यंग्य है।

स्वतंत्र डेवलपर्स आईटी पारिस्थितिकी के सबसे सक्रिय समूह हैं। वे बड़ी कंपनियों के KPI से मुक्त होते हैं, जिससे वे तेजी से परीक्षण कर सकते हैं और बड़ी कंपनियों द्वारा बनाए जाने वाले उत्कृष्ट ऐप्स बना सकते हैं।

लेकिन स्वतंत्र विकासकों के उत्पादन का एक अन्य पहलू भी है

बेवकूफी। एक ही फीचर के लिए दस अलग-अलग डेवलपर्स ने दस संस्करण बनाए, हर एक अलग है, हर एक का अपना डिजाइन फिलॉसफी है, और हर एक केवल तब तक रखा जाता है जब तक लेखक को रुचि नहीं खत्म हो जाती।

- अनियमित। कोई एकीकृत मानक नहीं, कोई संगतता का प्रतिबद्धता नहीं, कोई अपग्रेड का रोडमैप नहीं। आज काम करता है, कल लेखक संभवतः डेटाबेस हटा सकता है।

अनियमित। कई स्वतंत्र प्रोजेक्ट्स का परीक्षण नहीं किया गया है, कोई दस्तावेज़ नहीं है, कोई सुरक्षा ऑडिट नहीं है। लेखक को लगता है कि "जो चल रहा है, वही काफी है", और फिर इस प्रोजेक्ट पर एक लाख अन्य प्रोजेक्ट्स निर्भर हैं।

इन समस्याओं को अलग-अलग देखने पर वे छोटी लगती हैं, लेकिन जब वे एक साथ जुड़ जाती हैं, तो यह बाजार के लिए एक अन्य प्रकार की क्षति बन जाती है। उपयोगकर्ता असंख्य अधूरे उत्पादों में से चयन करते हैं, विकासकर्ता असंख्य त्यागे गए फ्रेमवर्क में फंस जाते हैं, और पूरे पारिस्थितिकी तंत्र की विश्वास लागत लगातार बढ़ती जा रही है।

और वे वास्तविक रूप से उत्कृष्ट स्वतंत्र डेवलपर, जैसे चित्र में रॉकेट पर उड़ रहे Rust डेवलपर — वे अपना काम कर रहे हैं, बहुत अच्छी तरह से, लेकिन इस कमजोर मीनार से कोई संबंध नहीं है।

The tower won't become more stable because of them, and they won't stop because of the tower.

सब अपना काम कर रहे हैं, सब अपना टूट रहे हैं।

आइए इस चित्र को पूरी तरह से शुरू से अंत तक देखें।

सबसे नीचे, एक भूरा बड़ा आयत है, जिस पर "बिजली (कैलकुलेशन, पानी, ऊर्जा... आदि)" लिखा है। यह सबकी शुरुआत है—बिना बिजली के, कोई कैलकुलेशन नहीं। लेकिन आईटी उद्योग के कथन में, बिजली सबसे नजरअंदाज की जाने वाली परत है। लोग क्लाउड-नेटिव, माइक्रोसर्विसेज, और बड़े मॉडल्स के बारे में चर्चा करते हैं, लेकिन कम ही कोई पूछता है: इन चीजों के लिए बिजली कहाँ से आती है? इसके लिए कितना भुगतान करना पड़ता है? पर्यावरण पर क्या प्रभाव पड़ता है?

ऊर्जा के ऊपर, चार आधारस्तंभ हैं: ऑपरेटिंग सिस्टम, हाई-बैंडविड्थ मेमोरी (HBM), CPU/GPU, और अर्धचालक वेफर फैक्ट्री। यह हार्डवेयर स्तर है, जो वास्तव में "सीधा-सीधा" हिस्सा है। प्रत्येक एक मानव उद्योग के शीर्ष स्तर को दर्शाता है। लेकिन ध्यान दें, ये चार अलग-अलग पत्थर हैं, एक सम्पूर्ण नींव नहीं—उनके बीच का संयोजन, स्वयं में दरारें रखता है।

ऊपर, एक लटकती हुई लंबी बोर्ड है, जिस पर "C भाषा डेवलपर्स के डायनामिक एरे" लिखा है। यह बोर्ड चार आधारों पर स्थित है और स्वयं अस्थिर है। और इसके बिल्कुल बीच में, एक पतली लाल स्तंभ सभी भार को संभालता है—वॉन न्यूमैन बोतलने का संकीर्णण। पूरी IT दुनिया का भार, अंततः इस स्तंभ पर ही दबता है।

ऊपर की ओर, शैली नियंत्रण से बाहर हो जाती है। एक "अपरिभाषित व्यवहार पर आधारित C99 प्रोजेक्ट" कुंजी कार्यों को संभालता है। JVM के नीचे, संबंधात्मक डेटाबेस पर क्रॉस लगा हुआ है। एक मैकेनिकल हाथ पार्श्व से बाहर आता है, जिस पर "AI कृत्रिम बुद्धिमत्ता" लिखा हुआ है, और यह टावर को धकेल रहा है।

ऊपर की ओर, V8 इंजन, left-pad, साइबर सुरक्षा, WebAssembly हैं—ये वेब स्तर हैं। बगल में बड़े अक्षरों में "वेब डेवलपर्स का स्वयं को नुकसान पहुंचाना" और "वेब में हो रही अजीब बातें" लिखा है।

सबसे ऊपर, एक छोटा सा मानव आकृति उपयोगकर्ता का प्रतिनिधित्व करता है, जो अस्थिर मीनार के शीर्ष पर खड़ा है, जिसके पास लिखा है "आप यहीं हैं।" बड़ा करके देखें, यह छोटा आदमी अपना मोबाइल फोन उठाए हुए है—वह इस मीनार का उपयोग कर रहा है, और मीनार किसी भी क्षण गिर सकती है।

टावर के बाएं ओर, एक Rust स्वतंत्र डेवलपर रॉकेट पर बैठकर अपने काम के लिए उड़ गया। टावर के दाएं ओर, एक क्रोधित छोटा पक्षी (बड़ी कंपनी) टावर की दीवार से टकरा रहा है। टावर के ऊपर, एक बादल अकेला तैर रहा है, जिस पर "अनुकूलित क्लाउड सर्वर" लिखा है—यह टावर से कोई संबंध नहीं रखता, मानो यह केवल एक अवधारणा हो।

पूरी तस्वीर में कोई भी अतिरिक्त वाक्य नहीं है। प्रत्येक टिप्पणी एक कांटा है, जो IT उद्योग के सबसे अनछुए स्थानों पर चुभता है।

यह कुछ का भविष्यवाणी नहीं कर रहा है। यह वर्तमान का वर्णन कर रहा है।

इस लेख को यहां तक लिखने के बाद, कोई यह कह सकता है: आप बहुत निराशावादी हैं, IT उद्योग तो अच्छी तरह से काम कर रहा है न?

हाँ, यह काम कर रहा है।

लेकिन "चल रहा है" और "स्थिर" दो अलग बातें हैं। एक व्यक्ति चल सकता है, लेकिन इसका मतलब यह नहीं कि उसकी हड्डियों में दरार नहीं है। एक पुल पर गाड़ियाँ चल सकती हैं, लेकिन इसका मतलब यह नहीं कि इसकी भार सीमा पार नहीं कर रही है।

IT उद्योग की भयानक बात यह है कि इसकी प्रत्येक परत तेजी से अपडेट हो रही है, लेकिन सबसे नीचली स्तर की समस्याएँ कभी वास्तव में हल नहीं हुई हैं। वॉन न्यूमैन बॉटलनेक अभी भी मौजूद है, बड़ी कंपनियाँ इमारतें तोड़ रही हैं, AI अपशिष्ट बना रहा है, और स्वतंत्र डेवलपर्स अभी भी अलग-अलग काम कर रहे हैं।

सभी ऊपर की ओर इमारत बना रहे हैं, कोई भी नीचे की ओर देखना नहीं चाहता।

क्योंकि नीचे देखने पर पता चलता है कि नींव एक दांत की लकड़ी है। और दांत की लकड़ी, एक दिन अपना समर्थन नहीं रख पाएगी।

शायद तब तक इंतजार करना पड़ेगा, जब हम टावर के शीर्ष पर खड़े होकर अपना फोन उठाएंगे और पहली बार यह सवाल पूछेंगे: इस इमारत की नींव कैसे बनाई गई थी?