जेफ डीन पर AI के अगले चरण: TPU से स्वयं विकसित होने वाले एजेंट्स तक

2026 के YC स्टार्टअप स्कूल पर, जेफ डीन की आवाज़ थोड़ी खराब थी।

साक्षात्कार शुरू होते ही, उन्होंने स्पष्ट किया कि उनकी आवाज़ खो गई है, और आज उनकी आवाज़ सामान्य से अलग लग रही है। लेकिन इससे दर्शकों का ध्यान भटका नहीं। उनके सामने बैठे YC साझेदार डायना हू के पास एक ऐसी सूची थी जिसे कंप्यूटर इतिहास में शामिल किया जा सकता है: MapReduce, BigTable, TensorFlow, TPU, Gemini।

किसी भी प्रोजेक्ट के लिए काफी होता है कि वह एक इंजीनियर के करियर का प्रतिनिधित्व करे। लेकिन ये सभी प्रोजेक्ट्स जेफ डीन और उनके आसपास के गूगल इंजीनियर्स की प्रोफाइल में एक साथ मौजूद हैं।

डायना ने साक्षात्कार को एक उपलब्धि की समीक्षा नहीं बनाया। उसकी चिंता एक अन्य प्रश्न से जुड़ी थी: जब जनरेटिव AI पहले ही सॉफ्टवेयर उद्योग को छा चुका है, तो जेफ डीन, जो निचले स्तर पर प्रणालियों को पुनर्गठित करने में सबसे कुशल हैं, आज क्या देख रहे हैं?

उत्तर बड़े मॉडल नहीं है।

इस एक घंटे की बातचीत में, जेफ डीन ने बार-बार निष्कर्षण हार्डवेयर, ऊर्जा, डेटा ट्रांसफर, कॉन्टेक्स्ट इंजीनियरिंग, लंबे समय तक चलने वाले एजेंट, स्वचालित प्रयोग प्रणाली और स्टार्टअप कैसे सामान्य मॉडल के सीधे प्रभाव से बच सकते हैं, इन बातों पर चर्चा की। उनकी बातें बिखरी हुई लगती हैं, लेकिन इनके पीछे एक बहुत स्पष्ट मुख्य रेखा है: AI का अगला चरण, केवल मॉडल को अधिक बुद्धिमान बनाना नहीं है, बल्कि मॉडल को एक ऐसी प्रणाली में रखना है जो लंबे समय तक काम कर सके, लगातार प्रयास-त्रुटि कर सके, स्वचालित रूप से सत्यापित कर सके और क्षमता को निरंतर जमा कर सके।

इसका अर्थ यह भी है कि AI प्रतिस्पर्धा «जिसके पास बड़ा मॉडल है» से «जो बेहतर तरीके से बुद्धिमत्ता को संगठित कर सकता है» की ओर बदल रही है।

मई 2025 में, जेफ डीन ने एक ऐसा निर्णय लिया जिसने व्यापक चर्चा की थी: AI की क्षमता एक प्रारंभिक इंजीनियर के स्तर के करीब पहुंच गई है।

एक साल बाद, डायना ने उससे पूछा, यह भविष्यवाणी कैसे पूरी हुई?

जेफ डीन का जवाब सीधा था। उन्हें लगता है कि यह निर्णय काफी सटीक है। एजेंटीकरण, लंबी प्रक्रिया कोडिंग और जटिल कार्यों में मॉडल की प्रगति उनकी अपेक्षा से भी तेज़ हुई है।

उन्होंने कहा, "मॉडल क्षमता जटिल कार्यों को पूरा करने में मेरी अपेक्षा से तेजी से बढ़ रही है।"

अधिक महत्वपूर्ण बात यह है कि यह क्षमता अब केवल कोड लिखने तक सीमित नहीं है। बढ़ती संख्या में एजेंट प्रणालियाँ विज्ञान, इंजीनियरिंग और अन्य पेशेवर क्षेत्रों में प्रवेश कर रही हैं। वे केवल प्रश्नों के उत्तर देने तक सीमित नहीं हैं, बल्कि कार्यों को विभाजित करती हैं, उपकरणों का उपयोग करती हैं, प्रयोग चलाती हैं, परिणाम पढ़ती हैं, और प्रतिक्रिया के आधार पर आगे कार्रवाई करती हैं।

AI को एक प्रारंभिक इंजीनियर के रूप में तुलना करने से ध्यान मानव शक्ति के स्थानांतरण पर केंद्रित हो जाता है। लेकिन जेफ डीन एक अलग स्तर के परिवर्तन पर ध्यान केंद्रित करते हैं: जब एक 'प्रारंभिक इंजीनियर' को दर्जनों, सैकड़ों में प्रतिलिपि किया जा सके और वे कई दिनों या सप्ताहों तक समानांतर कार्य कर सकें, तो उत्पादन के संगठन में क्या परिवर्तन होगा?

पारंपरिक टीम में, जूनियर इंजीनियर को बिजनेस को समझना होता है, टूल्स को समझना होता है, और निरंतर प्रतिक्रिया प्राप्त करनी होती है। एजेंट के लिए भी ऐसा ही है। केवल इतना अंतर है कि इसकी प्रशिक्षण सामग्री केवल दस्तावेज़ नहीं होती, बल्कि प्रॉम्प्ट्स, टूल विवरण, स्किल फाइल्स, परीक्षण प्रणाली, मूल्यांकनकर्ता, और पूरा संदर्भ परिवेश होते हैं।

इससे AI इंजीनियरिंग में एक नया विभाजन उत्पन्न हुआ।

पिछले समय में, इंजीनियर मुख्य रूप से कोड लिखने के लिए जिम्मेदार थे। भविष्य में, अधिक इंजीनियर समस्याओं को परिभाषित करने, वातावरण स्थापित करने, नियमों को लिखने, प्रतिक्रिया लूप डिज़ाइन करने और फिर कार्य पूरा करने के लिए एजेंट्स के समूह को नियोजित करने के लिए जिम्मेदार होंगे।

जेफ डीन का 2027 के लिए यही अनुमान है। वे मानते हैं कि मशीन लर्निंग सिस्टम मशीन लर्निंग सिस्टम को सुधारने में अधिक भाग लेने लगेंगे। वे लक्ष्य को उप-समस्याओं में विभाजित करेंगे, स्वचालित रूप से बड़ी संख्या में प्रयोग चलाएंगे, परिणामों की तुलना करेंगे, और प्रभावी समाधानों को जोड़कर अधिक मजबूत नए सिस्टम बनाएंगे।

जहां कोई मापने योग्य लक्ष्य होता है, वहां बड़ी प्रगति का अवसर होता है।

This sentence is the first key to the entire interview.

सबसे पहले जिस क्षेत्र में AI स्वचालन ने प्रवेश किया, वह आवश्यक रूप से सबसे अधिक ज्ञान वाला क्षेत्र नहीं है, बल्कि प्रतिक्रिया सबसे स्पष्ट वाला क्षेत्र है। कोड परीक्षण से गुजर सकता है या नहीं, चिप डिज़ाइन क्षेत्र कम कर सकता है या नहीं, मॉडल संरचना सटीकता बढ़ा सकती है या नहीं, सामग्री के गुण आवश्यकताओं को पूरा करते हैं या नहीं—इन सभी प्रश्नों के लिए सापेक्ष रूप से स्पष्ट मूल्यांकन मानदंड होते हैं। जब तक मूल्यांकनकर्ता पर्याप्त विश्वसनीय हो, मशीन अत्यधिक आवृत्ति से पुनरावृत्ति परीक्षण कर सकती है।

इसलिए, AI युग में वास्तविक रूप से महत्वपूर्ण इकाई शायद एक उत्तर नहीं, बल्कि एक पूर्ण बंद चक्र है: समाधान प्रस्तावित करना, समाधान का कार्यान्वयन करना, परिणाम मापना और दिशा सुधारना।

जेफ डीन के कई प्रतिनिधि कार्य, एक बहुत ही सरल शुरुआत से आए हैं: पहले मापदंड की गणना कर लें।

2001 में, Google खोज अभी भी हार्ड डिस्क पर भारी निर्भर थी। हार्ड डिस्क की क्षमता अधिक होती थी, लेकिन एक्सेस स्पीड धीमी थी। जेफ डीन और संजय घेमावत ने एक अनुमान लगाया, जिससे पता चला कि Google का तब का पूरा सर्च इंडेक्स, सभी सर्वरों की मेमोरी में फिट हो सकता था।

आज लगता है कि यह केवल एक स्टोरेज मीडिया अपग्रेड है। लेकिन उस समय, इसका मतलब बिल्कुल अलग सिस्टम डिज़ाइन था।

यदि सूचकांक मुख्य रूप से हार्ड डिस्क पर रहता है, तो क्वेरी को मैकेनिकल सर्च का इंतजार करना पड़ता है। जैसे ही सूचकांक को मेमोरी में रख दिया जाता है, एक्सेस लेटेंसी में भारी कमी आ जाती है। दोनों ने जल्दी ही एक नया संस्करण लिखा और कुछ दिनों में इसे प्रोडक्शन में डाल दिया। इससे Google सर्च स्पष्ट रूप से तेज हो गया।

इस कहानी को सबसे आसानी से एक प्रतिभाशाली झलक के रूप में प्रस्तुत किया जा सकता है। लेकिन जेफ डीन का तरीका एक इंजीनियर के रूप में सामान्य ज्ञान को समझाने जैसा है: सिस्टम की स्थिति बदल गई है, जो पहले अमान्य था, अब वैध हो गया है, इसलिए इसे फिर से गणना करना चाहिए।

बहुत सारी उद्योग नवाचार इसी तरह के समय में होते हैं।

एक पुरानी समस्या लंबे समय तक बनी रही, और लोगों ने इसके चारों ओर पैच लगाने की आदत डाल ली। बाद में, हार्डवेयर की कीमतें, मेमोरी क्षमता, नेटवर्क बैंडविड्थ या मॉडल क्षमता किसी सीमा को पार कर गईं, और मूल प्रतिबंध समाप्त हो गए। लेकिन अधिकांश लोग अभी भी पुरानी आर्किटेक्चर का उपयोग करते हैं, क्योंकि यह पुरानी आर्किटेक्चर सामान्य ज्ञान बन चुकी है।

जेफ डीन जो करते हैं, वह है सामान्य ज्ञान को फिर से अनुमान में बदलना।

वह पूछेगा: ऐसा क्यों होना चाहिए? आज का पैमाना कल के पैमाने के समान है? यदि सबसे महंगा कदम बदल दिया जाए, तो पूरी प्रणाली पूरी तरह से अलग आकृति अपना लेगी?

यही उनका उद्यमियों के लिए सलाह है। केवल वर्तमान समाधानों में क्या कमी है, इसे देखने के बजाय, समस्या को प्रथम सिद्धांतों से पुनः देखें। क्या आप प्रदर्शन को एक क्रम बढ़ा सकते हैं? क्या आप लागत को दो क्रम घटा सकते हैं? क्या आप उद्योग के मानक कार्यान्वयन मार्ग का अनुसरण नहीं कर सकते?

कभी-कभी, आपको बस एक समस्या को थोड़ा अलग कोण से देखने की जरूरत होती है, आज के समाधान से बांधे न रहें, बल्कि प्रथम सिद्धांतों से सोचें कि इसे कैसे हल किया जाना चाहिए।

यह वाक्य रहस्यमयी नहीं लगता। वास्तविक कठिनाई यह है कि जब अधिकांश लोग किसी उद्योग में प्रवेश करते हैं, तो वे जल्दी से उद्योग के सभी डिफ़ॉल्ट उत्तर सीख लेते हैं। अनुभव लोगों को कुशलता प्रदान करता है, लेकिन उन्हें पुनः प्रश्न पूछने की क्षमता खोने का कारण बनता है।

2013 में, Google की गहरी सीखने वाली ध्वनि पहचान प्रणाली ने पुरानी प्रणालियों को स्पष्ट रूप से पार कर दिया। त्रुटि दर आधी हो गई, जिससे पिछले दो दशकों के ध्वनि पहचान के प्रगति को कुछ महीनों में समेट लिया गया।

उत्पाद टीम निश्चित रूप से उत्साहित थी। लेकिन जेफ डीन ने पहले एक गणना की।

अगर वॉइस रिकग्निशन वास्तव में बेहतर हो जाता है, तो उपयोगकर्ता इसका अधिक उपयोग करने को तैयार होंगे। मान लीजिए कि प्रत्येक Google उपयोगकर्ता दिन में केवल तीन मिनट वॉइस रिकग्निशन का उपयोग करता है, तो Google को इसे संभालने के लिए कितने सर्वर की आवश्यकता होगी?

परिणाम अनुकूल नहीं थे। उस समय के CPU की दक्षता के अनुसार, Google को अपने सर्वर स्केल को दोगुना करना पड़ सकता था।

This is the starting point of TPU.

यह अनुसंधान टीम के अचानक चिप बनाने की इच्छा के कारण नहीं है, और न ही Google की हार्डवेयर बनाने की क्षमता साबित करने के लिए, बल्कि एक सफल मॉडल जो एक ऐसी सेवा का लागत वहन नहीं कर पाएगा, उसके कारण है।

यह इतिहास AI उत्पादों में एक अक्सर नजरअंदाज किए जाने वाले नियम को उजागर करता है: मॉडल की प्रदर्शन क्षमता में सुधार हमेशा लागत कम नहीं करता। वास्तव में, जितना बेहतर प्रदर्शन, उतना ही अधिक उपयोग और सिस्टम पर अधिक दबाव।

जब वॉइस रिकग्निशन काम नहीं करता, तो उपयोगकर्ता इसे कम ही उपयोग करते हैं। सिस्टम की लागत समस्या नहीं है। जब त्रुटि दर में भारी कमी आती है, तो मांग अचानक रिलीज हो जाती है, और पीछे छिपे हुए कैलकुलेशन सीमाएं सामने आ जाती हैं।

TPU ने मशीन लर्निंग के सबसे महत्वपूर्ण कॉम्प्यूटिंग मॉडल के लिए विशेष हार्डवेयर का मार्ग चुना है। इसे ब्राउज़र चलाने की आवश्यकता नहीं है, और न ही इसे सभी सामान्य प्रोग्राम्स को संभालना है। यह मुख्य रूप से कम सटीकता वाले, घने रैखिक बीजगणित में कुशल है। ऐसी गणनाएँ आधुनिक मशीन लर्निंग के केंद्र में स्थित हैं।

पहली पीढ़ी के TPU ने अंततः क्रम के अनुसार लाभ लाया। जेफ डीन के अनुसार, यह उस समय के CPU और GPU की तुलना में 30 से 80 गुना अधिक ऊर्जा कुशल था और लेटेंसी 20 से 30 गुना कम थी।

यहाँ एक ऐसा डिज़ाइन स्केल है जिसे आमतौर पर नज़रअंदाज़ कर दिया जाता है।

TPU बहुत विशिष्ट है, लेकिन इतना विशिष्ट नहीं कि यह केवल एक निश्चित मॉडल के लिए ही उपयोग किया जा सके। टीम को पता था कि मशीन लर्निंग एल्गोरिदम तेजी से बदलते रहेंगे, इसलिए उन्होंने चिप को एक अपेक्षाकृत सामान्य रैखिक बीजगणित प्रणाली के रूप में डिज़ाइन किया। इसने Chrome या Word चलाने की क्षमता को त्याग दिया, लेकिन भविष्य के एल्गोरिदम के विकास के लिए स्थान बनाए रखा।

यह एक कठिन संतुलन है। अगर आप पर्याप्त रूप से विशेष नहीं करते, तो लाभ स्पष्ट नहीं होता। अगर आप बहुत ज्यादा विशेष करते हैं, तो एल्गोरिथम बदल जाने पर हार्डवेयर अप्रचलित हो जाता है।

जेफ डीन का आज के रीजनिंग हार्डवेयर के बारे में आकलन, पिछले TPU के साथ स्पष्ट रूप से समानता रखता है। वह मानते हैं कि अगला महत्वपूर्ण अवसर अभी भी विशिष्टीकरण में है, लेकिन ध्यान अब और अधिक कम लेटेंसी और कम ऊर्जा खपत वाले रीजनिंग पर केंद्रित होगा।

कल्पना कीजिए, अगर विलंब 50 गुना सुधार दे सकता है, तो आप क्या कर सकते हैं।

जब मॉडल का उत्तर देने में कई सेकंड लगते हैं, तो लोग इसे एक अक्सर पूछे जाने वाले उपकरण के रूप में मानते हैं। जब देरी तुरंत के करीब हो जाती है, तो यह वास्तविक रूप से इंटरैक्टिव इंटरफेस, रोबोट, रियल-टाइम वीडियो, ऑपरेटिंग सिस्टम और निरंतर निर्णय प्रक्रियाओं में प्रवेश कर सकता है।

इंतजार एक छोटी अनुभव समस्या नहीं है। इंतजार उत्पाद के रूप को बदल देता है।

अगर 2026 के एआई इंजीनियर के लिए "हर इंजीनियर को जानना चाहिए कि लेटेंसी के नंबर क्या हैं" का अपडेटेड संस्करण बनाया जाए, तो जेफ डीन का मानना है कि ध्यान केंद्रित करना चाहिए हार्ड डिस्क सर्च, कैश मिस और महाद्वीपीय नेटवर्क लेटेंसी से बदलकर चिप के अंदर डेटा प्रवाह पर।

इंजीनियर को जानना चाहिए: मुख्य स्मृति से चिप पर स्मृति तक बैंडविड्थ कितनी है, चिप पर स्मृति से गुणन इकाई तक बैंडविड्थ कितनी है, एक गुणन के लिए कितनी ऊर्जा की आवश्यकता होती है, चिप्स के बीच कैसे जुड़ाव होता है, और 500 चिप्स को 10,000 चिप्स तक विस्तारित करने पर नेटवर्क की दक्षता कैसे घटती है।

ये आंकड़े उत्पाद से दूर लगते हैं, लेकिन वास्तव में यह तय करते हैं कि कौन सा उत्पाद सफल होगा।

जेफ डीन ने एक अत्यंत प्रभावशाली अनुपात दिया। एक गणितीय गुणन को पूरा करने में लगभग केवल एक पिकोजूल ऊर्जा की आवश्यकता होती है। डेटा को हाई-बैंडविड्थ मेमोरी से कॉम्प्यूटेशन यूनिट में स्थानांतरित करने की ऊर्जा लागत लगभग 1000 गुना अधिक हो सकती है।

दूसरे शब्दों में, आज के एआई सिस्टम में महंगी क्रियाएँ अक्सर 'गणना' नहीं, बल्कि 'गणना के लिए चीजों को लाना' होती हैं।

यह भी समझाता है कि बैच प्रोसेसिंग इतनी महत्वपूर्ण क्यों है।

जब मॉडल वेट्स को मेमोरी से कॉम्प्यूटेशन यूनिट में लाया जाता है, तो यदि केवल एक टोकन को प्रोसेस किया जाता है, तो डेटा माइग्रेशन की लागत पूरी तरह से उस एक टोकन पर पड़ती है। यदि एक साथ बड़ी बैच को प्रोसेस किया जाता है, तो एक ही वेट्स का उपयोग अधिक कॉम्प्यूटेशन के लिए किया जा सकता है, जिससे ऊर्जा और बैंडविड्थ की लागत बंट जाती है।

लेकिन बैच प्रोसेसिंग और निम्न लेटेंसी स्वाभाविक रूप से टकराते हैं। एक बैच के लिए अनुरोधों को इकट्ठा करने के लिए, सिस्टम अक्सर प्रतीक्षा करता है। थ्रूपुट बढ़ जाता है, लेकिन एकल उपयोगकर्ता की प्रतिक्रिया धीमी हो सकती है।

इसलिए, बहुत से मॉडल स्तर के प्रश्न वास्तव में हार्डवेयर और सिस्टम समस्याएँ हैं। प्रशिक्षण के लिए बड़े बैच का उपयोग क्यों किया जाता है, निष्कर्षण के लिए KV Cache क्यों आवश्यक है, मॉडल क्यों निम्न-सटीकता की ओर अग्रसर होता है, और सिस्टम क्यों क्वांटाइज़ेशन की आवश्यकता रखता है—इन सभी के पीछे डेटा स्थानांतरण और ऊर्जा सीमाएँ ही मुख्य कारण हैं।

जेफ डीन ने हाल ही में निष्कर्षण पर अधिक ध्यान केंद्रित किया है, क्योंकि निष्कर्षण लेटेंसी के प्रति अत्यधिक संवेदनशील है। ट्रेनिंग कार्य थोड़ा धीमा होने से केवल प्रयोग थोड़ा देर से समाप्त होता है। निष्कर्षण कार्य में प्रत्येक अतिरिक्त सेकंड की प्रतीक्षा उपयोगकर्ता अनुभव और एजेंट की कार्यक्षमता पर सीधा प्रभाव डालती है।

अगर एक एजेंट को 1000 बार लगातार मॉडल को कॉल करना है, तो प्रत्येक कॉल की लेटेंसी में 50% की कमी से पूरे कार्य को पूरा करने में लगने वाला समय बहुत बड़ा अंतर आ सकता है। इससे भी अधिक, भविष्य में एजेंट को कई दिनों या सप्ताहों तक चलाना पड़ सकता है।

इसलिए, AI की "ऊर्जा समस्या" एक दूर की पर्यावरणीय चिंता नहीं है। यह सीधे इस बात को निर्धारित करती है कि मॉडल अधिक लोगों को सस्ते में सेवा प्रदान कर सकता है या नहीं, एजेंट लगातार चल सकता है या नहीं, और स्टार्टअप की सकल लाभक्षमता स्वस्थ है या नहीं।

पिछले कुछ वर्षों में, AI उद्योग ने प्रगति को मापने के लिए पैरामीटर संख्या, प्रशिक्षण डेटा और बेंचमार्क स्कोर का उपयोग किया है। 2026 में, जेफ डीन ने मॉडल के चारों ओर की सभी चीजों पर अधिक जोर दिया।

एक वास्तविक रूप से उपयोगी AI प्रणाली के लिए, मॉडल के अलावा, रिट्रीवल, टूल्स, मेमोरी, इतिहास की जानकारी, निष्पादन वातावरण और प्रतिक्रिया तंत्र की आवश्यकता होती है। मॉडल को यह जानना चाहिए कि कौन से टूल्स उपलब्ध हैं, कब टूल्स को कॉल करना है, जटिल समस्याओं को एक क्रियाओं की श्रृंखला में कैसे विभाजित करना है, और कई समाधानों की तुलना करके यह निर्णय लेना है कि कौन सा समाधान सफल होने की संभावना अधिक है।

यही कारण है कि 「कॉन्टेक्स्ट इंजीनियरिंग」 अब मंच के केंद्र में आ रही है।

जेफ डीन कहते हैं कि प्रशिक्षण चरण में देखी गई जानकारी अंततः हजारों अरब या लाखों अरब पैरामीटर में «मिला» जाती है। वे एक मोटी सूप की तरह होते हैं, जिसमें ज्ञान मौजूद होता है, लेकिन यह स्पष्ट नहीं होता। वर्तमान संदर्भ में डाली गई जानकारी मॉडल के लिए अधिक सीधी और सटीकता से उपयोग के लिए आसान होती है।

यह छोटी टीमों के लिए एक महत्वपूर्ण अवसर छोड़ देता है।

बेस मॉडल को ट्रेन करने के लिए विशाल पूंजी, डेटा और कैलकुलेशन पावर की आवश्यकता होती है। लेकिन कॉन्टेक्स्ट इंजीनियरिंग एक API से शुरू हो सकती है। उद्यमी विशिष्ट व्यवसाय के चारों ओर, क्षेत्रीय ज्ञान, उपकरण प्रक्रियाएँ, ग्राहक डेटा और मूल्यांकन मानदंडों को संगठित कर सकते हैं, ताकि सामान्य मॉडल एक संकीर्ण परिदृश्य में अधिक विश्वसनीय ढंग से कार्य करे।

जेफ डीन ने अपना एक उदाहरण दिया।

वह संजय घेमावत के साथ अक्सर Google के आंतरिक निचले स्तर के लाइब्रेरी को अनुकूलित करते हैं। ये डेटा संरचनाएँ लाखों प्रक्रियाओं में चल सकती हैं, एक Click प्रदर्शन के अंतर स्केल के साथ बढ़ जाते हैं। पारंपरिक तरीके में, इंजीनियर पहले माइक्रो बेंचमार्क लिखते हैं, वर्तमान प्रदर्शन को मापते हैं, फिर कोड में परिवर्तन करते हैं, बेंचमार्क को दोबारा चलाते हैं, कैश का उपयोग और प्रदर्शन में परिवर्तन को देखते हैं, और फिर इटरेशन जारी रखते हैं।

दोनों ने इस कार्य प्रक्रिया को एक एजेंट कौशल के रूप में लिखा। मॉडल ने बेंचमार्क चलाने, कोड में संशोधन करने, परिणामों की तुलना करने और माप के आधार पर अनुकूलन करने का तरीका सीख लिया।

हमने बस उन तरीकों को मॉडल के उपयोग के लिए दिए, जिन्हें लोग अपनाते हैं।

This sentence can almost be considered a naive definition of context engineering.

यह रहस्यमयी प्रॉम्प्ट ट्रिक्स नहीं है, और न ही अधिक संदर्भ सामग्री जोड़ना है। यह तीन प्रश्नों के उत्तर देना है: विशेषज्ञ क्या कदम उठाएंगे, प्रणाली में कौन-से विश्वसनीय उपकरण हैं, और परिणाम कैसे सत्यापित किए जाएं।

जब इन चीजों को संरचित किया जाता है, तो मॉडल को अधिक ज्ञान नहीं, बल्कि एक दोहराया जा सकने वाला तरीका मिलता है।

इसीलिए «कौशल (skill)» एजेंट पारिस्थितिकी में एक महत्वपूर्ण संपत्ति बन जाता है। एक उत्कृष्ट कौशल फ़ाइल, टीम के वर्षों के अव्यक्त अनुभव को समेट सकती है। यह मॉडल को बताती है कि किसी प्रकार की समस्या के सामने आने पर पहले क्या करें, कौन सी त्रुटियाँ सबसे आम हैं, कौन से उपकरणों पर भरोसा किया जा सकता है, और किस परिणाम को पूरा माना जाए।

भविष्य की कंपनियों का अंतर शायद केवल मॉडल वजन में ही नहीं, बल्कि इन कार्यप्रवाहों में कूटबद्ध अनुभवों में भी होगा।

लगभग हर ऐसी टीम जिसने वास्तव में एजेंट बनाया है, उसने एक ही प्रकार का परिदृश्य देखा है।

पहले कदम अच्छे थे। मॉडल आवश्यकताओं को पढ़ सकता है, उपकरणों को उपयोग कर सकता है, कोड लिख सकता है। लेकिन 30वें या 50वें कदम पर, यह लक्ष्य भूलने लगता है, स्थिति को गलत समझता है, कार्रवाइयाँ दोहराता है, या एक गलत दिशा में आगे बढ़ता जाता है।

जेफ डीन ने इसका एक कारण बाहरी वितरण समस्या के रूप में बताया।

मॉडल ने प्रशिक्षण के दौरान कई सामान्य कार्यों को देखा है। जब तक कार्य इसके परिचित "उज्ज्वल मार्ग" पर रहता है, प्रदर्शन आमतौर पर अच्छा होता है। जैसे ही लगातार संचालन इसे अपरिचित स्थिति में ले जाता है, प्रदर्शन अचानक गिर जाता है। जितना अधिक आरामदायक क्षेत्र से विचलित होते हैं, त्रुटियाँ उतनी ही आसानी से जमा होती हैं।

एक समाधान है कि मॉडल को उसके परिचित मार्ग पर रखने के लिए कौशल और सुझाव प्रदान करें। दूसरा समाधान है कि बहु-एजेंट प्रणाली का उपयोग करें।

कई एजेंट अलग-अलग योजनाओं का प्रयास कर सकते हैं, और फिर एक अन्य मॉडल मूल्यांकनकर्ता के रूप में कार्य करता है जो यह निर्णय लेता है कि कौन सी दिशाएँ अधिक वादा करती हैं। असफल शाखाएँ निकाल दी जाती हैं और सफल शाखाएँ आगे बढ़ती रहती हैं। यह मूलतः निष्कर्ष निकालने के चरण में खोज करना है।

यह मानव टीम के काम के तरीके से परिचित नहीं है। जटिल समस्याओं के सामने, एक व्यक्ति समाधान प्रस्तावित करता है, दूसरा जोखिम की समीक्षा करता है, और तीसरा प्रयोग चलाता है। टीम पहले विचार पर सभी आशाएँ नहीं लगाती, बल्कि भूमिका विभाजन और प्रतिक्रिया के माध्यम से एकल बिंदु त्रुटि को कम करती है।

जितना लंबा समय एजेंट चलता है, उतना ही सिस्टम डिज़ाइन एक बार में सही होने पर निर्भर नहीं हो सकता।

वास्तविक रूप से विश्वसनीय लंबी दूरी के एजेंट को चेकपॉइंट, स्टेट प्रबंधन, रोलबैक, ब्रांच एक्सप्लोरेशन, बाहरी मूल्यांकन, अधिकार नियंत्रण और अपवाद पुनर्स्थापन की आवश्यकता होती है। यह एक लंबा चैट विंडो की तरह नहीं, बल्कि एक वितरित प्रणाली की तरह है।

यही वह बिंदु है जहाँ जेफ डीन की पृष्ठभूमि फिर से महत्वपूर्ण हो जाती है।

MapReduce द्वारा हल किए जाने वाले मुख्य समस्याओं में से एक यह है कि कैसे बहुत सारी अविश्वसनीय मशीनों के माध्यम से विश्वसनीय गणना की जाए। आज के Agent प्रणाली का सामना समान विरोधाभास से है: एकल मॉडल कॉल परफेक्ट नहीं होता, टूल्स भी विफल हो सकते हैं, लेकिन पूरा कार्य अभी भी संभवतः स्थिरता से पूरा किया जाना चाहिए।

भविष्य का एक उत्कृष्ट एजेंट प्लेटफॉर्म, कई वितरित प्रणाली विचारों को अपनाएगा। कार्यों को विभाजित किया जा सकता है, परिणामों की पुष्टि की जा सकती है, विफलता को पुनः प्रयास किया जा सकता है, स्थिति को पुनर्स्थापित किया जा सकता है, और स्थानीय त्रुटियाँ पूरी प्रक्रिया को नष्ट नहीं करनी चाहिए।

जब जेफ डीन कहते हैं कि एजेंट कुछ दिनों या कुछ हफ्तों तक चलेगा, तो वह एक लंबे चैट का वर्णन नहीं कर रहे हैं। वह एक नई कंप्यूटिंग बुनियादी ढांचे का वर्णन कर रहे हैं।

स्टार्टअप स्कूल के संदर्भ में, सबसे अधिक चर्चित प्रश्न निश्चित रूप से उद्यमिता का अवसर है।

गूगल चिप्स, डेटासेंटर, मॉडल और उत्पादों को संयुक्त रूप से डिज़ाइन कर सकता है। जेमिनी जैसे सामान्य मॉडल अभी भी अपनी क्षमताओं की सीमाओं को तेजी से विस्तारित कर रहे हैं। एक दो या तीन लोगों की टीम किस आधार पर जीत सकती है?

जेफ डीन का उत्तर रोमांटिक नहीं है।

छोटी टीमों के लिए अवसर आमतौर पर उन क्षेत्रों में मौजूद होते हैं जिन पर सामान्य मॉडल पर्याप्त ध्यान नहीं देते। उद्यमी एक संकीर्ण परिदृश्य में उच्चतर सटीकता और बेहतर अनुभव प्रदान करने के लिए उत्पाद इंटरफ़ेस, स्वामित्व वाले डेटा, कार्य प्रवाह और क्षेत्रीय कौशल को जोड़ सकते हैं।

लेकिन उन्होंने तुरंत चेतावनी दी: जनरल मॉडल तेजी से मजबूत हो रहे हैं। आज के स्वतंत्र उत्पाद फीचर्स, छह या बारह महीने बाद, बेस मॉडल द्वारा सीधे कवर किए जा सकते हैं।

इसलिए, उद्यमी को अपने लाभ की स्थायित्व का आकलन करना चाहिए।

जेफ डीन ने एक बहुत स्पष्ट छांटने का मानदंड दिया है: उन कार्यों को ढूंढें जिनकी वर्तमान सामान्य मॉडल सफलता दर 0% या 1% के करीब है, न कि जिनकी सफलता दर पहले से 20% है।

अगर मॉडल पूरी तरह से विफल हो जाता है, तो यह एक अच्छा संकेत हो सकता है। अगर यह पहले से कुछ कर पा रहा है, लेकिन इसे खराब तरीके से कर रहा है, तो यह जरूरी नहीं कि अच्छा संकेत हो।

कारण सरल है। 20% का मतलब है कि क्षमता शुरू हो चुकी है। अधिक डेटा, बड़े मॉडल और लंबी निष्कर्षण, संभवतः इसे उपयोगयोग्य बनाने के लिए तेजी से आगे बढ़ाएंगे। 0% या 1% का मतलब है कि कार्य में संभवतः महत्वपूर्ण डेटा, विशिष्ट उपकरण, क्षेत्रीय प्रतिक्रिया या एक सामान्य मॉडल के लिए अल्पकालिक रूप से प्राप्त करना मुश्किल क्षमता की कमी है।

इसे जेफ डीन का "1% नियम" कहा जा सकता है।

यह उद्यमियों को सबसे कठिन समस्याओं को चुनने की सलाह नहीं देता, बल्कि सामान्य मॉडल में संरचनात्मक अंधेरे वाली समस्याओं को ढूंढने की सलाह देता है।

इस अंधेरे क्षेत्र के लगभग तीन प्रकार हैं।

प्रथम श्रेणी निजी डेटा है। सामान्य मॉडल दुनिया की जानकारी को संगठित कर सकते हैं, लेकिन किसी उपयोगकर्ता के सभी व्यक्तिगत प्रोफ़ाइल, किसी कंपनी की आंतरिक प्रक्रियाओं या किसी उपकरण द्वारा उत्पन्न रियल-टाइम डेटा तक पहुँच सकते हैं। जब एक स्टार्टअप उत्पाद इन डेटा को प्राप्त करता है, तो यह मूल मॉडल से अलग दृष्टिकोण प्राप्त करता है।

दूसरा प्रकार है विशेषज्ञ मूल्यांकन। बहुत से उद्योगों में उत्पादन क्षमता की कमी नहीं, बल्कि विश्वसनीय निर्णय की कमी है। चिकित्सा, सामग्री, चिप, निर्माण और वैज्ञानिक अनुसंधान को उच्च गुणवत्ता वाले सत्यापनकर्ता की आवश्यकता होती है। जो व्यक्ति "क्या सही है" को परिभाषित कर सकता है, वही Agent को लगातार अनुकूलित कर सकता है।

तीसरा प्रकार संकीर्ण और गहरा मॉडल है। अल्फाफोल्ड एक सामान्य चैट मॉडल नहीं है, यह प्रोटीन संरचना समस्या के लिए अत्यधिक विशेषज्ञ क्षमताएँ विकसित करता है। सामग्री विज्ञान, चिप डिज़ाइन और अन्य विशेषज्ञ क्षेत्रों में भी इसी तरह के अवसर हो सकते हैं।

यह निर्णय उद्यमियों के लिए आसान नहीं है। इसके लिए टीम को मॉडल की क्षमता की सीमाओं को समझना चाहिए और उद्योग की गहरी समस्याओं को भी समझना चाहिए। केवल AI को जानने से ऐसे फ़ंक्शन बन जाते हैं जो जल्दी ही प्लेटफ़ॉर्म द्वारा अवशोषित हो जाते हैं। केवल उद्योग को जानने से मॉडल की प्रगति की गति को कम आंका जा सकता है।

The real opportunity lies at the intersection of both.

डायना एक कल्पना प्रस्तुत करती है: यदि भविष्य में प्रत्येक संस्थापक 50, 100 एजेंट्स का एक साथ प्रबंधन कर सके और सभी कोड एजेंट्स द्वारा लिखे जाएं, तो कौन सी क्षमता दुर्लभ हो जाएगी?

जेफ डीन का उत्तर है "स्वाद".

अधिक सटीक रूप से, यह निर्धारित करना कि एजेंट को क्या करना चाहिए।

उसका मानना है कि शोध कार्य का अधिकांश मूल्य इस बात में नहीं है कि प्रयोग कितना सुंदरता से निष्पादित किया गया, बल्कि यह है कि क्या एक ऐसा महत्वपूर्ण प्रश्न चुना गया है जिसका अध्ययन किया जाए। एक टीम सबसे उत्कृष्ट विधियों का उपयोग करके एक नामुमकिन शोध पूरा कर सकती है। या वह एक महत्वपूर्ण समस्या पर ध्यान केंद्रित कर सकती है, जिसे हल करने से पूरा क्षेत्र बदल सकता है।

एजेंट ने निष्पादन लागत को कम करने के बाद, समस्या चयन का महत्व और बढ़ जाएगा।

पिछले समय में, एक अस्पष्ट विचार विकास लागत के अत्यधिक होने के कारण स्वयं ही लुप्त हो जाता था। भविष्य में, पर्याप्त Agent को सक्रिय करके कई विचारों को त्वरित रूप से प्रोटोटाइप बनाया जा सकता है। दुनिया इससे स्वयं अधिक अच्छे उत्पादों के साथ नहीं आएगी, केवल अधिक उत्पादों के साथ आएगी।

Specifications will also become more important.

जेफ डीन ने कहा कि वर्चुअल एजेंट के साथ सहयोग करते समय, जितना स्पष्ट लक्ष्य होगा, उतनी ही अधिक सफलता की संभावना होगी। पिछले समय में, अस्पष्ट आवश्यकताओं को एक अनुभवी इंजीनियर को सौंपा जाता था, जो पूछ सकता था और साझा संदर्भ का उपयोग करके इरादे को पूरा कर सकता था। हालाँकि, एजेंट भी प्रश्न पूछ सकते हैं, लेकिन संदर्भ की कमी में वे अधिक संभावना से अनुमान लगाते हैं।

एक उच्च सफलता दर वाला कार्य एक सॉफ्टवेयर को एक प्रोग्रामिंग भाषा से दूसरी भाषा में स्थानांतरित करना है। कारण यह नहीं है कि स्थानांतरण आसान है, बल्कि यह है कि स्पेसिफिकेशन अत्यंत पूर्ण है। पुराना कोड व्यवहार को परिभाषित करता है, परीक्षण सीमाओं को परिभाषित करते हैं, और एजेंट तब तक एक-एक करके तुलना कर सकता है जब तक कि नया संस्करण समान व्यवहार प्रदर्शित न करे।

अब एजेंट आपके लिए सॉफ्टवेयर लिख सकता है, लेकिन आपको यह स्पष्ट करना अधिक महत्वपूर्ण हो गया है कि आप वास्तव में क्या चाहते हैं।

यह वाक्य एआई-नेटिव संगठनों के लिए सीधा संकेत देता है।

भविष्य के प्रबंधक केवल कार्यों का आवंटन ही नहीं करेंगे, बल्कि अधिक स्पष्ट लक्ष्य और स्वीकृति मानदंड तैयार करेंगे। डिज़ाइन दस्तावेज़ केवल टीम संचार सामग्री नहीं रहेंगे, बल्कि मशीन के निष्पादन के लिए इनपुट भी बन जाएंगे। परीक्षण, सूचकांक, सीमाएँ और उदाहरण, विकास प्रक्रिया के अंत से पहले कार्य परिभाषा चरण में स्थानांतरित हो जाएंगे।

प्रीति को कैसे प्रशिक्षित किया जाए, इसके बारे में जेफ डीन द्वारा दिया गया तरीका बहुत व्यावहारिक है।

अगले 12 महीनों में महत्वपूर्ण होने वाली चीजों की एक सूची बनाएं। आपको इनमें से सभी करने की आवश्यकता नहीं है। 12 महीने बाद फिर से जांचें कि कौन से अनुमान सच साबित हुए, कौन से किसी और ने पूरा किए, और कौन से प्रगति के बिना रह गए। बार-बार भविष्यवाणी के नमूनों को जमा करके, व्यक्ति अपने निर्णयों को धीरे-धीरे समायोजित करता जाता है।

रुचि पूरी तरह से एक प्राकृतिक क्षमता नहीं है। इसे पुनर्विश्लेषण और अभ्यास के माध्यम से भी विकसित किया जा सकता है।

इंटरव्यू के दूसरे हिस्से में, जेफ डीन ने एक काफी पागल विचार प्रयोग साझा किया।

पिछले 60 वर्षों में, चिप उद्योग ने छोटे, अधिक स्थिर और कम त्रुटि दर वाले ट्रांजिस्टर की ओर अग्रसर होने का प्रयास किया है। यह माना जाता रहा है कि एक ही डिज़ाइन से बनाई गई चिप्स को संभवतः पूरी तरह समान होना चाहिए, और बिट फ्लिप कम से कम होना चाहिए।

बड़े वितरित प्रणालियों में, इंजीनियर पहले से ही स्वीकार कर चुके हैं कि एकल घटक विफल हो सकते हैं। हार्ड डिस्क खराब हो सकते हैं, मशीनें अचानक बंद हो सकती हैं, स्विच समस्याएँ पैदा कर सकते हैं। प्रणाली की विश्वसनीयता प्रत्येक घटक की त्रुटि-मुक्तता से नहीं, बल्कि प्रतिकृति, जाँच, अतिरिक्तता और पुनर्स्थापना से आती है।

तो जेफ डीन ने पूछा: यदि ट्रांजिस्टर प्रतिदिन 20 बार त्रुटि करते हैं, बजाय कि कुछ मिलियन वर्षों में एक बार त्रुटि करें, तो क्या होगा?

यह कोई वास्तविक उत्पाद योजना नहीं है। वह केवल एक सामान्य मान्यता को हटाने की कोशिश कर रहा है। शायद अत्यंत अविश्वसनीय ट्रांजिस्टर पूरी तरह से अलग तरीके से बनाए जा सकते हैं, और प्रणाली परिणाम को बहु-मार्ग और उच्च-स्तरीय अतिरिक्तता के माध्यम से सुनिश्चित करती है।

अधिकांश विचार प्रयोग अंततः उत्पाद में नहीं बदलते। कई उद्योग अभ्यास दशकों तक जारी रहते हैं, और इसके लिए वास्तव में पर्याप्त कारण होते हैं। लेकिन जेफ डीन का मानना है कि इन कारणों की नियमित रूप से पुनः जांच की जानी चाहिए।

MapReduce इसी तरह की प्रक्रिया से आया है।

प्रारंभिक Google के क्रॉलर और इंडेक्सिंग सिस्टम में बहुत सारी हस्तनिर्मित समानांतर कोड, चेकपॉइंट और फ़ॉल्ट रिकवरी लॉजिक शामिल थी। वास्तविक व्यावसायिक गणना अक्सर बहुत सरल होती थी, जैसे सभी वेबपेज पढ़ना और पेज की भाषा का निर्धारण करना। लेकिन बहुत सारा सिस्टम कोड इन सरल इच्छाओं को धुंधला कर देता था।

जेफ डीन और संजय घेमावत ने फंक्शनल प्रोग्रामिंग से प्रेरणा ली। उन्होंने बड़ी मात्रा में कार्यों को Map और Reduce में अमूर्त कर दिया, और समानांतरीकरण, नियोजन, दोष सहिष्णुता और पुनः प्रयास को एक समान ढांचे में स्थानांतरित कर दिया। व्यावसायिक विकासक केवल गणना को ही व्यक्त करते हैं।

इस डिज़ाइन ने मशीन को गलतियों से मुक्त नहीं बनाया। इसने गलतियों को सिस्टम द्वारा अवशोषित किए जाने की अनुमति दी।

आज के एजेंट इंजीनियरिंग की स्थिति भी समान चरण में हो सकती है। बहुत सारी टीमें अभी भी प्रत्येक कार्य के लिए प्रॉम्प्ट, पुनः प्रयास तर्क और टूल कॉल को मैन्युअल रूप से ऑर्केस्ट्रेट कर रही हैं। क्या भविष्य में एक ऐसा सरल अमूर्तीकरण दिखाई देगा जैसे MapReduce, जिससे लंबी अवधि के एजेंट का विघटन, पुष्टि, पुनर्स्थापन और समानांतर अन्वेषण निम्न स्तरीय क्षमताएं बन जाएं?

यह शायद अगली बड़ी बुनियादी ढांचा कंपनियों के लिए अवसर है।

जेफ डीन के लिए भविष्य की सबसे उत्साहित दिशा, विज्ञान की पद्धति को स्वयं स्वचालित करना है।

पारंपरिक शोध प्रक्रिया में परिकल्पना बनाना, प्रयोग डिज़ाइन करना, प्रयोग चलाना, परिणामों का विश्लेषण करना और फिर अगली परिकल्पना बनाना शामिल है। इस चक्र की गति लंबे समय तक प्रयोग की लागत और पुष्टि में देरी के कारण सीमित रही है।

AI दो भागों को बदल सकता है।

एक हिस्सा अधिक प्रयोगों को स्वचालित रूप से प्रस्तावित और निष्पादित करना है। दूसरा हिस्सा महंगे वैलीडेटर को सस्ते अनुमान मॉडल में बदलना है।

जेफ डीन ने क्वांटम केमिस्ट्री का उदाहरण दिया। शोधकर्ता एक अणु संरचना के गुणों का निर्धारण करने के लिए घनत्व सामार्य सिद्धांत प्रतिकृति चला सकते हैं। एक प्रतिकृति में पूरी रात लग सकती है। गूगल के शोधकर्ताओं ने बड़ी संख्या में प्रतिकृति इनपुट और आउटपुट का उपयोग करके एक न्यूरल नेटवर्क अनुमानक प्रशिक्षित किया। यह मूल प्रतिकृति की सटीकता के करीब है, लेकिन लगभग 30 लाख गुना तेज है।

After the verification speed changes, the form of scientific questions also changes.

पिछले एक लाख उम्मीदवारों को छानना संभवतः कुछ महीनों की कंप्यूटिंग पावर की आवश्यकता वाला प्रोजेक्ट था। अब, शोधकर्ता एक दोपहर का भोजन खाने के समय में, सिस्टम प्रारंभिक छानबीन पूरा कर लेता है। प्रयोग अब मूल्यवान, एकल बेट नहीं, बल्कि उच्च आवृत्ति खोज बन गए हैं।

यही AlphaEvolve, AlphaChip आदि सिस्टम के पीछे सामान्य तर्क है। मॉडल सुझाव देता है, उपकरण सुझाव को निष्पादित करता है, और मूल्यांकनकर्ता परिणामों को छांटता है, और उत्कृष्ट परिणाम अगले चक्र में जाते हैं। जब तक बंद लूप पर्याप्त तेज़ है, सिस्टम विशाल समाधान स्थान में लगातार खोज कर सकता है।

मशीन लर्निंग खुद इस स्वचालित विज्ञान का विषय बन जाएगी।

आज, बड़े अनुसंधान टीमें आमतौर पर लोग नए आर्किटेक्चर या ट्रेनिंग विधियाँ प्रस्तावित करते हैं, छोटे पैमाने के प्रयोग करते हैं, और फिर वादा दिखाने वाले समाधानों को बढ़ाते हैं। जेफ डीन का मानना है कि मॉडल को इनमें से अधिक और अधिक चरणों पर कब्जा करने में कोई मूलभूत बाधा नहीं है। लोग उच्च स्तरीय दिशा प्रदान करते हैं, प्रणाली स्वचालित रूप से संरचना, डेटा रेसिपी और ट्रेनिंग रणनीतियों का पता लगाती है, और फिर सफल प्रयोगों को मिलाकर नए मॉडल बनाती है।

भविष्य में अनुसंधान की दक्षता को मापने का मापदंड केवल प्रति सेकंड फ्लोटिंग पॉइंट ऑपरेशन नहीं, बल्कि "प्रति इकाई कैलकुलेशन से कितने प्रभावी आविष्कार होते हैं" हो सकता है।

हैशरेट निश्चित रूप से महत्वपूर्ण है। लेकिन हैशरेट को खोज में कैसे बदलें, यह अधिक महत्वपूर्ण है।

2014 में, जेफ डीन, जॉफ हिंटन और ओरियोल विनाल्स ने ज्ञान वाष्पीकरण पर एक पेपर प्रस्तुत किया। आज, ज्ञान वाष्पीकरण मॉडल संपीड़न और क्षमता स्थानांतरण में एक मूलभूत विधि है। बड़े मॉडल शिक्षक के रूप में कार्य करते हैं और छोटे, तेज़ और सस्ते छात्र मॉडल को क्षमता प्रदान करते हैं।

यह पेपर, जिसका बाद में गहरा प्रभाव पड़ा, उस समय NeurIPS द्वारा अस्वीकार कर दिया गया था।

एक समीक्षक का मानना है कि इसका "महत्वपूर्ण प्रभाव पड़ने की संभावना नहीं है"। रुचि रखने वाले पाठक इस लेख को देख सकते हैं: अस्वीकृत ≠ असफलता! इन उच्च प्रभावशाली शोध पत्रों को भी शीर्ष कॉन्फ्रेंसेस ने अस्वीकार कर दिया था।

जेफ डीन ने इस अनुभव के बारे में कोई क्रोध नहीं व्यक्त किया। उन्होंने कहा कि समीक्षक संभवतः बड़े पैमाने पर AI सेवाओं के सामने वास्तविक समस्याओं को नहीं समझते हैं। Google के लिए, महंगे बड़े मॉडल को करोड़ों उपयोगकर्ताओं के लिए सेवा देने योग्य छोटे मॉडल में बदलना स्पष्ट रूप से महत्वपूर्ण है। केवल सैद्धांतिक नवीनता पर ध्यान केंद्रित करने वाले समीक्षकों के लिए, यह पर्याप्त "मूलभूत" नहीं लग सकता है।

पेपर के अस्वीकार होने के बाद, टीम ने इसे arXiv पर अपलोड कर दिया। उद्योग ने इसे पढ़ा और इसका उपयोग शुरू कर दिया।

आज, Gemini का Flash मॉडल छोटे आकार और कम लेटेंसी के साथ शक्तिशाली क्षमताएँ बनाए रखने में सक्षम है, और डिस्टिलेशन इसमें से एक महत्वपूर्ण तरीका है।

यह कहानी केवल "लगातार प्रयास करने से सफलता मिलती है" जैसी प्रेरणादायक सामग्री नहीं है। यह दर्शाती है कि मूल्यांकन प्रणाली में हमेशा अंधे बिंदु होते हैं। कभी-कभी, किसी योजना का मूल्य केवल उसी व्यक्ति को ही तुरंत दिखाई देता है जिसने उस प्रणाली की सीमाओं को वास्तविक रूप से महसूस किया हो।

This is equally important for entrepreneurs.

बाजार, निवेशकों और सहकर्मियों की नकारात्मकता, जिसका अर्थ हो सकता है कि दिशा गलत है, या केवल यह कि दूसरे उसी समस्या के स्थान पर नहीं हैं। अंतर यह है कि क्या टीम के पास पर्याप्त विशिष्ट साक्ष्य हैं, जो जानते हैं कि यह समस्या क्यों महत्वपूर्ण है और अभी इसे क्यों हल किया जा सकता है।

जेफ डीन ने अंधेरे में लगातार जुटे रहने की प्रेरणा नहीं दी है। उन्होंने इस बात की प्रेरणा दी है: समस्या को समझें, लगातार सत्यापित करें, और एक समीक्षा को दुनिया का अंतिम निर्णय मत समझें।

साक्षात्कार के अंत के पास, डायना ने एक कल्पनाशील प्रश्न पूछा।

अगर 1999 में गूगल में शामिल होने वाले युवा जेफ डीन को 2026 में भेज दिया जाए, तो वह एक अग्रणी प्रयोगशाला में शामिल होगा या दो या तीन दोस्तों के साथ कंपनी शुरू करेगा?

जेफ डीन ने कोई मानक उत्तर नहीं दिया।

बड़े संगठनों के पास संरचना, प्लेटफॉर्म और बहुत सारे उत्कृष्ट सहकर्मी होते हैं। एक व्यक्ति इसमें ऐसी जानकारी तक पहुँच सकता है जिसके बारे में वह अनजान है, और परिपक्व उत्पादों के माध्यम से वैश्विक उपयोगकर्ताओं को प्रभावित कर सकता है। छोटी टीमें अधिक स्वतंत्र होती हैं, लेकिन अधिक जोखिम भी उठाती हैं। संस्थापकों को वास्तव में एक समस्या पर विश्वास करना चाहिए और कई वर्षों तक अनिश्चितता सहन करने के लिए तैयार होना चाहिए।

उसके द्वारा दिए गए मानदंड, "बड़ी कंपनी में शामिल होना या उद्यम शुरू करना" से अधिक मौलिक हैं।

अगर मैंने इस समस्या को हल कर दिया और सबसे अच्छा परिणाम वास्तव में हुआ, तो क्या दुनिया इससे स्पष्ट रूप से बेहतर हो जाएगी? या लोग सिर्फ इतना कहेंगे कि, हाँ, काफी अच्छा है, और फिर इतना ही?

अगर जवाब केवल "काफी कूल है" है, तो शायद यह सबसे कीमती समय लगाने लायक नहीं है।

उन्होंने साथी के महत्व पर भी जोर दिया। ऐसे लोगों को ढूंढें जिनकी क्षमताएं पूरक हों, और जो निम्र अहंकार रखते हों, सहयोग करने को तैयार हों, और साथ रहने में आनंद लें। वास्तविक रूप से कठिन समस्याएं अक्सर लंबे समय तक साथ काम करने की आवश्यकता रखती हैं। टीम के सदस्यों को सबसे बेहतर होगा कि वे अपने पास ऐसे उपकरण रखें जो दूसरों के पास न हों, और सामूहिक कार्य के दौरान अपनी 'उपकरण बेल्ट' को लगातार विस्तारित करते रहें।

इस बात में एक पुरानी पीढ़ी के इंजीनियर की सादगी है।

AI उद्योग घातीय वृद्धि, सुपरइंटेलिजेंस और विशाल निवेश के बारे में बात करना पसंद करता है। लेकिन जेफ डीन अंततः चयन को तीन छोटी बातों पर ही सीमित कर देते हैं: एक वास्तविक रूप से महत्वपूर्ण समस्या को हल करना, जिनसे आप पसंद करते हैं, उनके साथ काम करना, और दुनिया को बेहतर बनाने के लिए पूरी कोशिश करना।

जेफ डीन के करियर में कई ऐसी कहानियाँ हैं जिन्हें बार-बार सुनाया जाता है।

उसने संजय घेमावत के साथ कुछ दिनों में खोज प्रणाली को पुनः लिखा, जिससे सूची मेमोरी में आ गई। तीन मिनट की वॉइस के बारे में एक अनुमान ने Google को TPU बनाने के लिए प्रेरित किया। MapReduce ने विशाल समानांतरता और त्रुटि सहनशीलता को एक समान अमूर्ति में छुपा दिया। ज्ञान का अपवादन एक अस्वीकृत पेपर से शुरू होकर उद्योग की आधारभूत तकनीक बन गया।

इन कहानियों से आप उसे एक ऐसे जन्मजात प्रतिभाशाली के रूप में कल्पना करने के लिए आसानी से प्रेरित हो जाते हैं जो लगातार प्रेरणा प्राप्त करता है।

लेकिन इस साक्षात्कार से देखा जा सकता है कि उनकी विधि वास्तव में अत्यधिक सुसंगठित है।

पहले पैमाने की गणना करें। फिर वास्तविक बॉटलनेक ढूंढें। फिर डिफ़ॉल्ट मान्यताओं को सवाल करें और एक सरलतर अमूर्ति बनाएं। अंत में, माप और प्रतिक्रिया के साथ सिस्टम को लगातार दोहराएं।

आज के एआई उद्योग में एक समान मोड़ आ रहा है।

मॉडल पर्याप्त शक्तिशाली है, इतना शक्तिशाली कि यह प्रारंभिक इंजीनियर स्तर के कार्यों को संभाल सकता है। अब, वास्तविक उत्पादकता का निर्धारण केवल मॉडल की बुद्धिमत्ता नहीं, बल्कि तर्क लागत, संदर्भ संगठन, उपकरणों की गुणवत्ता, पुष्टि की गति और दीर्घकालिक चलाने की विश्वसनीयता है।

एजेंट धीरे-धीरे टीम के सदस्य की तरह बनते जाएंगे। लेकिन उन्हें स्पष्ट विनिर्देशों की आवश्यकता होती है, कौशल की आवश्यकता होती है, जांच बिंदुओं की आवश्यकता होती है, मूल्यांकनकर्ता की आवश्यकता होती है, और एक ऐसी प्रणाली की आवश्यकता होती है जो विफलता को सहन कर सके।

स्टार्टअप के अवसर भी नहीं गायब हो जाएंगे, बस वे अधिक कठिन हो जाएंगे। बेहतर है कि आप उन मुद्दों की तलाश करें जहां सफलता की संभावना अभी भी 0% या 1% के करीब है, न कि जहां सामान्य मॉडल पहले से ही 20% काम पूरा कर चुके हैं। वहां संप्रभु डेटा, विशेषज्ञ मूल्यांकनकर्ता, संकीर्ण क्षेत्र के मॉडल या पूरी तरह से नए सिस्टम अमूर्तीकरण छिपे हो सकते हैं।

जब कोड जनरेशन लगातार सस्ता होता जा रहा है, तो वास्तविक रूप से महंगा होगा समस्या खुद।

क्या करना चाहिए? कौन सी सीमाएँ पुरानी हो चुकी हैं? कौन सा परिवर्तन अभी सीमा पार कर गया है? कौन सी प्रणाली अगर 50 गुना तेज हो जाए, तो पूरी तरह से अलग उत्पाद बन जाएगी?

जेफ डीन ने 6000 उद्यमियों के लिए एक अवसरों की सूची नहीं दी। उन्होंने एक अधिक स्थायी विचार प्रणाली दी है।

सबसे गर्म उत्तर का पीछा करने के लिए जल्दी मत करें।

पहले समस्या की गणना करें।

रेफरेंस लिंक

https://x.com/ycombinator/status/2082938685071491219

https://www.ycrootaccess.com/p/jeff-dean-the-1-rule-for-building

यह लेख वेचेन ग्रुप "मशीन जीन" (ID: almosthuman2014) से आया है, लेखक: Panda