Nvidia के सीईओ जेंसन हुआंग को नाटकीयता का शौक है। हाल के एक प्रस्तुति के दौरान, उन्होंने एक $249 का AI कंप्यूटर एक रसोई के ओवन से निकाला, क्योंकि ऐसा लगता है कि जब आपकी कीमत $100B+ होती है, तो हार्डवेयर लॉन्च करने का यही तरीका है। इस डिवाइस का नाम Jetson Orin Nano Super Developer Kit है, जिसे स्थानीय रूप से बड़े भाषा मॉडल चलाने के लिए डिज़ाइन किया गया है, बिना किसी क्लाउड सब्सक्रिप्शन के।
पिच सरल है: अपने डेस्क पर रखे गए एक संक्षिप्त बॉक्स पर Llama 3, Mistral, Gemma और DeepSeek जैसे AI मॉडल चलाएं। कोई दोहराव वाली API शुल्क नहीं। अपना डेटा किसी और के सर्वर पर भेजने की आवश्यकता नहीं। बस इसे प्लग करें और शुरू करें।
इस चीज़ के अंदर वास्तव में क्या है
जेटसन ओरिन नैनो सुपर 67 से 70 TOPS, यानी ट्रिलियन ऑपरेशन प्रति सेकंड प्रदान करता है, जबकि केवल 25 वाट बिजली खपत करता है। संदर्भ के लिए, यह लगभग एक मानक बल्ब की ऊर्जा खपत के बराबर है। यह डिवाइस 8 GB मेमोरी के साथ आता है, जिसकी बैंडविड्थ 1,023 GB/s है।
Nvidia दावा करती है कि यह अपने पूर्ववर्ती, मूल Jetson Orin Nano की प्रदर्शन क्षमता को दोगुना कर देती है, जबकि 50% अधिक मेमोरी बैंडविड्थ प्रदान करती है। एक ही मूल्य श्रेणी में एक उपकरण के लिए यह एक महत्वपूर्ण कूद है।
Nvidia ने यह भी कहा है कि यह उपकरण उन कार्यप्रवाहों को संभाल सकता है जो पहले इसके बहुत बड़े HGX AI सुपरकंप्यूटर्स का क्षेत्र थे।
स्थानीय AI क्यों महत्वपूर्ण है, खासकर क्रिप्टो के लिए
स्थानीय निष्पादन, जिसका अर्थ है कि आप एआई मॉडल को अपने अपने हार्डवेयर पर चलाते हैं, बादल प्रदाता के माध्यम से नहीं, क्रिप्टो समुदाय द्वारा गहराई से महत्व दिए जाने वाले दो चिंताओं को सीधे सुलझाता है: डेटा गोपनीयता और विकेंद्रीकरण। जब आप एक मॉडल को स्थानीय रूप से चलाते हैं, तो आपके प्रॉम्प्ट और डेटा कभी भी आपके मशीन से बाहर नहीं जाते। कोई तीसरा पक्ष आपके प्रश्नों को लॉग नहीं करता या आपके इनपुट को प्रशिक्षण डेटा के लिए स्क्रैप नहीं करता।
यह बिटटेंसर, रेंडर या अकाश जैसे नेटवर्क्स पर बन रहे डिसेंट्रलाइज्ड एआई प्रोजेक्ट्स के लिए मायने रखता है। ये प्रोटोकॉल वितरित कंप्यूटिंग मार्केटप्लेस बनाने की कोशिश कर रहे हैं, जहाँ व्यक्ति GPU पावर का योगदान देते हैं और टोकन पुरस्कार के बदले में प्राप्त करते हैं। सक्षम एआई हार्डवेयर के लिए $249 का प्रवेश बिंदु इन नेटवर्क्स में प्रतिभागियों के समूह को काफी विस्तारित कर सकता है।
रिकर्रिंग API शुल्कों के समाप्त होने से एक और महत्वपूर्ण पहलू सामने आता है। OpenAI, Anthropic और Google अपने क्लाउड-आधारित मॉडल्स के लिए प्रति टोकन शुल्क लेते हैं। ऐसे क्रिप्टो प्रोजेक्ट्स के लिए जो AI कार्यक्षमता को ट्रेडिंग बॉट, स्
इसका निवेशकों के लिए क्या अर्थ है
व्यापक AI हार्डवेयर बाजार के लिए, यह एक नया मानक स्थापित करता है। प्रतिद्वंद्वी अब एक सीधा प्रश्न का उत्तर देने के लिए बाध्य हैं: क्या वे 25 वाट पर $249 के लिए 67 से 70 TOPS के समान प्रदर्शन कर सकते हैं?
ध्यान देने वाला जोखिम यह है कि स्थानीय मॉडल क्षमता के मामले में क्लाउड-होस्टेड फ्रंटियर मॉडल के साथ वास्तव में कदम रख पाएंगे या नहीं। $249 के उपकरण पर Llama 3 चलाना प्रभावशाली है, लेकिन यह GPT-4 नहीं है। कई उपयोग के मामलों, विशेष रूप से DeFi और ट्रेडिंग में, स्थानीय ओपन-सोर्स मॉडल और अग्रणी क्लाउड मॉडल के बीच गुणवत्ता का अंतर अभी भी मायने रखता है।