AI मॉडल के बड़े पैमाने पर अपनाए जाने के बाद, निष्कर्षण की गणना की मांग जारी रही। प्रशिक्षण चरण की तुलना में, मॉडल द्वारा ऑनलाइन उत्तर उत्पन्न करने और एजेंट कार्यों को निष्पादित करने के दौरान, चिप आर्किटेक्चर, लेटेंसी और डिप्लॉयमेंट लागत की आवश्यकताएँ अलग होती हैं। TechCrunch के अनुसार, निष्कर्षण क्लाउड सेवा प्रदाता General Compute इस क्षेत्र में प्रवेश करने के लिए एक हल्का डिप्लॉयमेंट समाधान प्रस्तुत करने का प्रयास कर रहा है।
General Compute ने हाल ही में 15 लाख डॉलर के बीज फंडिंग राउंड को पूरा किया, जिसके बाद कंपनी का आकलित मूल्य 60 लाख डॉलर हो गया। इस राउंड की नेतृत्व भूमिका FUSE VC ने निभाई, जबकि Carya Venture Partners और Village Global Ventures ने भाग लिया। कंपनी का स्थान "推理 neocloud" के रूप में है, जो मॉडल रनिंग चरण के लिए आवश्यक AI प्रोसेसिंग क्षमता किराए पर देती है।
Bet on SambaNova inference chip
AI बुनियादी ढांचे बाजार में, GPU अभी भी प्रमुख विकल्प है, लेकिन बढ़ती संख्या में कंपनियाँ विशेष रूप से निष्कर्षण परिदृश्यों के लिए डिज़ाइन किए गए चिप्स पर निवेश करना शुरू कर रही हैं। रिपोर्ट में उल्लेख किया गया है कि General Compute, अधिक संकुचित GPU संसाधनों का पीछा करने के बजाय SambaNova के साथ सहयोग कर रहा है।
संबा नोवा एक इंटेल द्वारा समर्थित चिप कंपनी है, जो लंबे समय से निष्कर्षण गणना पर केंद्रित है। जनरल कंप्यूट के सह-संस्थापक के अनुसार, संबा नोवा इस वर्ष एक नया चिप लॉन्च करेगी जो निष्कर्षण के दौरान अधिक संदर्भ स्टोरेज क्षमता प्रदान करेगा और अधिक लचीली आर्किटेक्चर होगी। कंपनी के अनुसार, नया चिप 600 से 700 टोकन प्रति सेकंड की गति से काम कर सकता है, जबकि GPU लगभग 250 टोकन प्रति सेकंड है।
General Compute ने 3 बिलियन डॉलर के SambaNova SN50 चिप्स का ऑर्डर दिया है और यह पहली neocloud कंपनी बन जाएगी जो इन चिप्स को डिप्लॉय करेगी।
वर्तमान डेटासेंटर में सीधे डिप्लॉय किया जा सकता है
चिप आपूर्ति के अलावा, AI कैलकुलेशन क्षमता के विस्तार की एक अन्य चुनौती है डेटासेंटर स्थापना। बहुत से उच्च-प्रदर्शन AI चिप्स को तरल शीतलन और उच्च बिजली व्यवस्था की आवश्यकता होती है, जिससे डेटासेंटर अपग्रेड लागत बढ़ जाती है और लॉन्च समय बढ़ जाता है।
जनरल कंप्यूट द्वारा प्रस्तावित समाधान है वायु शीतलन और कम बिजली खपत वाली इन्फरेंस चिप्स का उपयोग। इससे उपकरणों को सीधे मौजूदा डेटा सेंटर में स्थापित किया जा सकता है, बिना बड़े पैमाने पर बुनियादी ढांचे के अपग्रेड के। एक नए बाजार में प्रवेश करने वाली इन्फरेंस क्लाउड कंपनी के लिए, इसका मतलब है कि वह जल्दी से किराए पर दी जा सकने वाली कंप्यूटिंग पावर बना सकती है।
कंपनी वर्तमान में अपने स्वयं के हार्डवेयर को तीसरे पक्ष की सुविधाओं में रखने के लिए होस्टिंग साझेदारी को आगे बढ़ा रही है। इन साझेदारों में पारंपरिक डेटा केंद्र ऑपरेटरों के साथ-साथ रूपांतरण की ओर बढ़ने वाली क्रिप्टो माइनिंग कंपनियां शामिल हैं। रिपोर्ट में बताया गया है कि कुछ समयों में, बिटकॉइन उत्पादन की लागत बाजार मूल्य से अधिक हो गई, जिससे कुछ माइनिंग फार्म्स नए बुनियादी ढांचे के उपयोग की तलाश में हैं।
Reasoning cloud competition shifts toward speed and cost
General Compute ने पिछले हफ्ते क्लाउड सेवा लॉन्च की है और खुला स्रोत बड़ा मॉडल MiniMax 2.7 चलाने में अपनी गति का दावा किया है। कंपनी एक घंटे के कोडिंग एजेंट कार्य को 5 से 10 मिनट में समेटना चाहती है और कस्टमर सर्विस वॉइस एजेंट जैसे रियल-टाइम सीनियों में निष्कर्षण लागत को कम करना चाहती है।
निवेशक जो हैसलमैन का मानना है कि यह साझेदारी प्रारंभिक CoreWeave द्वारा Nvidia के साथ कैलकुलेशन क्षमता विस्तार के समान है। SambaNova के लिए, जनरल कंप्यूट भी उनके चिप्स के लिए उच्च वृद्धि वाले परिदृश्यों में प्रवेश का महत्वपूर्ण माध्यम है।
रिपोर्ट के अनुसार, रीजनिंग क्लाउड मूल रूप से एक "बहु-मॉडल, बहु-एजेंट" बाजार पर निवेश कर रही है। यदि भविष्य में कोई एकल मॉडल प्रदाता लंबे समय तक एकाधिकार नहीं रखता है, तो रीजनिंग स्पीड और इकाई लागत प्रत्यक्ष प्रतिस्पर्धा सूचक बन जाएंगे। हाल के दिनों में OpenRouter द्वारा 113 मिलियन डॉलर के B-राउंड फंडिंग को पूरा करना, बहु-मॉडल एक्सेस और टोकन लागत अनुकूलन की मांग में वृद्धि को दर्शाता है।