स्काईपाइलट 90% लागत कम करके कोड सैंडबॉक्स सेवा लॉन्च करता है

ME AI संदेश, डिनामिक चेक द्वारा मॉनिटर किए जाने पर, ओपन-सोर्स AI रिसोर्स मैनेजमेंट टूल SkyPilot ने कोड रनिंग सैंडबॉक्स सेवा SkyPilot Sandboxes लॉन्च की है, जो उद्यमों को अपने पहले से मौजूद क्लाउड सर्वर क्लस्टर (Kubernetes) पर AI द्वारा उत्पन्न कोड को सुरक्षित रूप से चलाने की अनुमति देती है। यह सेवा उद्यमों को कंप्यूटिंग संसाधनों पर स्वयं नियंत्रण रखने की अनुमति देती है, जिससे संवेदनशील prompts (प्रॉम्प्ट्स) और गुप्त डेटा वाले कोड को तीसरे पक्ष के सैंडबॉक्स होस्टिंग प्रदाता को भेजने की आवश्यकता नहीं पड़ती, और एकल क्लस्टर पर एक साथ 50,000 से अधिक अलग-अलग सैंडबॉक्स वातावरण चलाए जा सकते हैं। तीसरे पक्ष के होस्टेड सैंडबॉक्स की तुलना में, SkyPilot Sandboxes निर्देश निष्पादन की तैयारी की देरी को लगभग 20% तक कम करता है। 'वॉम पूल' मैकेनिज़्म के माध्यम से, जिसमें कंटेनर पहले से ही तैयार अवस्था में रखे जाते हैं, सैंडबॉक्स बनाने और पहला निर्देश चलाने में सामान्य स्थितियों में केवल 1.0 सेकंड का समय लगता है, जो प्रतिद्वंद्वी Modal के 1.2 सेकंड से बेहतर है। चूंकि सेवा सीधे उद्यम के स्थानीय क्लाउड नेटवर्क पर चलती है, इसलिए एशिया-प्रशांत क्षेत्र के उपयोगकर्ता प्रशांत महासागर के पार डेटा प्रसारण की देरी से पूरी तरह मुक्त हो सकते हैं, और प्रतिक्रिया गति को स्थानीय स्तर पर बढ़ा सकते हैं। निष्पादन लागत पर, क्योंकि तीसरे पक्ष के सेवा प्रदाता की प्रीमियम शुल्क की आवश्यकता नहीं होती, SkyPilot Sandboxes, होस्टेड मॉडल की तुलना में 4 से 10 गुना सस्ता है। 50,000 सैंडबॉक्स समानांतर में चलाए जाने के बड़े पैमाने पर, तीसरे पक्ष की होस्टेड सेवा प्रति घंटे 16,610 से 19,030 डॉलर का शुल्क लेती है; यदि SkyPilot का उपयोग करके सैंडबॉक्स को उद्यम के स्वयं के सामान्य क्लाउड सर्वर पर स्थापित किया जाए, तो प्रति घंटे लागत 4,650 डॉलर पर कम हो जाएगी (लागत में 75% कमी); यदि इसे AWS t4g.medium जैसे अनियमित कार्यों के लिए सुविधाजनक सस्ते सर्वर पर स्थापित किया जाए, तो प्रति घंटे 1,680 डॉलर पर कम हो सकती है, जो होस्टेड सेवा की तुलना में महज़ 10% है। इसके加, सैंडबॉक्स SkyPilot Key Manager से कनेक्ट होने का समर्थन करता है, इसलिए प्रचलन के दौरान प्रमाणपत्र सीधे प्रवेश किए जा सकते हैं, जिससे हार्ड-कोडेड प्रवेश के जोखिम से मुक्ति मिलती है। जब कंपनियाँ कोड लिखने में सक्षम AI मॉडल (जैसे RL) को प्रशिक्षित करती हैं, to evaluate thousands of unverified code snippets generated by AI in a very short time. By deploying the sandbox cluster directly on physical servers close to the GPU cards, data transfer time can be significantly reduced, greatly shortening the model training cycle and lowering network bandwidth costs. The service is currently open for early limited testing applications, and the project’s official repository also provides complete training examples. (Source: BlockBeats)