AMD ने स्थानीय प्रोग्रामिंग प्लेटफॉर्म Instinct Coder 355 लॉन्च किया है, जिसमें 8 MI355X ग्राफिक्स कार्ड स्थानीय रनिंग प्रदर्शन को अग्रणी मॉडल के 98% अनुमान तक पहुँचाते हैं, डिफ़ॉल्ट रूप से इंटरनेट से जुड़े नहीं होते और डेटा स्थानीय रूप से रहता है।लेखक, स्रोत: AIBase
AMD ने बड़े मॉडल को बादल से डेटासेंटर में वापस लाया है, और इस बार यह उद्यम विकासकों के लिए काम कर रहा है। स्थानीय समय 9 नवंबर को, AMD ने Spectro Cloud के साथ मिलकर उद्यम स्तरीय AI सहायक प्रोग्रामिंग प्लेटफॉर्म Instinct Coder 355 लॉन्च किया, जो स्थानीय रूप से GLM-5.3 निष्कर्षण चला सकता है और इसका दावा है कि यह अग्रणी मॉडल की 98% क्षमता के करीब पहुँचता है।
आठ कार्ड एक प्रोग्रामिंग सर्वर को संभालते हैं
इस सिस्टम की शक्ति इसके संसाधनों में निहित है: इसमें 8 AMD Instinct MI355X एक्सेलरेटर, 2 पीसी 64-कोर EPYC 9575F "Zen 5" प्रोसेसर, 3TB DDR5-6400 मेमोरी और कुल 63.36TB सॉलिड-स्टेट स्टोरेज शामिल है। डेल और सुपरमाइक्रो अलग-अलग स्पेसिफिकेशन के पूरे सिस्टम विकल्प प्रदान करते हैं, जिससे उद्यम अपने डेटासेंटर की प्रथाओं के अनुसार विकल्प चुन सकते हैं। एकल नोड अधिकतम 85 डेवलपर्स की सेवा कर सकता है, जिसमें 50 एक साथ ऑनलाइन कोडिंग कर सकते हैं, जिससे एक छोटी टीम की कैलकुलेशन आवश्यकताएँ एक ही केस में समाहित हो जाती हैं।
डिफ़ॉल्ट रूप से कनेक्ट नहीं, डेटा स्थानीय रूप से सहेजें
वास्तविक रूप से उद्यमों को आकर्षित करने वाली बात "बिना बाहर निकले" का सेटअप है। Spectro Cloud ने इस प्रणाली के लिए PaletteAI Inference Launchpad प्रबंधन सॉफ्टवेयर प्रदान किया है, जो डिफ़ॉल्ट रूप से क्लाउड API के बजाय स्थानीय कैलकुलेशन पावर का उपयोग करता है, इसलिए संवेदनशील कोड और डेटा को बाहर नहीं भेजना पड़ता। लागत और अनुपालन के दोहरे दबाव के तहत, निष्कर्षण को अपने ही डेटासेंटर में वापस लाना बड़ी कंपनियों के लिए एक नया प्रमुख दिशा बन रहा है—AMD का यह कदम, स्पष्ट रूप से, NVIDIA और सभी क्लाउड प्रदाताओं के बर्तन से अपना हिस्सा प्राप्त करने की इच्छा रखता है।