NVIDIA Blackwell, एजेंट हार्डवेयर बेंचमार्क में H200 को 20 गुना से बेहतर प्रदर्शन करता है

ME AI संदेश, एनालिसिस द्वारा मॉनिटर किए जाने पर, विश्लेषण संस्थान ने उद्योग का पहला एजेंट (Agent) हार्डवेयर बेंचमार्क AA-AgentPerf जारी किया। पारंपरिक मूल्यांकन एकल प्रश्न-उत्तर की तरह “स्प्रिंट” होता है, जो केवल प्रतिक्रिया गति को देखता है; जबकि एजेंट कार्य “रिले रेस” की तरह होते हैं, जहां AI को लक्ष्य को स्वयं विभाजित करना, फाइलों को पढ़ना-लिखना, कोड को संशोधित करना और परीक्षण चलाने में बार-बार संचालित होना पड़ता है। बार-बार के इंटरैक्शन से सर्वर मेमोरी क्षमता और स्केड्यूलिंग कुशलता पर भारी दबाव पड़ता है। बेंचमार्क वास्तविक प्रोग्रामिंग ट्रैक को पुनः चलाकर, “प्रति मेगावॉट बिजली उपभोग पर समानांतर एजेंट संख्या” को मुख्य ऊर्जा कुशलता सूचक के रूप में अपनाता है, जो डेटासेंटर के बिजली और वित्तीय सीमाओं को सीधे सम्बोधित करता है। पहले संस्करण के परीक्षण में 1.6 ट्रिलियन पैरामीटर के ओपन-सोर्स मॉडल DeepSeek V4 Pro का परीक्षण किया गया। परिणामों के अनुसार, NVIDIA Blackwell लिक्विड-कूल्ड कैबिनेट सिस्टम GB300 NVL72 प्रति मेगावॉट बिजली पर 61,400 समानांतर एजेंट समर्थित कर सकता है, जबकि पिछली पीढ़ी Hopper HGX H200 केवल 2,600 समर्थित कर सकता है, जिससे ऊर्जा कुशलता में 20 गुना से अधिक की वृद्धि हुई है। प्रति GPU समानांतर क्षमता में भी 41 गुना की वृद्धि हुई है। इससे समान बिजली बजट में, डेटासेंटर 20 गुना अधिक समानांतर एजेंट समर्थन कर सकता है, जिससे स्वचालित प्रोग्रामिंग और कस्टमर सपोर्ट जैसे अनुप्रयोगों की स्थापना लागत में काफी कमी हुई है। पहले परिणामों में, AMD Instinct MI355X समयहीन है। मूल्यांकन संस्थान ने सुझाव दिया है कि AMD और H200 कॉन्फ़िगरेशन दोनों सामान्य ओपन-सोर्स vLLM फ्रेमवर्क पर स्थापित हैं, जिनकी गहनअनुकूलन नहीं की गई है; सेवा फ्रेमवर्क और इंटरनल कर्नेल सब-ओपरेटर्स के समायोजन के साथ, AMD की प्रदर्शन क्षमता में अभी भी सुधार हो सकता है। वर्तमान में, Together AI जैसे इनफ़्रेंस प्रदाता पहले ही Blackwell पर DeepSeek V4 Pro को स्थापित करके Cursor नामक स्मार्ट-प्रोग्रामिंग टूल के लिए रियल-टाइम इनफ़्रेंस समर्थन प्रदान कर रहे हैं। (स्रोत: BlockBeats)