कई चिप निर्माता एजेंट द्वारा CPU के लोड को बदलने के पीछे नए मूल्यांकन विधियों का पता लगा रहे हैं।लेखक, स्रोत: वॉल स्ट्रीट विजन
एजेंट के उपयोग के क्षेत्र अब और अधिक विशिष्ट होते जा रहे हैं।
एजेंट्स क्लॉड कोड जैसे एआई प्रोग्रामिंग टूल्स से लेकर दस्तावेज़ों को संभालने और सॉफ्टवेयर चलाने वाले ऑफिस असिस्टेंट्स, और फिर यात्रा योजना बनाने और दिनचर्या प्रबंधित करने में उपयोगकर्ताओं की मदद करने वाले पर्सनल असिस्टेंट्स तक, अधिक विशिष्ट कार्यों को संभालने लगे हैं।
लगातार विस्तार हो रहे अनुप्रयोगों के संदर्भ में, निचले स्तर की कैलकुलेशन क्षमता के लिए नए आवश्यकताएँ उत्पन्न हो रही हैं।
इस संदर्भ में, Arm ने हाल ही में एजेंट के लिए एक CPU प्रदर्शन मूल्यांकन विधि लॉन्च की है, जो वास्तविक अनुप्रयोग परिदृश्यों के अधिक निकट परीक्षण के माध्यम से उद्यमों को एजेंट कार्यों में विभिन्न CPU के प्रदर्शन का आकलन करने में सहायता करने का प्रयास करती है।
यह एक अकेला मामला नहीं है। AMD पहले ही Agent AI के लिए CPU वर्कलोड आकलन ढांचा प्रस्तुत कर चुका है, जिसमें टूल निष्पादन, डेटा प्राप्ति और कार्य व्यवस्था जैसे चरणों को परीक्षण में शामिल किया गया है; Intel ने Xeon 6 प्रोसेसर के लिए संबंधित परीक्षण किए हैं, जिसमें Agent कार्यों के थ्रूपुट और समानांतर निष्पादन कुशलता पर ध्यान केंद्रित किया गया है।
कई चिप निर्माता एजेंट द्वारा CPU के लोड को बदलने के पीछे नए मूल्यांकन विधियों का पता लगा रहे हैं।
पिछले कुछ वर्षों में, बड़े मॉडल की कैलकुलेशन शक्ति की प्रतिस्पर्धा मुख्य रूप से GPU पर केंद्रित रही है, और टोकन जनरेशन स्पीड, थ्रूपुट आदि मापदंड एआई इन्फरेंस प्रदर्शन के मापन के महत्वपूर्ण आधार बन गए हैं।
जब एजेंट वास्तविक कार्यों को निष्पादित करना शुरू करता है, तो निष्कर्ष निकालने के लिए बड़े मॉडल को कॉल करने के अलावा, डेटाबेस तक पहुंचना, कोड निष्पादित करना, उपकरणों को कॉल करना आदि शामिल होते हैं, जिनमें से प्रत्येक चरण अधिक CPU संसाधनों का उपयोग कर सकता है।
आर्म क्लाउड एआई सॉल्यूशन आर्किटेक्चर डायरेक्टर रवि मलहोत्रा ने सॉफ्टवेयर डेवलपमेंट एजेंट के उदाहरण के साथ बताया कि मॉडल पहले निष्कर्ष निकालता है और कोड जनरेट करता है, फिर CPU को कोड बिल्ड, कंपाइल और टेस्ट करने की आवश्यकता होती है, जिनमें काफी समय लग सकता है।
इस प्रकार के उपयोग के मामले में बहुत महत्वपूर्ण बात यह है कि CPU अपना हिस्सा कितनी जल्दी पूरा कर सकता है, ताकि नियंत्रण जल्द से जल्द अधिक महंगे GPU या त्वरक को वापस मिल सके, ताकि पाइपलाइन का अगला चरण निष्पादित किया जा सके।" रवि मलहोत्रा ने ऑल-डे-टेक जैसे मीडिया को बताया, "अगर CPU पर्याप्त तेज़ नहीं है, तो अधिक महंगा GPU अक्षम रहेगा।"
अधिक जटिल बात यह है कि विभिन्न एजेंट्स के प्रदर्शन की सीमाएँ अलग-अलग होती हैं। कुछ कार्य मुख्य रूप से GPU निष्पादन गति से सीमित होते हैं, जबकि कुछ कार्य CPU सैंडबॉक्स निष्पादन क्षमता या डेटा प्राप्ति की दक्षता से प्रभावित होते हैं। यहाँ तक कि एक ही प्रकार के एजेंट की प्रदर्शन सीमा मॉडल, डिप्लॉयमेंट वातावरण और विशिष्ट कार्य के परिवर्तन के साथ बदल सकती है।
सॉफ्टवेयर डेवलपमेंट के उदाहरण के साथ, कोड कॉम्पाइल और टेस्टिंग अक्सर CPU संसाधनों का निरंतर उपयोग करते हैं, इसलिए एकल एजेंट के प्रदर्शन पर अधिक ध्यान दिया जाता है। इसके विपरीत, उद्यम ग्राहक समर्थन, व्यक्तिगत सहायक आदि परिदृश्यों में एकल संचालन आमतौर पर छोटे होते हैं, लेकिन एक साथ कई अनुरोधों को संभालने की आवश्यकता होती है, जिससे CPU की समानांतर क्षमता के लिए अधिक आवश्यकताएँ उत्पन्न होती हैं।
ये अंतर अब CPU प्रदर्शन मूल्यांकन को पूर्ण Agent कार्यों की कार्यक्षमता और विभिन्न कार्यभार के अधीन प्रदर्शन पर ध्यान केंद्रित करने की ओर ले जाते हैं।
इस बार Arm ने कंपोनेंट-लेवल टेस्टिंग को एंड-टू-एंड एजेंट बेंचमार्किंग के साथ जोड़ने का प्रस्ताव रखा है।
इसमें, कंपोनेंट-लेवल टेस्टिंग वेब सर्वर, डेटाबेस, मॉडल सर्विस और सैंडबॉक्स निष्पादन जैसे चरणों को कवर करती है, जबकि एंड-टू-एंड टेस्टिंग SWE-bench, Terminal-Bench जैसे एजेंट बेंचमार्क को शामिल करती है और पूरे कार्य प्रवाह में प्रदर्शन का मूल्यांकन करती है।
पारंपरिक मापदंडों जैसे सिंगल-कोर प्रदर्शन और मल्टी-कोर थ्रूपुट के अलावा, Arm एजेंट समानांतरता, कार्य निष्पादन दक्षता और प्रति रैक प्रदर्शन पर भी ध्यान केंद्रित करता है।
रवि मल्होत्रा ने जोर देकर कहा कि प्रदर्शन मूल्यांकन को आउटपुट और SLA (सर्विस लेवल एग्रीमेंट) की आवश्यकताओं के बीच संतुलन बनाना चाहिए, और केवल एजेंट्स की संख्या बढ़ाने की दिशा में नहीं जाना चाहिए।
चूंकि विभिन्न परिदृश्यों की आवश्यकताएँ भिन्न होती हैं, इसलिए Arm विभिन्न Agent उपयोग मामलों के लिए एक समान वजन आवंटन की सिफारिश नहीं करता है, बल्कि यह चाहता है कि उद्यम अपने अनुप्रयोग के अनुसार उपयुक्त मूल्यांकन सूचकों का चयन करें।
जैसे-जैसे एजेंट व्यवसायिक प्रक्रियाओं में शामिल हो रहे हैं, ये प्रदर्शन सूचक व्यवसायों द्वारा CPU बुनियादी ढांचे का चयन और अपग्रेड करने के लिए महत्वपूर्ण संदर्भ बन रहे हैं।
रवि मल्होत्रा का मानना है कि सॉफ्टवेयर डेवलपमेंट, कस्टमर सपोर्ट, सप्लाई चेन मैनेजमेंट और पर्सनल असिस्टेंट जैसे सीनेरियो, कंपनियों के CPU इंफ्रास्ट्रक्चर को अपग्रेड करने का प्रमुख ड्राइवर बनेंगे।
"उद्योगों के लिए, ग्राहक समर्थन, आपूर्ति श्रृंखला प्रबंधन और व्यक्तिगत सहायक जैसे परिदृश्यों में, प्रति रैक प्रदर्शन पर अधिक ध्यान दिया जाता है, और Arm AGI CPU की स्केलेबिलिटी और ऊर्जा कुशलता के लाभ इन परिदृश्यों में विशेष रूप से स्पष्ट हैं।" रवि मलहोत्रा कहते हैं।
रवि मल्होत्रा ने आगे बताया कि एजेंट एप्लिकेशन के लिए मौजूदा बुनियादी ढांचे को अपग्रेड करना या पूरी तरह से नया बुनियादी ढांचा डिज़ाइन और विकसित करना, दोनों ही स्थितियाँ स्पष्ट अपग्रेड की मांग पैदा करेंगी और Arm AGI CPU की वृद्धि और स्वीकृति को बढ़ावा देने की प्रमुख शक्ति बन सकती हैं।
व्यवसाय के लिए, CPU प्रदर्शन में वृद्धि से उत्पन्न मूल्य को अंततः वास्तविक संचालन की दक्षता और लागत पर प्रतिबिंबित किया जाना चाहिए।
अलग-अलग एजेंट्स के वर्कलोड में बड़ा अंतर है, और बेंचमार्क परीक्षण में प्रदर्शन का लाभ वास्तविक रूप से कार्य निष्पादन की दक्षता में वृद्धि और डिप्लॉयमेंट लागत में कमी में परिवर्तित हो पाएगा या नहीं, इसकी पुष्टि के लिए अधिक वास्तविक उपयोग की आवश्यकता है।
Risk Disclaimer and Liability Waiver
बाजार में जोखिम होता है, निवेश करते समय सावधानी बरतें। यह लेख व्यक्तिगत निवेश सुझाव नहीं है और न ही किसी विशिष्ट उपयोगकर्ता के विशेष निवेश लक्ष्य, वित्तीय स्थिति या आवश्यकताओं को ध्यान में रखता है। उपयोगकर्ता को इस लेख में दिए गए किसी भी मत, दृष्टिकोण या निष्कर्ष को अपनी विशिष्ट स्थिति के साथ मेल खाने के लिए विचार करना चाहिए। इसके आधार पर निवेश करने की जिम्मेदारी पूरी तरह से उपयोगकर्ता की होगी।