Anthropic ने Claude API के लिए बीटा फीचर लॉन्च किया है: डेवलपर्स संदेश स्ट्रीम के किसी भी बिंदु पर effort स्तर को समायोजित कर सकते हैं, जिससे गति, पूर्णता और लागत के बीच संतुलन बनाया जा सकता है, जो एजेंट स्थितियों के लिए उपयुक्त है।लेखक, स्रोत: AIBase
एक ही संवाद में पहले ढीला और बाद में तनावपूर्ण, Anthropic ने डेवलपर्स को अंतरिम रूप से मॉडल को "थ्रॉटल" करने की सुविधा दी। 12 नवंबर को, इस Claude विकासक ने API में एक बीटा सुविधा जोड़ी: डेवलपर्स मैसेज स्ट्रीम के दौरान किसी भी समय effort को एडजस्ट कर सकते हैं, यानी मॉडल के जवाब देने के लिए कितना प्रयास करना है, इसका स्तर, ताकि लोग उत्तर की पर्याप्तता, प्रतिक्रिया गति और उपयोग लागत के बीच आसानी से संतुलन कर सकें।
शिफ्ट बदलें, रीस्टार्ट न करें; कैश बनाए रखें, ऑफलाइन न हों
पिछली सत्र केवल एक निश्चित पैरामीटर सेट का उपयोग करती थी, लेकिन अब ऐसा नहीं है। इसका तरीका है कि संदेश अनुक्रम में एक खाली system संदेश डालें, और फिर नए output_config.effort का उपयोग करके लक्ष्य स्तर निर्दिष्ट करें—शीर्ष स्तर की कॉन्फ़िगरेशन और पहले से मिले प्रॉम्प्ट कैश को बिना किसी बदलाव के बरकरार रखें। ध्यान दें कि यह आदेश पिछले डेटा पर लागू नहीं होता—यह अगली नए इनपुट के साथ आने वाली उपयोगकर्ता संदेश से ही प्रभावी होगा, और पहले से उत्पन्न सामग्री में कोई बदलाव नहीं होगा, इसलिए इसे कहाँ और कब डालना है, यह सटीकता से निर्धारित करना होगा।
बातचीत से लेकर हार्डकोर तक, एक विभाजन रेखा
प्रयास केवल अंत में कितने शब्द लिखे जाते हैं, इससे बहुत आगे जाता है—विचार की गहराई, उपकरणों को बदलने की बारंबारता, और उत्तर को संगठित करने में लगाया गया प्रयास सभी प्रभावित होते हैं। इसका सामान्य उपयोग यह है: संवाद के पहले हिस्से में हल्के प्रश्नोत्तर किए जाते हैं, और जब जटिल विश्लेषण की आवश्यकता होती है, तो स्तर बढ़ाया जाता है, जिससे मॉडल स्वयं ही अधिक प्रयास करता है। लंबी श्रृंखला वाले एजेंट के लिए यह विशेष रूप से लाभदायक है—प्रारंभिक खोज के लिए कम स्तर का उपयोग करके टोकन बचाएं, और जब वास्तविक तर्क की आवश्यकता हो, तब ही स्तर बढ़ाएं; पूरे संवाद के लिए पहले से खर्च मत करें। जब AI "खाने के अनुसार भोजन चुनना" सीख जाता है, तभी कंप्यूटिंग पावर और बिल वास्तव में डेवलपर के हाथ में होते हैं।