24 अगस्त को, Anthropic ने Claude के स्ट्रीमिंग प्रतिक्रिया रेंडरर पर एक फ्रंटएंड अनुकूलन लागू किया, जिसका लक्ष्य एक पुराने मशीन पर AI चैटबॉट से लंबा उत्तर प्राप्त करने की कोशिश करने वाले हर किसी को अच्छी तरह से जाना जाने वाला समस्या था: वह बेचैनी और फ्रीज़ का चक्र जो एक संवाद को स्लाइडशो में बदल देता है।
यह अपडेट क्लॉड के वेब और डेस्कटॉप एप्लिकेशन्स पर लागू होता है। एंथ्रोपिक के अनुसार, अब लंबे उत्तर लगभग 4 गुना अधिक चिकने ढंग से स्ट्रीम होते हैं, धीमे लैपटॉप पर स्टॉल्स 9 गुना कम हो जाते हैं, और सबसे खराब स्थिति में फ्रीज 4.5 गुना कम हो जाते हैं। ऐसे हार्डवेयर पर, जैसे 120 हर्ट्ज मैकबुक्स, रेंडरर स्ट्रीमिंग आउटपुट के दौरान 120 एफपीएस को बनाए रख सकता है।
अंदर क्या बदला गया
मूल ठीक करना इसकी सरलता में उत्कृष्ट है। पहले, क्लॉड के मॉडल से आने वाला प्रत्येक टोकन पूरे उत्तर कंटेनर के पुनः चित्रण को ट्रिगर करता था, या कम से कम इसका एक बड़ा हिस्सा। नया दृष्टिकोण केवल उन तत्वों तक सीमित है जिनमें वास्तव में परिवर्तन हुआ है, जिससे प्रति टोकन गणनात्मक ओवरहेड में भारी कमी आती है, जो कम GPU क्षमता या पुराने प्रोसेसर वाले मशीनों पर सबसे महत्वपूर्ण है।
महत्वपूर्ण बात यह है कि एंथ्रोपिक ने इस रिलीज़ के साथ अपने मॉडल या API में कोई बदलाव नहीं किया है। जनरेशन स्पीड, आउटपुट क्वालिटी और अंतर्निहित इन्फरेंस पाइपलाइन अछूती रही हैं। यह केवल एक प्रेजेंटेशन-लेयर सुधार है।
AI प्रतियोगिता में UI प्रदर्शन क्यों महत्वपूर्ण है
120 fps का स्थिर फ्रेम रेट विशेष रूप से महत्वपूर्ण है। अधिकांश वेब एप्लिकेशन्स को फ्रेम रेट के बारे में सोचने की आवश्यकता नहीं होती, लेकिन स्ट्रीमिंग टेक्स्ट रेंडरर प्रभावी रूप से एनिमेशन होते हैं। प्रत्येक नया टोकन एक फ्रेम अपडेट होता है। जब आप लंबी प्रतिक्रिया के लिए सैकड़ों टोकन जेनरेट कर रहे होते हैं, तो यह सैकड़ों क्रमिक फ्रेम अपडेट होते हैं, और कोई भी ठहराव स्टटर या फ्रीज के रूप में दिखाई देता है।
उपयुक्त हार्डवेयर पर 120 फ्रेम प्रति सेकंड प्राप्त करने का अर्थ है कि Anthropic का रेंडरर अब फ्रेम ड्रॉप किए बिना Apple के ProMotion डिस्प्ले की रिफ्रेश रेट के साथ मेल खा सकता है।
फीडबैक लूप और उसकी सीमाएँ
सोशल मीडिया पर उपयोगकर्ता प्रतिक्रिया अधिकांशतः सकारात्मक रही, जिसमें कई लोगों ने नोट किया कि लंबी बातचीत के दौरान सुधार तुरंत महसूस हुआ। लेकिन कुछ प्रतिक्रियाओं ने एक तनाव को उजागर किया जो एंथ्रोपिक और हर अन्य AI कंपनी का सामना करती है: इंटरफेस को बेहतर बनाने से मॉडल का सुधार नहीं होता। कई उपयोगकर्ताओं ने बताया कि जब क्लॉड संदर्भ का भ्रमित उल्लेख करता है या गलत जानकारी को आत्मविश्वास से प्रस्तुत करता है, तो अधिक चिकनी स्ट्रीमिंग से कोई मदद नहीं मिलती।
अपडेट का एंथ्रोपिक के उद्यमिक लक्ष्यों पर भी प्रभाव पड़ता है। कॉर्पोरेट उपयोगकर्ता अक्सर मानकीकृत हार्डवेयर चलाते हैं जो डेवलपर्स और पहले उपयोगकर्ताओं के उपयोग किए जाने वाले हार्डवेयर की तुलना में पुराना होता है। धीमे लैपटॉप पर 9 गुना कम स्टॉल्स केवल एक ब्लॉग पोस्ट के लिए एक अच्छी सांख्यिकी नहीं है। यह उस उद्यमिक लॉन्च के बीच का अंतर है जिसे कर्मचारी वास्तव में उपयोग करते हैं और उस लॉन्च के बीच जिसे वे एक सप्ताह के उलझने वाले फ्रीज़ के बाद प्रतियोगी के लिए छोड़ देते हैं।