आपके उपयोगकर्ता 40 अलग-अलग तरीकों से एक ही प्रश्न पूछ रहे हैं, और आप अपने LLM को हर एक का अलग-अलग जवाब देने के लिए भुगतान कर रहे हैं। "मैं अपना पासवर्ड कैसे रीसेट करूँ?" "मेरा लॉगिन भूल गया, मदद करें" "मैं अपने खाते में प्रवेश नहीं कर पा रहा" एक ही जवाब। तीन पूर्ण मॉडल कॉल। सामान्य कैशिंग इसे पकड़ नहीं सकती। यह केवल तभी काम करती है जब पाठ सटीक रूप से, अक्षर-दर-अक्षर मेल खाता हो। सेमेंटिक कैशिंग अर्थ पर मेल खाती है। एक प्रश्न आता है। इसे एम्बेडिंग में बदल दिया जाता है। कैश जाँचता है कि क्या आपने पहले ही किसी पर्याप्त करीबी प्रश्न का जवाब दे दिया है। हिट? सहेजा गया जवाब तुरंत वापस आ जाता है। कोई LLM कॉल नहीं। मिस? मॉडल जवाब देता है, और अगली बार के लिए यह जवाब सहेजा जाता है। Redis अब इसे LangCache नामक एक मैनेज्ड सेवा के रूप में चला रहा है। कोई अतिरिक्त डेटाबेस स्थापित करने की आवश्यकता नहीं, TTL और प्रतिस्थापन स्वयं ही संभाला जाता है। वे 15x तक तेज़ कैश हिट्स और API बिल में महत्वपूर्ण कटौती का दावा करते हैं। लेकिन यहाँ वह हिस्सा है जिसके बारे में कोई पोस्ट नहीं कर रहा। समानता सीमा (similarity threshold) ही वह स्थान है जहाँ यह टूटता है। इसे बहुत宽松 (loose) सेट करें, तो "मैं मेरी API कुंजी कैसे परिवर्तित करूँ?" के प्रश्न पर "मैं मेरी API कुंजी कैसे समाप्त करूँ?" का जवाब मिलता है। अर्थ में करीब। परिणाम में बहुत अलग। इसलिए सख्ती से شुरुआत करें। सप्ताहभर के लिए हर हिट को लॉग करें। केवल उन स्थितियों में ही सीमा कोढ़िए, जहाँ आपने सत्यापित कर लिया हो कि जवाब सचमुच समकक्ष हैं। आपकी बचत, आपके प्रवाह में कितनी पुनरावृत्ति है, पर निर्भर करती है। सपोर्ट बॉट्स और आंतरिक दस्तावेज़ सहायकों को सबसे अधिक fayda होता है। सृजनात्मक ya ek baar ke प्रश्नों में मुख्य प्रभाव मुश्किल से महसूस होता है। मूल्य पृष्ठ पर पहले से पहले, apne logs ko check karein। @cyrilXBT को follow karein https://t.co/tQmQCsxVlo