يطلب مستخدموك نفس السؤال بـ 40 طريقة مختلفة، وأنت تدفع لنموذج الذكاء الاصطناعي الخاص بك للإجابة عن كل سؤال من الصفر. "كيف أعيد تعيين كلمة المرور الخاصة بي؟" "نسيت بيانات تسجيل الدخول، أحتاج مساعدة" "لا أستطيع الدخول إلى حسابي" إجابة واحدة. ثلاث طلبات كاملة للنموذج. لا يمكن للتخزين المؤقت العادي التقاط هذا. فهو يعمل فقط عندما تتطابق النصوص تمامًا، حرفًا بحرف. يُطابق التخزين المؤقت الدلالي على المعنى. يأتي سؤال. يُحوَّل إلى تضمين. يتحقق التخزين المؤقت مما إذا كنت قد أجبت بالفعل على شيء مشابه كفاية. هل وُجد تطابق؟ تُعاد الإجابة المحفوظة فورًا. لا طلب للنموذج. هل لم يُوجد تطابق؟ يجيب النموذج، وتُحفظ الإجابة للمرة القادمة. يُدير Redis هذا الآن كخدمة مدارة تُسمى LangCache. لا حاجة لنشر قاعدة بيانات إضافية، ويتم التعامل مع TTL والتهجير نيابةً عنك. يُدّعون أن معدلات التخزين المؤقت تصل إلى 15 مرة أسرع، مع تخفيضات كبيرة في فاتورة واجهة برمجة التطبيقات الخاصة بك. لكن هذه هي النقطة التي لا ينشرها أحد. العتبة التشابهية هي المكان الذي ينهار فيه النظام. إذا ضبطتها بشكل مفرط، فسيعود جواب "كيف أقوم بتدوير مفتاح API الخاص بي" عند سؤال "كيف أُلغي مفتاح API الخاص بي". مشابه في المعنى. لكن النتيجة مختلفة تمامًا. لذلك ابدأ بصرامة. سجّل كل تطابق لمدة أسبوع. ثم اجعلها أكثر مرونة فقط في الحالات التي تأكدت فيها أن الإجابات قابلة للتبديل فعليًا. تعتمد وفوراتك على مدى تكرار حركة المرور الخاصة بك حقًا. تفوز روبوتات الدعم ومساعدي المستندات الداخلية بشكل كبير. أما الاستعلامات الإبداعية أو الفردية فبالكاد تؤثر. تحقق من سجلك قبل أن تتحقق من صفحة التسعير. تابع @cyrilXBT https://t.co/tQmQCsxVlo