Kullanıcılarınız aynı soruyu 40 farklı şekilde soruyor ve her birine ayrı ayrı LLM’nizi kullanarak cevap veriyorsunuz. “Şifremi nasıl sıfırlarım?” “Giriş bilgilerimi unuttum, yardım edin” “Hesabıma giremiyorum” Aynı cevap. Üç tam model çağrısı. Normal önbellekleme bunu yakalayamaz. Sadece metin tam olarak, karakter bazında eşleştiğinde çalışır. Anlamsal önbellekleme, ANLAM üzerine eşleşme yapar. Bir soru gelir. Bir gömleğe (embedding) dönüştürülür. Önbellek, daha önce benzer bir şeyi cevaplayıp cevaplamadığınızı kontrol eder. Eşleşme varsa? Kaydedilen cevap anında döner. Hiçbir LLM çağrısı gerekmez. Eşleşme yoksa? Model cevaplar ve bu cevap bir sonraki sefer için kaydedilir. Redis, bunu LangCache adlı bir yönetilen hizmet olarak çalıştırmaktadır. Dağıtmanız gereken ek bir veritabanı yoktur, TTL ve atma işlemleri sizin için yönetilir. %15’e kadar daha hızlı önbellek vuruşları ve API faturanızda büyük tasarruflar iddia ediyorlar. Ancak burada kimse paylaşmayan bir şey var. Benzerlik eşiği, burada işler bozuluyor. Çok gevşek ayarlarsanız, “API anahtarımı nasıl döndürürüm?” sorusuna “API anahtarımı nasıl iptal ederim?” sorusunun cevabı döner. Anlam olarak yakın. Çok farklı sonuçlar. Başlangıçta sıkı tutun. Bir hafta boyunca tüm vuruşları kaydedin. Sadece cevapların gerçekten yer değiştirebilir olduğunu kontrol ettikten sonra gevşetin. Tasarrufunuz, trafiğinizin ne kadar tekrarlı olduğuna bağlıdır. Destek botları ve dahili belge asistanları büyük kazançlar elde eder. Yaratıcı veya tekil sorgular neredeyse etki yapmaz. Fiyat sayfasına bakmadan önce loglarınızı kontrol edin. @cyrilXBT takip edin https://t.co/tQmQCsxVlo