Pengguna anda menanyakan soalan yang sama dengan 40 cara berbeza, dan anda membayar LLM anda untuk menjawab setiap satu daripada awal. “Bagaimana saya menetapkan semula kata laluan saya?” “Lupa log masuk, tolong” “Tidak boleh masuk ke akaun saya” Jawapan yang sama. Tiga panggilan model penuh. Pengurangan biasa tidak dapat menangkap ini. Ia hanya berfungsi apabila teksnya sepadan tepat, aksara demi aksara. Pengurangan semantik menyesuaikan berdasarkan MAKNA. Satu soalan masuk. Ia diubah menjadi penghimpunan. Kekunci memeriksa sama ada anda sudah menjawab sesuatu yang cukup hampir. Berjaya? Jawapan yang disimpan dikembalikan segera. Tiada panggilan LLM. Gagal? Model menjawab, dan jawapan itu disimpan untuk masa depan. Redis kini menjalankan ini sebagai perkhidmatan terurus bernama LangCache. Tiada pangkalan data tambahan yang perlu dilaksanakan, TTL dan peminggiran ditangani untuk anda. Mereka mengklaim kejayaan pengurangan sehingga 15 kali lebih pantas dan pengurangan besar dalam bil API anda. Tetapi inilah bahagian yang tiada siapa yang memposting. Tahap kesamaan adalah tempat di mana ini gagal. Tetapkan terlalu longgar dan “bagaimana saya putar semula kekunci API saya” akan mengembalikan jawapan untuk “bagaimana saya cabut kekunci API saya.” Maknanya hampir. Kesudahannya sangat berbeza. Jadi mulakan dengan ketat. Log setiap kejayaan selama seminggu. Longgarkan hanya di mana anda telah memeriksa bahawa jawapan-jawapan itu benar-benar boleh saling ditukar. Simpanan anda bergantung pada seberapa berulang lalu lintas anda sebenarnya. Bot sokongan dan pembantu dokumen dalaman menang besar. Soalan kreatif atau satu kali hampir tidak berubah. Periksa log anda sebelum memeriksa halaman harga. ikuti @cyrilXBT https://t.co/tQmQCsxVlo