Pengguna Anda mengajukan pertanyaan yang sama dalam 40 cara berbeda, dan Anda membayar LLM Anda untuk menjawab setiap satu dari awal. “Bagaimana cara mereset kata sandi saya?” “Lupa login saya, tolong” “Tidak bisa masuk ke akun saya” Jawaban yang sama. Tiga panggilan model penuh. Pengodean biasa tidak bisa menangkap ini. Itu hanya berfungsi ketika teksnya persis sama, karakter demi karakter. Pengodean semantik mencocokkan berdasarkan MAKNA. Sebuah pertanyaan masuk. Ia diubah menjadi embedding. Cache memeriksa apakah Anda sudah pernah menjawab sesuatu yang cukup mirip. Kena? Jawaban yang tersimpan dikembalikan langsung. Tidak ada panggilan LLM sama sekali. Ketinggalan? Model menjawab, dan jawaban itu disimpan untuk waktu berikutnya. Redis sekarang menjalankan ini sebagai layanan terkelola bernama LangCache. Tidak perlu menyiapkan database tambahan, TTL dan eviksi ditangani untuk Anda. Mereka mengklaim cache hit hingga 15x lebih cepat dan pengurangan besar pada tagihan API Anda. Tapi ini bagian yang tidak dibahas siapa pun. Ambang kesamaan adalah tempat ini gagal. Atur terlalu longgar dan “bagaimana cara mengganti kunci API saya” akan mengembalikan jawaban untuk “bagaimana cara mencabut kunci API saya.” Mirip dalam makna. Hasilnya sangat berbeda. Jadi mulailah ketat. Log setiap hit selama seminggu. Longgarkan hanya di mana Anda telah memeriksa bahwa jawabannya benar-benar dapat saling ditukar. Tabungan Anda bergantung pada seberapa berulang lalu lintas Anda sebenarnya. Bot dukungan dan asisten dokumen internal menang besar. Pertanyaan kreatif atau satu kali hampir tidak berpengaruh. Periksa log Anda sebelum memeriksa halaman harga. ikuti @cyrilXBT https://t.co/tQmQCsxVlo