Người dùng của bạn đang hỏi cùng một câu hỏi theo 40 cách khác nhau, và bạn đang trả tiền cho LLM để trả lời từng câu một từ đầu. “Làm thế nào để tôi đặt lại mật khẩu?” “Quên mật khẩu đăng nhập, giúp tôi” “Không thể đăng nhập vào tài khoản” Cùng một câu trả lời. Ba lần gọi mô hình đầy đủ. Bộ nhớ đệm thông thường không thể bắt được điều này. Nó chỉ hoạt động khi văn bản trùng khớp hoàn toàn, ký tự với ký tự. Bộ nhớ đệm ngữ nghĩa khớp dựa trên NGHĨA. Một câu hỏi được đưa vào. Nó được chuyển thành một embedding. Bộ nhớ đệm kiểm tra xem bạn đã từng trả lời câu tương tự chưa. Trúng? Câu trả lời đã lưu sẽ được trả về ngay lập tức. Không cần gọi LLM nào. Trượt? Mô hình sẽ trả lời, và câu trả lời đó sẽ được lưu lại cho lần sau. Redis hiện đang cung cấp dịch vụ quản lý này dưới tên LangCache. Không cần triển khai cơ sở dữ liệu bổ sung, TTL và xóa tự động được xử lý cho bạn. Họ tuyên bố bộ nhớ đệm trúng nhanh hơn tới 15 lần và giảm đáng kể hóa đơn API của bạn. Nhưng đây là phần mà không ai đang đăng tải. Ngưỡng tương đồng là nơi mọi thứ có thể bị phá vỡ. Đặt quá lỏng và “làm thế nào để xoay khóa API” sẽ trả về câu trả lời cho “làm thế nào để thu hồi khóa API.” Ý nghĩa gần giống nhau. Kết quả hoàn toàn khác biệt. Vì vậy, hãy bắt đầu với mức chặt chẽ. Ghi lại mọi lần trúng trong một tuần. Chỉ nới lỏng khi bạn đã kiểm tra và xác nhận các câu trả lời thực sự có thể thay thế cho nhau. Số tiền bạn tiết kiệm phụ thuộc vào mức độ lặp lại thực sự của lưu lượng truy cập. Bot hỗ trợ và trợ lý tài liệu nội bộ sẽ thu lợi lớn nhất. Các truy vấn sáng tạo hoặc đơn lẻ gần như không ảnh hưởng gì. Hãy kiểm tra nhật ký của bạn trước khi xem trang giá. theo dõi @cyrilXBT https://t.co/tQmQCsxVlo