আপনার ব্যবহারকারীরা একই প্রশ্নকে ৪০টি ভিন্ন উপায়ে জিজ্ঞাসা করছে, এবং আপনি প্রতিটি একটি করে নতুন করে LLM-এর উত্তর দিতে পেমেন্ট করছেন। "আমি কিভাবে আমার পাসওয়ার্ড রিসেট করব?" "লগইন ভুলে গেছি, সাহায্য করুন" "আমি আমার অ্যাকাউন্টে প্রবেশ করতে পারছি না" একই উত্তর। তিনটি পূর্ণাঙ্গ মডেল কল। সাধারণ ক্যাশিং এটি ধরতে পারে না। এটি শুধুমাত্র তখনই কাজ করে যখন টেক্সটটি অক্ষরে অক্ষরে সম্পূর্ণভাবে মিলে যায়। সেমান্টিক ক্যাশিং অর্থের উপর ভিত্তি করে মিল খুঁজে। একটি প্রশ্ন আসে। এটি একটি এমবেডিং-এ রূপান্তরিত হয়। ক্যাশেটি চেক করে যে আপনি আগেই কোনও প্রায় একইভাবে উত্তর দিয়েছেন কিনা। হিট? সংরক্ষিত উত্তরটি তৎক্ষণাৎ ফিরিয়ে দেওয়া হয়। LLM-এর কোনও কল হয়না। মিস? মডেলটি উত্তর দেয়,এবং পরবর্তীবারের জন্য সেই উত্তরটি সংরক্ষণ করা হয়। এখন Redis-এর LangCache নামেএকটি ম্যানেজডসার্ভিসহিসাবেএটিকেচালায়।অতিরিক্তডাটাবেসডিপ্লয়করারপ্রয়োজনহয়না, TTLএবং evictionsআপনারজন্যহ্যান্ডলকরাহয়। তারা ১৫x-এরওবেশিক্যাশহিটএবংআপনারAPIবিলএবড়হ্রাসেরদাবিরখায়। কিন্তুএখানেসবকিছুঅদৃশ্যহয়েগেছে। সমানতা-এরথ্রেশহোল্ডইহারভাঙ্গনেরস্থান। এটিকেখুবঅস্পষ্টকরলে"আমিকিভাবেআমারAPIকিচালুকরব"প্রশ্নটি"আমিকিভাবেআমারAPIকিবাতিলকরব"এরউত্তরদেয়। অর্থগতভাবেনিকট।অত্যন্তভিন্নফলাফল। তাইশুরুকরুনস্ট্রিকটলি।একসপ্তাহজন্যপ্রতিটিহিটলগকরুন।শুধুমাত্রসেইজায়গাগুলিতেইঅস্পষ্টকরুনযেখানেআপনিপরীক্ষাকরেছেনযেউত্তরগুলিআসলেঅদলবদলযোগ্য। আপনারসেভিংসআপনারট্রাফিকযতটা repetitivethat-এরউপরনির্ভরকরে।সাপোর্টবটএবংইনটারনালডকসঅসিসট্যান্টদলগুলিঅনেকবড়জয়পায়।সৃজনশীলবাএকবারমাত্রপ্রশ্নগুলিপ্রায়কোনওপরিবর্তনকরেনা। মূল্যপৃষ্ঠা-এযাওয়ারআগেআপনারলগসচেককরুন। @ cyrilXBT-এফলোউকরুন https://t.co/tQmQCsxVlo