Ваші користувачі задають одне й те саме питання 40 різними способами, а ви платите своєму LLM, щоб він відповідав на кожне з них з нуля. «Як скинути пароль?» «Забув свій логін, допоможіть» «Не можу увійти в акаунт» Одна й та ж відповідь. Три повні виклики моделі. Звичайне кешування не може впіймати це. Воно працює лише тоді, коли текст збігається точно, символ за символом. Семантичне кешування працює за змістом. Приходить запит. Він перетворюється на векторне представлення. Кеш перевіряє, чи вже відповідали на щось досить схоже. Попадання? Збережена відповідь повертається миттєво. Жодного виклику LLM. Промах? Модель відповідає, і ця відповідь зберігається на майбутнє. Redis тепер пропонує це як управлений сервіс під назвою LangCache. Немає потреби розгортати додаткову базу даних — TTL та видалення обробляються за вас. Вони стверджують, що кеш-попадання працюють у 15 разів швидше і значно зменшують ваші витрати на API. Але ось частина, про яку ніхто не пише. Поріг подібності — це місце, де все ламається. Задайте його занадто м’яким — і «як змінити ключ API» поверне відповідь на «як скасувати ключ API». Схоже за змістом. Дуже різні наслідки. Тож почніть з жорсткого порогу. Протягом тижня логуйте кожне попадання. Заслаблюйте його лише там, де ви перевірили, що відповіді дійсно взаємозамінні. Ваша економія залежить від того, наскільки повторюваною є ваша трафік. Боти підтримки та асистенти для внутрішніх документів отримують найбільшу вигоду. Творчі або унікальні запити майже не впливають. Перевірте свої логи, перш ніж дивитися на ціни. follow @cyrilXBT https://t.co/tQmQCsxVlo