Ваши пользователи задают один и тот же вопрос 40 раз разными способами, а вы платите своему LLM, чтобы он каждый раз отвечал с нуля. «Как сбросить пароль?» «Забыл логин, помогите» «Не могу войти в аккаунт» Один и тот же ответ. Три полных вызова модели. Обычное кэширование не справляется с этим — оно работает только при точном совпадении текста, символ в символ. Семантическое кэширование работает по смыслу. Приходит вопрос — он преобразуется в эмбеддинг. Кэш проверяет, отвечали ли вы уже на что-то достаточно похожее. Попадание? Сохранённый ответ возвращается мгновенно. Никакого вызова LLM. Промах? Модель отвечает, и этот ответ сохраняется на будущее. Redis теперь предоставляет это как управляемый сервис под названием LangCache. Нет необходимости развертывать дополнительную базу данных — TTL и удаление устаревших записей обрабатываются автоматически. Они утверждают, что кэш-попадания происходят в 15 раз быстрее, а ваши расходы на API значительно снижаются. Но вот часть, о которой никто не пишет. Порог схожести — это то место, где всё ломается. Сделайте его слишком мягким — и «как мне сменить ключ API» вернёт ответ на «как мне отозвать ключ API». Похоже по смыслу. Но совершенно разный результат. Начните с жёстких настроек. Ведите лог всех попаданий в течение недели. Ослабляйте порог только там, где вы проверили, что ответы действительно взаимозаменяемы. Ваши сбережения зависят от того, насколько повторяющимся является ваш трафик. Боты поддержки и помощники для внутренней документации выигрывают огромно. Творческие или единичные запросы почти не влияют. Проверьте свои логи, прежде чем смотреть на страницу цен.