Seus usuários estão fazendo a mesma pergunta de 40 maneiras diferentes, e você está pagando seu LLM para responder cada uma delas do zero. “Como reiniciar minha senha?” “Esqueci meu login, ajuda” “Não consigo acessar minha conta” Mesma resposta. Três chamadas completas ao modelo. O cache normal não consegue capturar isso. Ele só funciona quando o texto corresponde exatamente, caractere por caractere. O cache semântico reconhece pelo SIGNIFICADO. Uma pergunta chega. Ela é convertida em um embedding. O cache verifica se você já respondeu algo suficientemente parecido. Acerto? A resposta salva é retornada instantaneamente. Zero chamada ao LLM. Erro? O modelo responde, e essa resposta é salva para a próxima vez. O Redis agora oferece isso como um serviço gerenciado chamado LangCache. Nenhum banco de dados adicional para implantar, TTL e evicção gerenciados para você. Eles afirmam que os acertos de cache são até 15 vezes mais rápidos e reduzem significativamente sua conta de API. Mas aqui está a parte que ninguém está comentando. O limiar de similaridade é onde isso falha. Defina-o muito liberal e “como faço para rotacionar minha chave API” retorna a resposta para “como faço para revogar minha chave API”. Semelhante em significado. Resultados muito diferentes. Comece rigoroso. Registre todos os acertos por uma semana. Apenas relaxe onde você verificou que as respostas são realmente intercambiáveis. Suas economias dependem de quão repetitivo é realmente seu tráfego. Bots de suporte e assistentes de documentos internos se beneficiam enormemente. Consultas criativas ou únicas mal se movem. Verifique seus logs antes de verificar a página de preços. Siga @cyrilXBT https://t.co/tQmQCsxVlo