Tus usuarios hacen la misma pregunta de 40 formas diferentes, y estás pagando a tu LLM para que responda cada una desde cero. “¿Cómo reinicio mi contraseña?” “Olvidé mi inicio de sesión, ayuda” “No puedo acceder a mi cuenta” Misma respuesta. Tres llamadas completas al modelo. La caché normal no puede detectar esto. Solo funciona cuando el texto coincide exactamente, carácter por carácter. La caché semántica coincide por SIGNIFICADO. Llega una pregunta. Se convierte en un embedding. La caché verifica si ya has respondido algo lo suficientemente similar. ¿Acertado? La respuesta guardada se devuelve al instante. Cero llamada al LLM. ¿Fallo? El modelo responde, y esa respuesta se guarda para la próxima vez. Redis ahora ofrece esto como un servicio administrado llamado LangCache. No necesitas desplegar ninguna base de datos adicional; TTL y eliminación se manejan por ti. Afirman que las coincidencias de caché son hasta 15 veces más rápidas y reducen significativamente tu factura de API. Pero aquí está la parte que nadie está publicando. El umbral de similitud es donde esto falla. Si lo estableces demasiado laxo, “¿cómo giro mi clave de API?” devuelve la respuesta para “¿cómo revoco mi clave de API?” Similar en significado. Resultados muy diferentes. Por lo tanto, empieza con un umbral estricto. Registra todas las coincidencias durante una semana. Relaja solo donde hayas verificado que las respuestas son realmente intercambiables. Tus ahorros dependen de cuán repetitivo es realmente tu tráfico. Los bots de soporte y los asistentes de documentación interna obtienen grandes beneficios. Las consultas creativas o únicas apenas mueven la aguja. Revisa tus registros antes de revisar la página de precios. Sigue a @cyrilXBT https://t.co/tQmQCsxVlo