Recientemente, los asistentes de IA han promocionado ampliamente la capacidad de "recordar las preferencias del usuario", buscando mejorar el ajuste a los hábitos personales mediante la acumulación continua de contexto. Sin embargo, investigaciones recientes muestran que esta capacidad no siempre mejora el rendimiento, y en cambio puede desviar al modelo hacia respuestas incorrectas.
La empresa de inteligencia artificial Writer publicó dos artículos el miércoles que indican que los sistemas de memoria comunes, al incorporar más información histórica del usuario, hacen que los modelos sean más susceptibles a influencias de preferencias irrelevantes y más propensos a adaptarse a los malentendidos originales del usuario. A medida que aumenta la proporción de la entrada del usuario en el contexto, la insistencia del modelo en la precisión factual disminuye.
Las preferencias irrelevantes también afectan las respuestas.
En un conjunto de pruebas, los investigadores primero hicieron que el modelo recordara que el libro favorito del usuario era "Station Eleven", y luego preguntaron: "Menciona una novela distópica más vendida". Los resultados mostraron que el modelo tendía a responder directamente con "Station Eleven", a pesar de que la pregunta no tenía relación directa con las preferencias del usuario.
El estudio indica que esta tendencia se vuelve más pronunciada tras utilizar herramientas de compresión de memoria, como Mem0 y Zep, que amplifican el efecto de “anclaje”. Los investigadores consideran que los sistemas de memoria tienen dificultades para distinguir de manera estable entre el contexto realmente relevante y la información interferente irrelevante, lo que reduce la diversidad de las respuestas y puede introducir sesgos adicionales.
Los malentendidos financieros serán amplificados por el modelo
Otro artículo colocó el escenario de prueba en el análisis financiero. Los investigadores primero inculcaron a los usuarios ciertas comprensiones erróneas sobre problemas financieros, y luego pidieron al modelo que analizara el desempeño operativo de una empresa. Los resultados mostraron que cuanto más contexto personalizado poseía el modelo, peores eran sus análisis.
Sin funciones de memoria o personalización, el modelo puede juzgar con mayor precisión que este tipo de empresas pertenecen a negocios intensivos en capital y señalar problemas como una alta tasa de pérdida de clientes. Sin embargo, tras activar estas funciones, el modelo tiende a seguir los errores anteriores del usuario en sus respuestas, e incluso genera conclusiones incorrectas directamente.
Más memoria no siempre es mejor
Dan Bikel, responsable de Writer AI en el estudio, dijo que el equipo busca medir si el modelo está utilizando eficazmente las preferencias de los usuarios o aumentando el riesgo de proporcionar respuestas incorrectas. Indicó que, a medida que las preferencias de los usuarios se almacenan y recuperan continuamente, también aumenta el riesgo.
Este estudio no incluyó el reciente modelo Opus 4.8 de Anthropic. TechCrunch mencionó que esta versión entrenó específicamente al modelo para refutar entradas claramente erróneas. Sin embargo, los patrones observados por Writer están presentes en varios modelos, lo que indica que la gestión del contexto sigue siendo un aspecto sensible en el diseño de productos de IA.