Hacer algo más pequeño y mejor al mismo tiempo parece una violación de la física básica. Pero investigadores de la Universidad de Edimburgo, en colaboración con NVIDIA, lo han logrado con modelos de lenguaje grandes. Su técnica, llamada Esparsificación Dinámica de Memoria (DMS), comprime una pieza crítica de la infraestructura de IA en 8 veces, mientras logra que los modelos obtengan puntuaciones más altas en evaluaciones difíciles.
Si los modelos de IA pueden funcionar tan bien o mejor con una fracción de la memoria, se abre la puerta para implementar capacidades de razonamiento serias en dispositivos que actualmente no pueden manejarlas, incluyendo wearables, hardware para hogares inteligentes y dispositivos de borde.
Cómo funciona realmente DMS
Para comprender el avance, debes conocer el caché de clave-valor (KV). Cuando un modelo de IA razona a través de un problema, almacena resultados intermedios en este caché, esencialmente una memoria de trabajo que permite al modelo seguir su propio proceso de pensamiento. Cuanto más larga y compleja sea la cadena de razonamiento, más grande se vuelve ese caché y más recursos computacionales requiere.
DMS utiliza un bisturí en este proceso. En lugar de mantener todos los tokens en la memoria caché, retiene selectivamente solo los más importantes y descarta el resto. El resultado es una caché KV comprimida a un octavo de su tamaño original. Al eliminar el ruido, los modelos pueden explorar rutas de razonamiento más profundas e intrincadas dentro del mismo presupuesto computacional.
Los resultados de la prueba de referencia
En AIME 24, un examen de calificación para la olimpiada de matemáticas, los modelos comprimidos utilizando DMS obtuvieron un promedio de 12 puntos más que sus contrapartes no comprimidas.
En GPQA Diamond, un conjunto de evaluación construido a partir de problemas científicos de nivel de posgrado en física, química y biología, los modelos comprimidos con DMS obtuvieron puntuaciones 8 puntos más altas en promedio.
En LiveCode Bench, que evalúa la capacidad de programación práctica, los modelos comprimidos obtuvieron 10 puntos más que sus equivalentes con caché completa al leer la misma cantidad de datos de caché KV.
El investigador principal, Dr. Edoardo Ponti, resumió el doble beneficio de forma sencilla.
Los modelos pueden razonar más rápido pero con la misma calidad.
Dentro de un intervalo de tiempo fijo, un LLM que utiliza DMS puede explorar más hilos de razonamiento y llegar a conclusiones más sólidas.
Una tendencia más larga, acelerándose
El campo de la IA ha perseguido la eficiencia de los modelos desde mediados de la década de 2010, cuando técnicas como la distilación del conocimiento, el recorte y la cuantización comenzaron a demostrar que los modelos más pequeños podían competir con los más grandes en tareas específicas. Lo que DMS aporta a esta línea es un enfoque en la memoria durante la inferencia, los recursos consumidos no cuando se entrena un modelo, sino cuando se utiliza realmente. Reducir la memoria de inferencia en 8x significa que cada implementación se vuelve drásticamente más barata de ejecutar.
La investigación se presentó en la conferencia NeurIPS y se detalló en un artículo titulado “Inference-Time Hyper-Scaling with KV Cache Compression”. Las evaluaciones se realizaron utilizando los modelos Llama y Qwen.