Andrej Karpathy predice 10 años para que los LLMs logren el aprendizaje continuo

Recientemente hemos informado sobre varias startups e investigaciones enfocadas en el "aprendizaje continuo", como "Mind Lab lanza continuamente avances en LoRA: surge un nuevo paradigma para el aprendizaje continuo en modelos grandes", "¡Adiós a la cadena de KV Cache: comprimir el contexto largo en los pesos, ¿es posible el aprendizaje continuo en modelos grandes?", "ICML 2026 | ¡Rompemos los límites! La Universidad de Hong Kong presenta la primera arquitectura de aprendizaje continuo adaptada a más de 300 tareas, resolviendo el problema del olvido", "Que puede DeepSeek ¡Harness autoevolutivo! El autor de LlamaFactory lanza una nueva herramienta de código abierto: crear Agentes automáticamente por 0.2 yuanes. ¡Otro modelo nacional de código abierto cuando «hacerse más grande» ya no es el único camino!

Sí, bastante denso; "aprendizaje continuo" también está convirtiéndose en una de las palabras clave que más frecuentemente encontramos. Y detrás de esto también se revela un juicio repetidamente mencionado.

En octubre de 2025, Andrej Karpathy dijo en el podcast de Dwarkesh Patel: "Los modelos actuales no tienen aprendizaje continuo. No puedes decirles algo y esperar que lo recuerden". Consideró que corregir estas deficiencias cognitivas probablemente tomará aún una década. Dos meses después, en su resumen anual, incorporó esta afirmación en un contexto más amplio: el salto en las capacidades de los modelos en 2025 se debió principalmente al aprendizaje por refuerzo con recompensas verificables (RLVR), pero dentro de toda la pila de tecnología LLM, la memoria, la percepción multimodal, el aprendizaje continuo y la capacidad de operar computadoras siguen siendo deficiencias evidentes: "Tenemos prototipos, pero aún no tenemos agentes que puedan funcionar como colegas".

El aprendizaje continuo (Continual Learning, también conocido como aprendizaje permanente/Lifelong Learning) se convirtió así en uno de los conceptos más populares del último año.

Se refiere a que, después de su implementación, el modelo puede seguir absorbiendo nuevas tareas, nuevos conocimientos y nuevas experiencias, al igual que un ser humano, sin olvidar lo que ya ha aprendido.

Parece lógico, pero resulta extremadamente difícil, lo suficientemente difícil como para convertirse en el hueso más duro en el camino hacia un «compañero de trabajo de IA». Además, la serie de informes anteriores indica que este camino ya no es una sola dirección, sino múltiples rutas paralelas avanzando simultáneamente.

Durante este año, la academia y la industria han desarrollado varias líneas tecnológicas distintas sobre cómo hacer que los modelos «aprendan mientras se usan». Algunas añaden memoria externa al modelo, otras modifican continuamente los pesos, algunas reentrenan desde cero, y un grupo más reciente intenta redefinir el propio concepto de «aprendizaje». Este artículo busca desglosar cada una de estas direcciones, explicando claramente en qué apuesta cada camino y dónde se encuentra atascado.

El obstáculo central del aprendizaje continuo tiene un nombre específico: olvido catastrófico. El conocimiento de las redes neuronales se almacena en miles de millones de pesos; cuando se ajusta el modelo con nuevos datos y se actualizan estos pesos, el modelo a menudo reemplaza los parámetros que respaldan las habilidades anteriores mientras aprende nuevas tareas, lo que provoca una caída drástica en el rendimiento en las tareas que antes dominaba.

Diagrama del olvido catastrófico. Cuando una red neuronal profunda artificial se entrena secuencialmente en dos tareas, olvida rápidamente y completamente la primera tarea al entrenar la segunda.

Este fenómeno ya ha sido ampliamente estudiado en la era de los modelos pequeños, pero en los LLM surgen nuevos problemas. El benchmark TRACE, diseñado específicamente para evaluar el aprendizaje continuo en LLM, descubrió que realizar un ajuste continuo sobre un modelo ya alineado no solo hace que olvide tareas anteriores, sino que también deteriora sus capacidades generales y su capacidad para seguir instrucciones. En otras palabras, el costo de enseñarle al modelo algo nuevo podría ser que se vuelva menos inteligente en general y menos obediente.

Precisamente debido a que modificar directamente los pesos conlleva un riesgo tan grande, el «aprendizaje continuo» se dividió en varias escuelas. Su diferencia fundamental radica en que cada una tomó distintas decisiones sobre «si modificar o no los pesos» y «dónde almacenar el nuevo conocimiento».

La idea más directa y rápida de implementar es: no modificar los pesos del modelo en absoluto, sino almacenar el nuevo conocimiento en una base de datos externa al modelo y recuperarla como contexto cuando sea necesario. Esta vía ha evolucionado desde el RAG (Generación Reforzada por Recuperación) y ahora se ha convertido en un campo especializado: Memoria de Agentes.

El trabajo representativo es MemGPT (cuya empresa detrás ha cambiado su nombre a Letta). Compara la gestión del contexto del LLM con la gestión de memoria de un sistema operativo, distinguiendo entre un «contexto de trabajo» limitado y un «almacenamiento externo» más amplio, permitiendo que el modelo decida por sí mismo qué elementos cargar en el contexto y cuáles guardar en el archivo.

Siguiendo esta línea, varios sistemas tienen enfoques distintos: Mem0 se centra en el acceso a memoria a largo plazo, listo para producción y escalable; Zep añade un grafo de conocimiento temporal a la recuperación, para manejar razonamiento temporal entre sesiones; A-MEM se inspira en el método de fichas de notas (Zettelkasten), etiquetando cada memoria con metadatos estructurados y vinculándola automáticamente a entradas anteriores relacionadas, para que la recuperación sea más contextual.

Karpathy también ha apostado por esta dirección. Ha enfatizado repetidamente que, en el futuro, no se necesitará una memoria del tipo «disco duro más grande», sino un «núcleo cognitivo» (cognitive core) reducido (él estima que bastarían uno o dos B de parámetros) junto con una estructura de memoria externa que se auto-reinforce.

Sobre la base de esta idea, publicó en GitHub un modelo llamado «LLM Wiki»: en lugar de buscar bloques de texto originales con RAG en cada consulta, permite que el agente compile activamente la información en una base de conocimiento en constante actualización y interconectada, y luego consulte esa base.

El documento wiki de LLM de Karpathy ha recibido casi 45.000 stars y ha sido forkado más de 9.000 veces

Letta, por su parte, elevó este enfoque al planteamiento de «aprendizaje continuo en el espacio de tokens». Señalan que la práctica predeterminada hoy en día es «añadir primero, resumir después», es decir, acumular constantemente las experiencias originales hasta que el contexto se sature, para luego comprimirlo en un resumen. Esto tiene dos problemas: añadir desplaza todo el trabajo de representación hacia el momento de inferencia, requiriendo procesar nuevamente los registros originales en cada propagación hacia adelante; mientras que el resumen es con pérdida y abrupto, haciendo que los detalles importantes desaparezcan sin previo aviso. La apuesta de Letta es que, en el futuro, los recuerdos aprendidos en el espacio de tokens serán más valiosos que los propios pesos del modelo.

Las ventajas de este enfoque son la seguridad, el control y la explicabilidad; si se comete un error, se puede eliminar en cualquier momento. La desventaja es que, en esencia, no internaliza realmente el conocimiento en el modelo, y cada vez debe depender de la recuperación y el contexto como una puerta estrecha; cuando la base de memoria crece, la precisión y el costo de la recuperación se convierten en cuellos de botella.

Dar un paso más allá de la memoria externa es un enfoque más sofisticado: no modificar los pesos, sino hacer que el propio contexto de entrada del modelo evolucione continuamente. Esto se conoce como ingeniería de contexto (Context Engineering).

En octubre de 2025, ACE (Agentic Context Engineering), propuesto por Stanford, SambaNova y UC Berkeley, es un ejemplo representativo. Trata el contexto como un "manual de estrategias" que crece constantemente, mantenido por tres roles especializados: el Generator se encarga de generar trayectorias de razonamiento, el Reflector extrae experiencias concretas de los éxitos y fracasos, y el Curator organiza estas experiencias en actualizaciones incrementales estructuradas que se integran en el manual.

ACE busca resolver dos problemas comunes en métodos similares: primero, el "sesgo de brevedad" (brevity bias): cuando se pide al LLM reescribir el contexto repetidamente, tiende a comprimirlo y perder detalles del dominio; segundo, la "colapso de contexto" (context collapse): reescribir repetidamente hace que los detalles se pierdan gradualmente.

ACE evita estos dos puntos mediante actualizaciones incrementales (delta updates) en lugar de reescrituras completas. Según los datos del artículo, ACE mejora un 10,6 % en tareas de agentes y un 8,6 % en razonamiento financiero en comparación con las líneas base, al tiempo que reduce la latencia de adaptación en aproximadamente un 86,9 %; en la lista de AppWorld, con modelos de código abierto más pequeños DeepSeek -V3.1 junto con ACE, la puntuación promedio puede igualar al agente inteligente de producción basado en GPT-4.1 IBM CUGA.

Es importante destacar que ACE enfatiza que puede funcionar sin supervisión etiquetada; se guía mediante señales de retroalimentación naturalmente generadas durante la ejecución (como si el código se ejecuta correctamente o genera un error) para orientar la reflexión y la organización. Esto lo conecta con la narrativa más amplia de que "los agentes aprenden de su propia experiencia".

La memoria externa y la ingeniería de contexto evitan el riesgo de modificar los pesos, pero también evitan la internalización real del conocimiento. Otro grupo de investigadores sostiene que, a largo plazo, cierto conocimiento y habilidades finalmente deben incorporarse en los parámetros para ser útiles. Esto es el entrenamiento posterior continuo (Continual Post-training), que se divide principalmente en etapas como el ajuste continuo de instrucciones y la alineación continua de preferencias.

John Schulman de Thinking Machines ofreció una visión jerárquica: comparó el aprendizaje con categorías de la psicología como el aprendizaje motor, la memoria episódica y la memoria procedimental, y sostuvo que el aprendizaje por contexto maneja bien tareas de aprendizaje a corto plazo, mientras que el ajuste fino de parámetros (incluyendo métodos como LoRA) se superpone, siendo especialmente adecuado para tareas que requieren mayor capacidad y una absorción real del conocimiento: cuando el tiempo se extiende y el aprendizaje por contexto ya no es suficiente, el ajuste fino de parámetros prevalece.

El mayor enemigo de esta ruta sigue siendo el olvido catastrófico, y una solución interesante reciente proviene de Tinker de Thinking Machines.

Tinker es su primer producto, lanzado en octubre de 2025, una API de ajuste basada en LoRA que abstracta la complejidad del entrenamiento distribuido, exponiendo solo primitivas de bajo nivel como forward_backward y optim_step, para que los investigadores se centren en los datos y los algoritmos.

En cuanto al aprendizaje continuo, promueven una receta llamada Self-Distillation Fine-Tuning (SDFT): la idea central es que el ajuste supervisado convencional es "off-policy", lo que obliga al modelo a imitar tokens que él mismo nunca generarías, haciendo que cada nueva habilidad aprendida erosionen las anteriores; SDFT hace que el modelo actúe como su propio maestro, aprendiendo nuevas habilidades a partir de示范 sin olvidar las anteriores. Una empresa emergente llamada Trajectory ya ha adoptado Tinker como infraestructura central de su plataforma de aprendizaje continuo.

Por cierto, usar LoRA en lugar de un ajuste completo tiene otra ventaja práctica: múltiples tareas de ajuste pueden compartir el mismo grupo de recursos de cómputo, distribuyendo los costos. Esto explica por qué «aprendizaje continuo como servicio» está convirtiéndose en un negocio: convertir actualizaciones frecuentes del modelo en una API disponible bajo demanda es precisamente la dirección que la industria está explorando actualmente.

Si el post-entrenamiento implica intervenir en la «superficie» del modelo, entonces el preentrenamiento continuo (Continual Pre-training, CPT) vuelve a la base más profunda, continuando el preentrenamiento del modelo con nuevos corpus para adaptarlo a nuevos dominios, nuevos idiomas o distribuciones de conocimiento que cambian con el tiempo. En comparación con mezclar los datos antiguos y nuevos para reentrenar desde cero, el CPT se basa en el modelo existente y es mucho más eficiente en términos de poder computacional.

Sus usos típicos son tres: desplazamiento del conocimiento con el tiempo, expansión entre idiomas y adaptación entre dominios. Pero el costo es igualmente claro: múltiples estudios empíricos han demostrado repetidamente que el preentrenamiento continuo tiene un alto costo computacional y容易引发对已学知识的灾难性遗忘。也因此，学界一直在找「免重放、免任务标注」的持续预训练方法，试图在 LLM 规模上做到不遗忘。

Para la mayoría de las empresas, el costo de volver a preentrenar desde cero un modelo de vanguardia es tan alto que resulta irrealizable, lo que explica la afirmación de Karpathy de que «los modelos grandes no son adecuados para reentrenamientos frecuentes». Por lo tanto, el «reentrenamiento» en sentido estricto es más bien una opción interna de los laboratorios de vanguardia, mientras que la preentrenamiento continuo representa un compromiso más factible.

Los cuatro enfoques anteriores aún giran en gran medida dentro del marco binario de "hack vs. ajuste de pesos". Sin embargo, un conjunto de nuevos trabajos surgidos en el último año intentan salir de este marco y redefinir el aprendizaje mismo.

Una idea es hacer que el modelo genere sus propios datos de entrenamiento y decida cómo actualizarse.

El SEAL (Self-Adapting Language Models) del MIT es un ejemplo típico. Dado una nueva entrada, el modelo genera una instrucción de «autoedición»; se trata de una instrucción en lenguaje natural que especifica cómo reestructurar la información, qué hiperparámetros utilizar para actualizar los pesos e incluso qué herramientas llamar para realizar el aumento de datos; luego, el modelo se finetunea según esta instrucción, generando actualizaciones de pesos duraderas. La cuestión de «qué tipo de autoedición es efectiva» se entrena mediante un bucle externo de aprendizaje por refuerzo, donde la señal de recompensa es el rendimiento del modelo actualizado en tareas secundarias.

La versión de NeurIPS 2025 demuestra aún más que esta capacidad adaptativa mejora con el aumento del tamaño del modelo y mitiga el olvido mediante aprendizaje por refuerzo. Sus autores vislumbran un modelo capaz de decidir durante la inferencia si "debería aprender ahora", transformando la destilación de cadenas de pensamiento momentáneas en habilidades permanentes.

Otra idea más agresiva proviene del Aprendizaje Anidado de Google, publicado en NeurIPS 2025. Su núcleo consiste en redefinir un modelo como un conjunto de problemas de optimización anidados, multilayer y cada uno con sus propios «flujos de contexto» y frecuencias de actualización distintas: la arquitectura y el algoritmo de optimización se unifican en este enfoque como distintos niveles de lo mismo.

Como prueba de concepto, desarrollaron una arquitectura autorevisable llamada Hope, que extiende la arquitectura de memoria a largo plazo Titans en dos aspectos: niveles de aprendizaje anidados sin límite y un sistema de memoria continua (CMS). En términos simples, ya no se trata solo de una dicotomía entre memoria a corto y largo plazo, sino de una serie completa de módulos de memoria que se actualizan a través de escalas temporales.

En experimentos, Hope supera a los Transformers estándar y a los modelos recurrentes modernos en tareas de modelado de lenguaje, razonamiento con contexto largo y aprendizaje continuo. Es interesante que trabajos posteriores hayan introducido una fase de «sueño» en esta arquitectura: al igual que los humanos consolidan la memoria durante el sueño, el modelo dedica capacidad de cómputo entre conversaciones activas para destilar abstracciones útiles en una memoria de parámetros más persistente.

Más allá, se encuentra la narrativa del "Era of Experience" propuesta por David Silver y Richard Sutton.

Su juicio es que en campos clave como las matemáticas, la programación y la ciencia, el conocimiento que se puede extraer de los datos humanos se está acercando a su límite; para avanzar más, es necesario que la IA aprenda continuamente a partir de sus propias experiencias generadas por la interacción con el entorno, formando un ciclo cerrado de autoabastecimiento de datos. Consideran que AlphaProof de DeepMind en 2024 (que ganó una medalla en la IMO mediante «interacción continua con sistemas de prueba formal») marca el inicio de esta era. Esta narrativa vincula el aprendizaje continuo, el aprendizaje por refuerzo y la exploración autónoma de agentes, pero también plantea una pregunta aún sin resolver: ¿quién diseñará las funciones de recompensa que convierten las señales crudas en orientaciones útiles?

Además, existe una dirección vecina que a menudo se confunde con el aprendizaje continuo, pero tiene un objetivo diferente: la edición de conocimiento (Knowledge Editing). Representada por ROME y MEMIT, esta técnica localiza y modifica las capas MLP que almacenan hechos específicos para realizar actualizaciones precisas de uno o varios hechos sin necesidad de reentrenar el modelo por completo. Sin embargo, su objetivo difiere del aprendizaje continuo: la edición de conocimiento busca reemplazar exactamente un hecho específico; en escenarios de edición continua y permanente, los cambios repetidos en los parámetros se interfieren entre sí y acumulan gradualmente una «toxicidad» que lleva a la colapso del modelo, lo que ha impulsado el desarrollo de métodos especializados como WISE y AlphaEdit para abordar la edición secuencial.

Al observar estos enfoques juntos, se puede ver que en realidad están alineados a lo largo de un eje de «dónde existe el conocimiento».

El más externo es el recuerdo externo y la ingeniería de contexto, donde el conocimiento existe completamente fuera del modelo, en el espacio de tokens, seguro y controlable pero no internalizado; en el medio están el entrenamiento continuo posterior y el entrenamiento continuo previo, donde el conocimiento se escribe en los pesos, ofreciendo un límite de capacidad más alto pero enfrentándose directamente al olvido catastrófico; el más interno y también el más avanzado son las nuevas ideas que buscan permitir que el modelo se modifique y se evolucione a sí mismo, intentando hacer que el acto de «aprender» se convierta en parte misma de la capacidad del modelo.

Una observación pragmática es que estos enfoques probablemente no sean mutuamente excluyentes, sino que trabajarán en capas de colaboración. La visión de Schulman sobre el aprendizaje jerárquico y la propuesta de Karpathy del «núcleo cognitivo + memoria externa» esencialmente dicen lo mismo: los conocimientos cortos y cambiantes se delegan al contexto y a la memoria externa, mientras que las capacidades a largo plazo que requieren consolidación se asignan al ajuste fino de parámetros, cada uno cumpliendo su función. Que ACE pueda evolucionar sin supervisión mediante retroalimentación de ejecución, y que SEAL utilice aprendizaje por refuerzo para optimizar la autoedición, sugiere una tendencia común: el aprendizaje continuo futuro probablemente permitirá que el modelo mismo dirija «qué aprender y cómo aprender».

Entonces, volviendo al juicio de Karpathy de que «aún faltan diez años», ¿ha resuelto el aprendizaje continuo este problema? La respuesta probablemente es: aún no, pero ya no es un vacío absoluto. El obstáculo central del olvido catastrófico aún no se ha superado por completo; métodos como SDFT y el aprendizaje anidado solo logran «aliviarlo», no «eliminarlo». ¿Podrá resolverse el aprendizaje continuo únicamente con una mejor gestión del contexto y ajuste fino, o se necesitan ideas completamente nuevas? Esta pregunta más fundamental, incluso Schulman admite que aún no tiene una respuesta definitiva.

Lo que es seguro es que entre 2025 y 2026, el aprendizaje continuo pasó de ser una «capacidad ausente» repetidamente mencionada a convertirse en un campo activo con múltiples rutas y empresas emergentes desarrollando productos. Vale la pena seguir observando qué ruta logrará primero convertir al «compañero de IA» de un prototipo en realidad.

Enlace de referencia

https://www.lesswrong.com/posts/qBsj6HswdmP6ahaGB/andrej-karpathy-on-llm-cognitive-deficits

https://karpathy.bearblog.dev/year-in-review-2025/

https://www.letta.com/blog/continual-learning/

https://arxiv.org/abs/2510.04618

https://arxiv.org/abs/2402.01364

https://thinkingmachines.ai/tinker/

https://arxiv.org/pdf/2604.05096

https://arxiv.org/pdf/2606.03979

Este artículo proviene del número de WeChat "Machine Heart" (ID: almosthuman2014), autor: Machine Heart en aprendizaje continuo, editor: Panda