Andrej Karpathy prevê 10 anos para que os LLMs alcancem o aprendizado contínuo

Recentemente, relatamos várias startups e pesquisas direcionadas ao campo do "aprendizado contínuo", como "Mind Lab lança continuamente avanços no LoRA, surgindo novo paradigma para aprendizado contínuo em grandes modelos", "Despedindo-se da corrente do KV Cache, comprimindo o contexto longo nos pesos, o aprendizado contínuo em grandes modelos está se tornando viável?", "ICML 2026 | Quebrando limites! Universidade de Hong Kong propõe a primeira arquitetura de aprendizado contínuo adaptável a mais de 300 tarefas, resolvendo o problema do esquecimento", "Capaz de DeepSeek A Harness que se autoevolui! O autor do LlamaFactory lança nova ferramenta de código aberto: crie Agentes automaticamente por 0,2 yuan. >>> Quando “ficar maior” não é mais o único caminho, mais um modelo nacional é lançado como código aberto.

Sim, bastante intenso; "aprendizado contínuo" também está se tornando uma das palavras-chave mais frequentemente encontradas. E isso por trás revela um julgamento repetidamente mencionado.

Em outubro de 2025, Andrej Karpathy disse no podcast de Dwarkesh Patel: "Os grandes modelos atuais 'não possuem aprendizado contínuo. Você não pode dizer a eles algo e esperar que lembrem'". Ele acredita que corrigir essas deficiências cognitivas ainda levará cerca de dez anos. Dois meses depois, em sua análise anual, ele inseriu essa frase em um contexto maior: a evolução das capacidades dos modelos em 2025 veio principalmente do aprendizado por reforço com recompensas verificáveis (RLVR), mas na pilha tecnológica de LLMs, memória, percepção multimodal, aprendizado contínuo e capacidade de operar computadores ainda são fraquezas evidentes: "Temos protótipos, mas ainda não temos agentes que possam ser usados como colegas".

O aprendizado contínuo (Continual Learning, também conhecido como aprendizado ao longo da vida/Lifelong Learning) tornou-se um dos conceitos mais quentes do último ano.

Refere-se ao fato de que, após a implantação, o modelo ainda consegue continuar absorvendo novas tarefas, novos conhecimentos e novas experiências, sem esquecer o que já aprendeu anteriormente.

Parece óbvio, mas na prática é extremamente difícil — tão difícil que se torna o osso mais duro no caminho rumo ao “colega de IA”. E a série de reportagens acima também mostra que esse caminho já não é apenas uma direção, mas várias rotas paralelas avançando ao mesmo tempo.

Ao longo deste ano, a academia e a indústria desenvolveram várias linhas técnicas distintas em torno da ideia de fazer com que os modelos "aprendam enquanto usam". Algumas adicionam memória externa ao modelo, outras modificam continuamente os pesos, algumas reparamentam completamente o pré-treinamento, e uma nova leva de abordagens tenta redefinir o próprio conceito de "aprendizado". Este artigo busca expor cada uma dessas direções, esclarecendo o que cada caminho está apostando e onde está enfrentando obstáculos.

O principal obstáculo para o aprendizado contínuo tem um nome específico: esquecimento catastrófico. O conhecimento das redes neurais é armazenado em bilhões de pesos; ao ajustar finamente o modelo com novos dados e atualizar esses pesos, o modelo frequentemente substitui os parâmetros responsáveis pelas habilidades antigas enquanto aprende novas tarefas, resultando em uma queda acentuada no desempenho nas tarefas anteriormente bem-sucedidas.

Ilustração do esquecimento catastrófico. Quando redes neurais artificiais profundas são treinadas sequencialmente em duas tarefas, elas esquecem rapidamente e completamente a primeira tarefa ao treinar a segunda.

Esse fenômeno já foi amplamente estudado na era dos modelos pequenos, mas trouxe novos desafios quando aplicado aos LLMs. O benchmark TRACE, especificamente projetado para avaliar o aprendizado contínuo em LLMs, descobriu que fazer fine-tuning contínuo em um modelo já alinhado não apenas faz com que ele esqueça tarefas antigas, mas também prejudica suas habilidades gerais e sua capacidade de seguir instruções. Em outras palavras, o custo de ensinar ao modelo algo novo pode ser que ele fique geralmente menos inteligente e menos obediente.

Justamente por causa do risco tão alto de alterar diretamente os pesos, o "aprendizado contínuo" se dividiu em várias escolas. Sua divergência fundamental reside na escolha diferente feita entre "alterar ou não os pesos" e "onde armazenar o novo conhecimento".

A abordagem mais direta e rápida de implementar é: simplesmente não alterar os pesos do modelo, armazenando o novo conhecimento em um banco de dados externo ao modelo e recuperando-o no contexto quando necessário. Essa linha de pensamento evoluiu a partir do RAG (Retrieval-Augmented Generation) e agora se tornou um campo especializado: Memória de Agentes (Agent Memory).

O trabalho representativo é o MemGPT (cuja empresa por trás dele agora se chama Letta). Ele compara o gerenciamento de contexto do LLM ao gerenciamento de memória de um sistema operacional, distinguindo entre um "contexto de trabalho" limitado e um "armazenamento externo" maior, permitindo que o modelo decida sozinho, como um sistema operacional que agenda memória, o que deve ser trazido para o contexto e o que deve ser gravado em arquivo.

Seguindo essa linha, uma série de sistemas tem focos distintos: o Mem0 destaca-se no armazenamento e acesso de memória de longo prazo, produzível e escalável; o Zep adiciona um grafo de conhecimento temporal à recuperação, para lidar com raciocínio temporal entre sessões; o A-MEM inspira-se no método de fichas (Zettelkasten), atribuindo rótulos estruturados a cada memória e associando automaticamente a entradas antigas relacionadas, tornando a recuperação mais alinhada ao contexto.

Karpathy também apostou nessa direção. Ele enfatizou repetidamente que, no futuro, não será necessário um armazenamento do tipo "disco rígido maior", mas sim um "núcleo cognitivo" enxuto (cognitive core — ele estima que bastem um ou dois B de parâmetros) junto com uma estrutura de memória externa que se auto-replicue.

Com base nessa ideia, ele publicou no GitHub um modelo chamado "LLM Wiki": em vez de buscar blocos de texto originais com RAG a cada consulta, o agente ativamente compila os dados em uma base de conhecimento contínua e interligada, que é consultada posteriormente.

O documento wiki do LLM de Karpathy já recebeu quase 45 mil stars e foi forkado mais de 9 mil vezes

Letta, por sua vez, elevou esse conjunto de ideias à proposição de “aprendizado contínuo no espaço de tokens”. Eles apontam que a prática padrão atual é “adicionar primeiro, resumir depois”, ou seja, acumular continuamente as experiências originais até transbordar o contexto, e então comprimi-las em um resumo — o que apresenta dois problemas: adicionar tudo empurra todo o trabalho de representação para o momento da inferência, exigindo que os logs originais sejam processados novamente em cada passagem direta; já o resumo é perdedor e abrupto, fazendo com que detalhes importantes desapareçam sem aviso prévio. A aposta da Letta é que, no futuro, as memórias aprendidas no espaço de tokens terão mais valor do que os próprios pesos do modelo.

As vantagens dessa abordagem são segurança, controle e explicabilidade; erros podem ser excluídos a qualquer momento. As desvantagens são que, em essência, ela não internaliza realmente o conhecimento no modelo, exigindo sempre a passagem pela porta estreita da busca e do contexto; à medida que a base de memória cresce, a precisão e o custo da busca se tornam gargalos.

Dando um passo além da memória de trapaça, surge um tipo de abordagem mais sofisticada: não alterar os pesos, mas permitir que o próprio contexto de entrada do modelo evolua continuamente. Isso é chamado de engenharia de contexto (Context Engineering).

Em outubro de 2025, o ACE (Agentic Context Engineering), proposto por Stanford, SambaNova e UC Berkeley, é um representante disso. Ele trata o contexto como um "manual de estratégias" que cresce continuamente, mantido por três papéis especializados: o Generator, responsável por gerar trajetórias de raciocínio; o Reflector, que extrai experiências concretas do sucesso e do fracasso; e o Curator, que organiza essas experiências em atualizações incrementais estruturadas e as integra ao manual.

ACE visa resolver dois problemas comuns em métodos semelhantes: primeiro, o "viés de brevidade" (brevity bias): ao fazer com que o LLM reescreva o contexto repetidamente, ele tende a comprimir e descartar detalhes do domínio; segundo, o "colapso de contexto" (context collapse): reescrever repetidamente faz com que os detalhes se percam gradualmente.

ACE utiliza atualizações incrementais (delta updates) em vez de reescritas completas para contornar esses dois pontos. De acordo com os dados do artigo, o ACE melhora 10,6% em tarefas de agentes e 8,6% em raciocínio financeiro em comparação com a linha de base, além de reduzir a latência de adaptação em cerca de 86,9%; na lista AppWorld, com modelos de código aberto menores DeepSeek -V3.1 combinado com ACE alcança pontuação média igual à do agente inteligente de produção baseado no GPT-4.1, IBM CUGA.

É importante notar que o ACE enfatiza que pode operar sem supervisão rotulada; ele se baseia em sinais de feedback naturalmente gerados durante a execução (como se o código for bem-sucedido ou gerar erros) para orientar a reflexão e a organização. Isso o conecta à narrativa maior de “agentes que aprendem com suas próprias experiências”.

O uso de memória externa e engenharia de contexto evita o risco de alterar os pesos, mas também evita a internalização real do conhecimento. Outro grupo de pesquisadores acredita que, a longo prazo, alguns conhecimentos e habilidades precisam ser incorporados nos parâmetros para serem suficientes. Isso é o treinamento contínuo pós-inicial (Continual Post-training), dividido principalmente em etapas como fine-tuning contínuo de instruções e alinhamento contínuo de preferências.

John Schulman da Thinking Machines ofereceu uma visão hierárquica: ele comparou o aprendizado a categorias da psicologia, como aprendizado motor, memória episódica e memória procedimental, argumentando que o aprendizado por contexto lida bem com tarefas de curto prazo, enquanto o ajuste fino dos parâmetros (incluindo métodos como LoRA) é adicionado por cima, sendo especialmente adequado para tarefas que exigem maior capacidade e absorção real de conhecimento — quando o tempo se estende e o aprendizado por contexto se torna insuficiente, o ajuste fino dos parâmetros prevalece.

O maior inimigo desta rota ainda é o esquecimento catastrófico, e uma solução interessante recente veio do Tinker da Thinking Machines.

Tinker é o primeiro produto deles, lançado em outubro de 2025, uma API de fine-tuning baseada em LoRA que abstrai a complexidade do treinamento distribuído, expondo apenas primitivas de baixo nível como forward_backward e optim_step, permitindo que pesquisadores se concentrem nos dados e algoritmos.

Em termos de aprendizado contínuo, eles promovem uma abordagem chamada Self-Distillation Fine-Tuning (SDFT): a ideia central é que o fine-tuning supervisionado comum é "off-policy", forçando o modelo a imitar tokens que ele próprio nunca geraria, fazendo com que cada nova habilidade aprendida degrade as habilidades anteriores; o SDFT permite que o modelo atue como seu próprio professor, aprendendo novas habilidades a partir de demonstrações sem esquecer as antigas. Uma startup chamada Trajectory já adotou o Tinker como infraestrutura central para sua plataforma de aprendizado contínuo.

Por falar nisso, o Tinker usa LoRA em vez de fine-tuning completo, o que traz outra vantagem prática: múltiplas tarefas de fine-tuning podem compartilhar o mesmo pool de computação, distribuindo os custos. Isso também explica por que "aprendizado contínuo como serviço" está se tornando um negócio: transformar atualizações frequentes de modelos em uma API chamável sob demanda é exatamente a direção que a indústria está experimentando atualmente.

Se o pós-treinamento é como operar na "superfície" do modelo, então o pré-treinamento contínuo (Continual Pre-training, CPT) volta à camada mais fundamental, continuando o pré-treinamento do modelo com novos corpora para adaptá-lo a novos domínios, novas línguas ou distribuições de conhecimento que mudam ao longo do tempo. Em comparação com misturar dados antigos e novos e re-treinar do zero, o CPT se baseia no modelo já existente, sendo muito mais eficiente em termos de poder computacional.

Seus usos típicos incluem: conhecimento que se desloca ao longo do tempo, expansão entre idiomas e adaptação entre domínios. No entanto, o custo é igualmente claro: múltiplos estudos empíricos demonstraram repetidamente que o pré-treinamento contínuo é caro em termos computacionais e容易引发对已学知识的灾难性遗忘。也因此，学界一直在找「免重放、免任务标注」的持续预训练方法，试图在 LLM 规模上做到不遗忘。

Para a maioria das empresas, o custo de repreparar do zero um modelo de ponta é tão alto que se torna inviável — exatamente a origem da frase de Karpathy de que "modelos grandes não são adequados para reentrenamentos frequentes". Portanto, a "repreparação" no sentido estrito é mais uma opção interna de laboratórios de ponta, enquanto a prepreparação contínua é um compromisso mais viável.

Os quatro primeiros abordagens ainda giram, em certa medida, dentro do quadro binário de “cheat versus ajuste de peso”. Já um conjunto de novos trabalhos surgidos no último ano tentam escapar desse quadro e redefinir o próprio aprendizado.

Uma abordagem é permitir que o modelo gere seus próprios dados de treinamento e decida como se atualizar.

O SEAL do MIT (Self-Adapting Language Models) é um exemplo típico. Dado uma nova entrada, o modelo gera um trecho de “autoedição” (self-edit); trata-se de uma instrução em linguagem natural que explica como reestruturar as informações, quais hiperparâmetros usar para atualizar os pesos e até quais ferramentas chamar para realizar aumento de dados; em seguida, o modelo se ajusta com base nisso, gerando atualizações de pesos duradouras. A questão de “quais autoedições são eficazes” é treinada por um ciclo externo de aprendizado por reforço, cujo sinal de recompensa é o desempenho do modelo atualizado em tarefas downstream.

A versão da NeurIPS 2025 demonstrou ainda mais que essa capacidade adaptativa se aprimora com o aumento do tamanho do modelo e aliviou o esquecimento por meio de aprendizado por reforço. Seus autores vislumbram um modelo capaz de julgar, durante a inferência, se "deve aprender agora", transformando a destilação de cadeias de raciocínio pontuais em habilidades permanentes.

Outra abordagem mais ousada vem do Nested Learning do Google, publicado no NeurIPS 2025. Seu núcleo consiste em redefinir um modelo como um conjunto de problemas de otimização aninhados, multicamadas, cada um com seus próprios “fluxos de contexto” e frequências de atualização distintas — arquitetura e algoritmo de otimização, sob essa perspectiva, são unificados como níveis diferentes da mesma coisa.

Como prova de conceito, eles desenvolveram uma arquitetura autossupervisionada chamada Hope, que expandiu a arquitetura de memória de longo prazo Titans em dois aspectos: níveis ilimitados de aprendizado aninhado e um "sistema de memória contínua" (CMS). Em termos simples, em vez de uma divisão binária entre memória de curto e longo prazo, trata-se de uma série completa de módulos de memória que se atualizam em escalas temporais distintas.

Nos experimentos, o Hope superou os Transformers padrão e modelos recorrentes modernos em tarefas de modelagem de linguagem, raciocínio com contexto longo e aprendizado contínuo. Interessantemente, trabalhos subsequentes introduziram uma fase de “sono” nesse tipo de arquitetura — assim como os humanos consolidam memórias durante o sono, o modelo dedica recursos computacionais entre conversas ativas para condensar abstrações úteis em memórias de parâmetros mais duradouras.

Acima disso, há a narrativa do "Era da Experiência" proposta por David Silver e Richard Sutton.

Eles argumentam que, em áreas críticas como matemática, código e ciência, o conhecimento extraído dos dados humanos está se aproximando do limite; para avançar ainda mais, é necessário que a IA aprenda continuamente com suas próprias experiências geradas por interações com o ambiente, formando um ciclo autoalimentado de dados. Eles consideram o AlphaProof da DeepMind em 2024 (que ganhou uma medalha na IMO por meio de “interação contínua com sistemas de prova formal”) como o início desta era. Essa narrativa vincula o aprendizado contínuo, o aprendizado por reforço e a exploração autônoma de agentes, mas também deixa em aberto uma questão ainda não resolvida: quem projetará as funções de recompensa que transformam sinais brutos em orientações úteis?

Além disso, existe uma direção vizinha, facilmente confundida com aprendizado contínuo, mas com um objetivo diferente: edição de conhecimento (Knowledge Editing). Representada por ROME e MEMIT, ela realiza atualizações precisas de fatos individuais ou em lote, localizando e modificando camadas MLP que armazenam informações específicas, sem a necessidade de re-treinamento completo. No entanto, seu objetivo difere do aprendizado contínuo — a edição de conhecimento busca substituir exatamente um fato específico; em cenários de edição contínua e vitalícia, alterações repetidas nos parâmetros podem interferir entre si e acumular gradualmente uma “toxicidade”, levando ao colapso do modelo. Isso deu origem a métodos especializados como WISE e AlphaEdit, projetados para lidar com edições sequenciais.

Ao analisar essas direções juntas, percebe-se que elas estão alinhadas ao longo de um eixo de "onde o conhecimento existe".

O mais externo é a memória externa e a engenharia de contexto, onde o conhecimento reside inteiramente no espaço de tokens fora do modelo — seguro e controlável, mas não internalizado; no meio estão o pós-treinamento contínuo e o pré-treinamento contínuo, onde o conhecimento é gravado nos pesos, oferecendo um limite de capacidade mais alto, mas enfrentando diretamente o esquecimento catastrófico; o mais interno e também o mais avançado são as novas abordagens que permitem ao modelo se modificar e se evoluir por conta própria, tentando tornar o próprio ato de “aprender” parte integrante da capacidade do modelo.

Uma observação prática é que essas abordagens provavelmente não são mutuamente exclusivas, mas sim colaborativas em camadas. A visão de aprendizado em camadas de Schulman e a ideia de Karpathy de “núcleo cognitivo + memória externa” essencialmente dizem a mesma coisa: conhecimentos curtos e voláteis são atribuídos ao contexto e à memória externa, enquanto habilidades de longo prazo que exigem aprofundamento são delegadas ao fine-tuning dos parâmetros, cada qual desempenhando seu papel. O fato de o ACE evoluir de forma não supervisionada por meio de feedback de execução e o SEAL usar aprendizado por reforço para otimizar a autoedição sugere uma tendência comum: o aprendizado contínuo futuro provavelmente deixará que o modelo itself domine “o que aprender e como aprender”.

Voltando à avaliação de Karpathy de que “ainda faltam dez anos”, a aprendizagem contínua foi realmente resolvida? A resposta provavelmente é — ainda não, mas já não é mais um campo vazio. O obstáculo central do esquecimento catastrófico ainda não foi superado totalmente; métodos como SDFT e aprendizagem aninhada ainda apenas “aliviam” e não “eliminam” esse problema. Será que apenas um melhor gerenciamento de contexto mais fine-tuning pode resolver a aprendizagem contínua, ou será necessário um novo conceito? Essa questão mais fundamental ainda não tem uma resposta definitiva, mesmo para Schulman.

É certo que, entre 2025 e 2026, o aprendizado contínuo passou de uma "habilidade ausente" repetidamente mencionada para um campo ativo com múltiplas linhas de desenvolvimento e empresas startups entrando no mercado com produtos. Vale continuar observando qual caminho conseguirá primeiro transformar o "colega de IA" de um protótipo em realidade.

Link de referência

https://www.lesswrong.com/posts/qBsj6HswdmP6ahaGB/andrej-karpathy-on-llm-cognitive-deficits

https://karpathy.bearblog.dev/year-in-review-2025/

https://www.letta.com/blog/continual-learning/

https://arxiv.org/abs/2510.04618

https://arxiv.org/abs/2402.01364

https://thinkingmachines.ai/tinker/

https://arxiv.org/pdf/2604.05096

https://arxiv.org/pdf/2606.03979

Este artigo é do canal oficial do WeChat "Machine Heart" (ID: almosthuman2014), autor: Machine Heart em aprendizado contínuo, editor: Panda