Novo artigo propõe treinamento de ponta a ponta para modelos gerativos por meio de modelagem exploratória

Em 2012, o AlexNet encerrou uma era com uma vitória esmagadora. Antes disso, o reconhecimento de imagens dependia de humanos projetarem manualmente camadas de processamento para extração de características; o AlexNet provou algo que foi repetidamente validado desde então: entregar todo o processo de ponta a ponta para o modelo aprender sozinho quase sempre supera os fluxos de trabalho em estágios cuidadosamente projetados por humanos.

Da classificação de imagens à detecção de objetos e depois à segmentação de imagens, cada salto no aprendizado profundo é respaldado pela mesma frase: deixe-o aprender tudo de uma vez.

Apenas um campo sempre é a exceção: modelos gerativos.

O modelo gerativo mais poderoso e escalável de hoje, seja autoregressivo ou de difusão, não é end-to-end.

Eles foram treinados apenas para prever "um pequeno passo", mas durante a inferência, precisam repetir esse passo centenas ou milhares de vezes, como uma rede recorrente.

Os métodos de amostragem usados para treinamento e inferência não são os mesmos. Essa discrepância traz um problema clássico: o erro de cada passo é alimentado para o próximo passo, fazendo com que a entrada se desvie gradualmente da distribuição vista durante o treinamento, acumulando erros camada após camada. Na literatura acadêmica, isso é chamado de "exposure bias".

Em outras palavras, a lição mais fundamental do aprendizado profundo — “fim a fim é melhor” — não conseguiu, durante mais de uma década, ser realmente aplicada aos modelos gerativos.

E recentemente, um artigo da UIUC e da Harvard tentou preencher este último pedaço do quebra-cabeça.

O autor deu a este novo paradigma o nome de Explorative Modeling (modelagem exploratória), com a abreviatura XM. Sua ideia é tão simples quanto quase ingênua, mas aponta para uma conclusão ousada: além dos parâmetros e dos dados, os modelos gerativos têm um terceiro eixo que pode ser ampliado.

Site do projeto: https://explorative-modeling.github.io

Endereço do artigo: https://arxiv.org/abs/2607.27372

Repositório de código: https://github.com/alexiglad/XM

Para entender o que este artigo está tentando resolver, é preciso primeiro entender por que a geração é tão difícil.

No aprendizado supervisionado comum (como classificação), cada entrada tem basicamente apenas uma resposta correta, e o modelo precisa aprender apenas um mapeamento determinístico.

Mas a geração é diferente. Quando você pede ao modelo para "gerar um cachorro", a resposta correta pode até ter infinitas possibilidades. Essas saídas válidas são os diversos modos da distribuição de dados (ou seja, os picos independentes dentro da distribuição). Gerar é difícil precisamente porque é preciso capturar todos esses modos ao mesmo tempo.

O problema é que modelos gerativos principais são treinados usando perda de reconstrução (por exemplo, erro quadrático). Quando uma entrada é aleatoriamente associada a vários alvos legítimos diferentes, a melhor solução que a perda de reconstrução pode fornecer é a média desses alvos. E, para a maioria dos dados, a média não está na variedade dos dados, mas sim entre vários modos, sem se parecer com nenhum deles.

A figura no artigo é muito intuitiva: ao permitir que o modelo regresse diretamente de ponta a ponta sem nenhuma técnica, três conjuntos de pontos seriam previstos como um único ponto no centro, uma foto de um cachorro se tornaria uma mancha desfocada e uma frase se degeneraria na repetição infinita de «the». Isso é o que se chama de «mode blurring» (borramento de modo), ou seja, a solução ótima é exatamente a resposta que menos se parece com os dados reais.

Como os modelos atuais contornam isso? A resposta é dividir o ato de "gerar" em partes. A autoregressão prevê um único elemento por vez, a difusão remove apenas um pouco de ruído por vez, e o objetivo de cada pequeno passo é reduzido a quase apenas um único modo, assim a perda de reconstrução não mais busca a média.

Esse processo de "geração por divisão" é exatamente o que permite que a difusão e a autoregressão produzam amostras de alta qualidade, mas também é isso que impede o modelo de ser end-to-end.

O autor levanta, então, uma pergunta-chave: um modelo gerativo só tem duas coisas que podem ser desmontadas: como gerar e como treinar.

Se dividir a geração这条路 destrói o end-to-end, por que não dividir o treinamento?

Explorative Modeling desmonta exatamente o ciclo de treinamento.

Seu mecanismo pode ser explicado em uma frase: em cada passo de treinamento, o modelo não gera mais apenas uma amostra para forçar o alvo, mas gera K candidatos e seleciona apenas aquele mais próximo dos dados reais para treinar e retropropagar o gradiente. O artigo implementa isso como um laço for de 3 a 5 linhas, tão simples que parece suspeito (Algoritmo 1).

Por que fazer isso resolve a ambiguidade do modo?

Considere uma situação da vida real: adivinhar onde os dardos cairão. Se você só puder fazer uma tentativa, sua melhor estratégia é adivinhar a posição média de todos os dardos — mas esse ponto geralmente fica em uma área do alvo onde poucos dardos realmente acertaram. Contudo, se você puder fazer K tentativas e apenas a mais próxima for pontuada, sua estratégia ideal muda imediatamente: você espalhará suas apostas para cobrir diferentes grupos de pontos de impacto.

O modelo é o mesmo. Quando permitido explorar K candidatos, diferentes ruídos de entrada cada um "reivindica" um modo diferente, em vez de todos se concentrarem no meio para tirar uma média. Quantas explorações forem feitas, o modelo conseguirá firmemente capturar tantos modos.

O autor deu um nome a essa capacidade há muito tempo ignorada: expressividade gerativa (generative expressivity), e apontou que ela é determinada pelo próprio objetivo de treinamento, independentemente de quão grandes sejam os parâmetros e os dados.

Isso também explica um fenômeno estranho já observado há muito tempo na indústria: por que os melhores modelos de hoje dependem tanto da técnica de "guidance".

O que se chama de guidance sem classificador, na essência, é empurrar a previsão "longe" da média nebulosa. Mas se o modelo em si não for nebuloso, por que empurrá-lo? A utilidade do guidance reside exatamente na doença deixada pela ambiguidade do modo.

O artigo também apresenta duas direções de exploração: Forward e Reverse. A primeira fixa um objetivo real e busca o mais próximo dentro de suas próprias gerações, privilegiando a "completude" (cobertura de todos os modos); a segunda fixa uma geração e busca o mais próximo nos dados reais, privilegiando a "precisão", com quase nenhum aumento no custo computacional, mas com o risco de colapsar para poucos modos. Ambas são complementares e podem ser combinadas.

A conclusão mais significativa deste artigo é ter validado a "exploração" como um verdadeiro eixo de escalabilidade.

O autor aplicou a exploração a modelos de difusão/fluxo, modelos Jumpy e modelos de linguagem de difusão mascarada, observando consistentemente um aumento monotônico no desempenho em três modalidades: imagem, vídeo e linguagem. Mais importante ainda, a tendência de ganho com o aumento da escala: quanto maior a escala, mais intensos são os ganhos.

Os números apresentados no artigo são: à medida que o tamanho dos dados aumenta, o ganho proveniente da exploração sobe de 7% para 36%; à medida que o modelo aumenta, sobe de 13% para 23%; quando a capacidade de processamento triplica, o ganho de eficiência mais que dobra.

Em termos de eficiência, explorou-se um aumento de 4,1 vezes na eficiência de FLOP, 6,2 vezes na eficiência de amostras e 47% na eficiência de parâmetros. Na geração de imagens, ela aprimorou ainda mais a receita RAE mais poderosa atual, alcançando um FID de 1,43 sem orientação no ImageNet, aproximando-se do melhor nível da indústria.

Um modelo Large que explora 5 modos, capaz de superar um modelo XLarge com 47% mais parâmetros, mas que não realiza exploração.

O significado dessa tendência não é pequeno. A explicação do autor é: em escala pequena, o modelo é principalmente limitado por parâmetros e dados, e a expressividade da geração ainda não é um gargalo; mas assim que os parâmetros e os dados forem ampliados até o ponto de "não serem mais limitantes", a expressividade da geração se tornará cada vez mais o verdadeiro gargalo. E é exatamente isso que se busca explorar — coisas que podem ser ampliadas diretamente.

Considerando que o treinamento de modelos base reais atuais utiliza uma quantidade de computação cerca de quatro ordens de grandeza maior do que o maior experimento deste artigo, os autores acreditam que os números relatados no artigo provavelmente representam apenas o limite inferior dos ganhos em escalas maiores.

O que acontece se levarmos a exploração ao limite? A resposta volta ao mistério inicial: os modelos gerativos finalmente podem ser end-to-end.

O autor trata o XM como um modelo end-to-end independente e o aplica a tarefas de controle de robôs. Em aprendizado por imitação de comportamento (Behavior Cloning), sua Política Exploratória alcança ou supera o desempenho da Política de Difusão, que requer 100 passagens forward, com apenas uma única passagem forward. Em modelagem do mundo orientada a objetivos, o Modelo do Mundo Exploratório atinge um desempenho médio superior ao do Diffuser, utilizando de 16 a 256 vezes menos poder de inferência.

A origem dessa diferença é clara: modelos de difusão trocam expressividade por geração em centenas de passos durante a inferência, enquanto o XM end-to-end transfere esse custo para a exploração durante o treinamento, permitindo que a inferência exija apenas uma única passagem forward. "Lidar com múltiplos modos" — o mesmo problema — pode ser resolvido lentamente durante a inferência ou explorado integralmente durante o treinamento; este artigo escolheu a segunda abordagem.

O primeiro autor deste artigo, Alexi Gladstone, não é desconhecido. Em julho de 2025, seu trabalho liderado, Energy-Based Transformers (EBT), gerou considerável discussão nas redes sociais.

O trabalho afirma ter superado pela primeira vez a curva de escala do Transformer feedforward padrão em múltiplas dimensões e tenta estender o "pensamento do Sistema 2" a qualquer modo. Consulte a reportagem da MachineHeart: "Novo Paradigma Chegou! Novo Modelo de Energia Quebra o Limite de Escala do Transformer++, com Taxa de Escala de Treinamento 35% Mais Rápida".

Modelagem Exploratória está em linha com sua abordagem consistente: ambas questionam se os modelos podem realizar tarefas impossíveis em uma única passagem forward por meio de algum tipo de busca ou exploração. Este artigo constrói-se ainda sobre outra teoria desenvolvida por ele e seus colaboradores (Yilun Du e Heng Ji), chamada Mode Forcing. O artigo admite abertamente que, devido à existência prévia dessa teoria, a maioria dos resultados de XM foi primeiro prevista teoricamente e depois verificada experimentalmente — algo incomum no campo do aprendizado profundo, onde o padrão é "executar os experimentos primeiro e depois explicar".

O autor também reconheceu honestamente as limitações: a ideia de best-of-K em si não é nova, já foi tentada muitas vezes antes; sua verdadeira contribuição foi compreender exatamente o que esse simples loop está fazendo: amplificar diretamente a expressividade da geração, sem dividir o processo de geração.

Além disso, os modelos linguísticos autoregressivos ainda são o maior desafio, e o Forward XM puramente end-to-end ainda é muito caro em distribuições extremamente multimodais (como geração de imagens), o que será abordado em trabalhos futuros.

Por mais de uma década, nos acostumamos a ajustar modelos gerativos com dois controles: torná-los maiores e alimentá-los com mais dados.

O terceiro ajuste proposto neste artigo é bastante simples: permitir que o modelo faça várias tentativas e mantenha apenas a melhor. Mas se a tendência que ele revela se confirmar, à medida que a escala continuar a crescer, os dois primeiros ajustes eventualmente atingirão seus limites, enquanto o terceiro acabará de começar a girar.

Link de referência

https://x.com/AlexiGlad/status/2083230922196107288

Este artigo é do canal oficial do WeChat "Machine Heart" (ID: almosthuman2014), autor: Panda