Pesquisadores do MIT usam o GPT-6 Astra para aumentar a capacidade matemática do Qwen em 6x

Artigo escrito por Shenchao TechFlow

Não precisa de treinamento, não precisa de dados, não precisa de descente de gradiente.

Pesquisadores do MIT forneceram os pesos de um modelo pequeno e de código aberto ao GPT-6 Astra e deram uma instrução em linguagem natural: “Melhore sua capacidade matemática.”

Astra passou 20 horas analisando 800 milhões de parâmetros e realizou uma cirurgia para identificar 131.072 pesos na rede de duas camadas.

Antes da cirurgia, o modelo obteve 7,9% no benchmark MATH-500; após a cirurgia, 48,1%.

This is today's most explosive AI news.

Em 2 de novembro, a equipe de pesquisa do Laboratório de Ciência da Computação e Inteligência Artificial do MIT (CSAIL) publicou um blog anunciando os resultados de um experimento que chamaram de "Weight-Space Programming". O primeiro autor, Rikiya Takehi, é um estudante de doutorado do primeiro ano do CSAIL do MIT, e os coautores incluem Jayden Teoh, Alex Zhang e o orientador de Takehi, Omar Khattab.

A ideia central do experimento pode ser resumida em uma frase: permitir que uma IA suficientemente poderosa leia diretamente o “cérebro” de outra IA, identifique o problema e o corrija com precisão cirúrgica.

O "paciente" selecionado é o modelo de código aberto da Alibaba, Qwen3.5-0.8B, um pequeno modelo de linguagem com 800 milhões de parâmetros. O "cirurgião" é o mais recente GPT-6 Astra da OpenAI.

A equipe de pesquisa forneceu à Astra três coisas: um conjunto de exercícios matemáticos, um ambiente Python capaz de ler e gravar pesos do modelo e um número limitado de chamadas de inferência do modelo. Sem GPU, sem ciclo de treinamento e sem otimizador. A Astra precisa, como um pesquisador humano, diagnosticar o problema observando o comportamento do modelo e inspecionando os valores dos pesos, e então modificar diretamente os parâmetros.

O processo durou 20,3 horas, das quais 4,7 horas foram gastas aguardando a restauração do serviço. Astra realizou 158 conversas, 80 execuções de Python e 50 avaliações de modelo.

Finalmente, ele identificou uma "direção numérica" que causava o modelo a entrar em saída repetitiva nas matrizes de saída MLP nas camadas 15 e 19, e subtraiu essa direção das 64 colunas de saída. Um total de 131.072 pesos foram modificados, representando 0,016% de todos os parâmetros do modelo.

Mudança pequena, efeito impressionante.

Nos três testes de referência, a comparação antes e depois da modificação é a seguinte:

MATH-500: 7,9% → 48,1%

GSM8K: 13,8% → 67,1%

IFEval (seguidor de instruções): 21,0% → 62,3%

Outro número mais intuitivo: antes da modificação, 93% das respostas do Qwen3.5-0.8B no MATH-500 atingiram o limite de 32.768 tokens devido a ciclos repetitivos. Após a modificação, essa proporção caiu para 33,1%.

A reportagem da VentureBeat compara isso a uma "edição genética de redes neurais". Essa metáfora captura com precisão o ponto essencial: o treinamento tradicional de modelos é como fazer uma pessoa melhorar suas habilidades matemáticas por meio de muita prática, enquanto a programação do espaço de pesos é como abrir diretamente o cérebro, encontrar o nervo mal conectado e reconectá-lo.

Mas a equipe de pesquisa forneceu uma limitação importante: Astra não injetou nova capacidade matemática no Qwen; ela simplesmente removeu um obstáculo que impedía o modelo de exercer suas habilidades já existentes.

Essa diferença é crucial. Para verificar isso, a equipe repetiu o mesmo experimento no modelo Gemma 3 270M do Google. O Gemma 3 raramente apresenta problemas de saída repetitiva (apenas 8,5% das respostas atingiram o limite de tokens), e os resultados mostraram que o Astra teve quase nenhuma melhoria no seu score MATH-500, com flutuações de no máximo 1 ponto percentual.

A conclusão é clara: a programação do espaço de pesos atualmente pode fazer é "remover barreiras", não "construir novas estradas".

A matemática é apenas um cenário apresentado pela equipe de pesquisa; a capacidade da Astra no espaço de pesos vai muito além disso.

Identificar a “alma”: a equipe de pesquisa treinou quatro redes de estratégia para jogos Atari com arquiteturas idênticas (Breakout, Pong, Pac-Man, Freeway) e, em seguida, forneceu apenas os pesos à Astra, sem nenhum rótulo. Astra conseguiu identificar com precisão qual jogo correspondia a cada rede apenas com base nos valores dos pesos. Seu raciocínio foi: os pesos da primeira camada da rede Breakout estão concentrados na parte inferior da tela (posição da raquete), e a distribuição de ações na camada de saída favorece movimentos laterais.

Construindo uma rede do zero: Em experimentos com o MinAtar (versão mini do Atari), a Astra escreveu diretamente na espaço de pesos uma rede de estratégia de jogo, começando do zero. No Breakout, a rede escrita pela Astra obteve 517,4 pontos, enquanto a rede treinada com o algoritmo PPO durante 500 milhões de passos obteve apenas 25,3 pontos.

Corrigindo o controle de direção autônoma travado: um controlador de carro treinado com PPO ficou preso em uma rampa, preso em um ótimo local. Astra, usando apenas uma única conversa, alterou 3,5% dos pesos, e o controlador corrigido obteve sucesso em todas as 1.024 testes.

O ponto em comum desses experimentos é que a Astra não apenas pode "ler" os pesos, compreendendo o que cada número representa em termos de comportamento, mas também pode "reescrever" os pesos, permitindo que o modelo realize coisas que o algoritmo de treinamento não consegue.

Antes da programação no espaço de pesos, a comunidade acadêmica já havia tentado editar diretamente os pesos do modelo. O ROME, apresentado na NeurIPS de 2022, e o MEMIT, apresentado na ICLR de 2023, demonstraram como inserir ou modificar com precisão um fato nos pesos de um modelo de linguagem, como alterar "A Torre Eiffel está em Paris" para "A Torre Eiffel está em Roma".

Mas ROME e MEMIT realizam substituições de busca no nível dos fatos, operando sobre um único ponto de conhecimento. A diferença apresentada pela equipe do MIT desta vez: Astra modifica as capacidades gerais do modelo, como raciocínio matemático e seguimento de instruções, ultrapassando a fronteira entre "editar um ponto de conhecimento" e "alterar um padrão de comportamento".

A avaliação de Takehi no blog é mais ousada: "Os pesos das redes neurais serão rapidamente otimizados nativamente por LLMs capazes de raciocinar sobre os pesos."

Se essa direção for validada, os cenários de aplicação potenciais incluem:

Correção do modelo: Após a implantação, se o modelo apresentar problemas, não é necessário trazê-lo de volta para treinamento novamente — basta deixar outro AI fazer o “diagnóstico” e realizar as correções. Para modelos de ponta, cujos custos de treinamento podem chegar a dezenas de milhões de dólares, isso pode representar economias significativas.

Auditoria do modelo: se a IA puder ler os pesos, pesquisadores de segurança também podem usá-los para verificar se um modelo foi implantado com uma backdoor ou comportamento malicioso.

Personalização de modelos de código aberto: um AI suficientemente poderoso pode "personalizar" capacidades para modelos de código aberto por meio de instruções em linguagem natural, sem necessidade de qualquer infraestrutura de treinamento.

O GPT-6 Astra é, por si só, um modelo repleto de controvérsias. A OpenAI adiou o lançamento da sua versão atualizada, GPT-6.1 Astra, por preocupações de segurança.

O cientista-chefe da OpenAI, Jakub Pachocki, escreveu um artigo três dias após o lançamento da Astra, alertando que os resultados dos testes internos da OpenAI indicam que o avanço da IA pode levar a uma "melhoria recursiva própria", ou seja, sistemas de IA participam cada vez mais na construção de seus próprios sucessores. Ele afirmou que nenhum sistema de revisão interna em laboratório é suficiente para lidar com essa perspectiva.

A programação do espaço de pesos toca exatamente no núcleo desse aviso. Se uma IA puder modificar os pesos de outra IA para melhorar sua capacidade, teoricamente, uma IA poderia modificar seus próprios pesos?

A equipe de pesquisa destacou claramente no blog que não demonstrou autoaperfeiçoamento recursivo nem que os efeitos poderiam se acumular continuamente. No entanto, isso não impediu que a comunidade de segurança ficasse em alerta. Maxime Fournes da PauseAI chamou isso de "uma direção de pesquisa extremamente imprudente".

As limitações atuais são reais: o experimento teve sucesso apenas em um pequeno modelo de 800 milhões de parâmetros e falhou no Gemma 3. O processo exigiu 20 horas e muitas tentativas e erros, e nenhuma equipe independente conseguiu reproduzi-lo; a vantagem de custo em comparação com o fine-tuning tradicional também não foi verificada.

Mas a direção já foi indicada. Artigos apresentados no ICML 2026 já propuseram que o espaço de pesos deve se tornar uma "modalidade de primeira classe" na IA generativa, ao lado do texto, imagem e áudio, e que os modelos devem compreender e operar pesos de forma nativa.

Se 2024 foi o ano em que a IA aprendeu a "descrever imagens", e 2025 foi o ano em que a IA aprendeu a "escrever código", então 2026 pode estar se tornando o ano em que a IA aprende a "modificar a IA".

Where this path leads is currently unknown.