Investigadores del MIT utilizan GPT-6 Astra para aumentar la capacidad matemática de Qwen en 6 veces

Artículo escrito por Shenchao TechFlow

No se necesita entrenamiento, no se necesitan datos, no se necesita descenso de gradiente.

Los investigadores del MIT le proporcionaron los pesos de un modelo pequeño de código abierto a GPT-6 Astra y le dieron una instrucción en lenguaje natural: «Mejora su capacidad matemática.»

Astra pasó 20 horas revisando 800 millones de parámetros y encontró 131,072 pesos en la red de dos capas, realizando una cirugía.

Antes de la cirugía, el modelo obtuvo una puntuación del 7,9% en la prueba de referencia MATH-500; después de la cirugía, del 48,1%.

This is today's most explosive AI news.

El 2 de noviembre, el equipo de investigación del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT publicó un blog que presenta los resultados de un experimento al que denominan «programación en el espacio de pesos» (Weight-Space Programming). El primer autor, Rikiya Takehi, es un estudiante de doctorado de primer año en el CSAIL del MIT, y los colaboradores incluyen a Jayden Teoh, Alex Zhang y el tutor de Takehi, Omar Khattab.

La idea central del experimento se puede resumir en una frase: hacer que una IA lo suficientemente poderosa lea directamente el «cerebro» de otra IA, identifique el problema y lo modifique con precisión quirúrgica.

El modelo seleccionado como "paciente" es Qwen3.5-0.8B, un modelo de lenguaje pequeño de 800 millones de parámetros, de código abierto de Alibaba. El "cirujano" es el reciente GPT-6 Astra de OpenAI.

El equipo de investigación le proporcionó a Astra tres cosas: un conjunto de ejercicios matemáticos, un entorno Python capaz de leer y escribir pesos del modelo, y un número limitado de llamadas de inferencia del modelo. Sin GPU, sin ciclo de entrenamiento, sin optimizador. Astra debe, como un investigador humano, diagnosticar el problema observando el comportamiento del modelo y examinando los valores de los pesos, y luego modificar directamente los parámetros.

El proceso duró 20.3 horas, de las cuales 4.7 horas se dedicaron a esperar la recuperación del servicio interrumpido. Astra realizó 158 conversaciones, 80 ejecuciones de Python y 50 evaluaciones del modelo.

Finalmente, identificó una «dirección numérica» que causaba que el modelo entrara en un bucle de salida repetitiva en las matrices de salida MLP de las capas 15 y 19, y luego restó esta dirección de las 64 columnas de salida. Se modificaron un total de 131,072 pesos, lo que representa el 0.016% de todos los parámetros del modelo.

Cambio pequeño, efecto impactante.

En las tres pruebas de referencia, la comparación antes y después es la siguiente:

MATH-500: 7.9% → 48.1%

GSM8K: 13,8 % → 67,1 %

IFEval (cumplimiento de instrucciones): 21,0 % → 62,3 %

Otro número más intuitivo: antes de la modificación, el 93% de las respuestas de Qwen3.5-0.8B en MATH-500 alcanzaban el límite de 32,768 tokens debido a bucles de repetición. Después de la modificación, este porcentaje disminuyó al 33.1%.

El informe de VentureBeat compara esto con la "edición genética de las redes neuronales". Esta metáfora captura con precisión el punto clave: el entrenamiento tradicional de modelos es como hacer que una persona mejore sus habilidades matemáticas mediante mucha práctica, mientras que la programación del espacio de pesos es como abrir directamente el cerebro, encontrar el nervio mal conectado y volver a conectarlo.

Pero el equipo de investigación proporcionó una limitación importante: Astra no le inyectó nuevas capacidades matemáticas a Qwen, simplemente eliminó un obstáculo que impedía que el modelo ejerciera sus capacidades existentes.

Esta diferencia es crucial. Para verificar esto, el equipo repitió el mismo experimento en el modelo Gemma 3 270M de Google. Gemma 3 rara vez presenta problemas de salida repetitiva (solo el 8,5% de las respuestas alcanzaron el límite de tokens), y los resultados mostraron que Astra mejoró casi en nada su puntuación en MATH-500, con fluctuaciones de no más de un punto porcentual.

La conclusión es clara: la programación del espacio de pesos actualmente puede hacer es "eliminar obstáculos", no "construir nuevos caminos".

Las matemáticas son solo un escenario mostrado por el equipo de investigación; la capacidad de Astra en el espacio de pesos va mucho más allá.

Identificar el «alma»: El equipo de investigación entrenó cuatro redes de estrategia para juegos de Atari con arquitecturas idénticas (Breakout, Pong, Pac-Man, Freeway), y luego solo proporcionó los pesos a Astra, sin ninguna etiqueta. Astra logró identificar con precisión el juego correspondiente a cada red únicamente a partir de los valores de los pesos. Su razonamiento fue: en la red de Breakout, los pesos de la primera capa se concentran en la parte inferior de la pantalla (posición de la paleta), y la distribución de acciones en la capa de salida se inclina hacia los movimientos laterales.

Construyendo una red desde cero: En experimentos con MinAtar (una versión miniatura de Atari), Astra escribió directamente en el espacio de pesos una red de estrategia de juego desde cero. En Breakout, la red escrita por Astra obtuvo 517.4 puntos, mientras que una red entrenada con el algoritmo PPO durante 500 millones de pasos solo obtuvo 25.3 puntos.

Corregir el controlador de conducción autónoma atascado: un controlador de automóvil entrenado con PPO se atascó en una pendiente, atrapado en un óptimo local. Astra, con solo una conversación, modificó el 3.5% de los pesos, y el controlador corregido tuvo éxito en las 1.024 pruebas.

El punto en común de estos experimentos es que Astra no solo puede "leer" los pesos, comprender qué comportamiento representa cada número, sino también "reescribir" los pesos para permitir que el modelo realice tareas que el algoritmo de entrenamiento no puede lograr.

Antes de la programación en el espacio de pesos, la comunidad académica ya había realizado intentos de editar directamente los pesos del modelo. ROME en NeurIPS 2022 y MEMIT en ICLR 2023 demostraron cómo insertar o modificar con precisión un hecho en los pesos de un modelo de lenguaje, por ejemplo, cambiar «La Torre Eiffel está en París» a «La Torre Eiffel está en Roma».

Pero ROME y MEMIT realizan una «búsqueda y reemplazo a nivel de hecho», operando sobre un solo hecho de conocimiento. Lo que el equipo de MIT mostró esta vez es diferente: Astra modifica las capacidades generales del modelo, como el razonamiento matemático y el cumplimiento de instrucciones, cruzando la frontera entre «editar un punto de conocimiento» y «cambiar un patrón de comportamiento».

La evaluación de Takehi en el blog es más agresiva: "Los pesos de las redes neuronales serán optimizados nativamente por LLM capaces de razonar sobre los pesos".

Si se valida esta dirección, los escenarios de aplicación potenciales incluyen:

Reparación del modelo: Si el modelo presenta problemas después del despliegue, no es necesario recuperarlo para volver a entrenarlo; simplemente deja que otro AI lo "diagnostique" y lo modifique. Para modelos de vanguardia cuyos costos de entrenamiento ascienden a decenas de millones de dólares, esto podría significar un ahorro de costos significativo.

Auditoría del modelo: si una IA puede leer los pesos, entonces los investigadores de seguridad también pueden usarlos para verificar si un modelo ha sido infectado con una puerta trasera o comportamiento malicioso.

Personalización de modelos de código abierto: un AI lo suficientemente potente puede «personalizar» capacidades en modelos de código abierto mediante instrucciones en lenguaje natural, sin necesidad de ninguna infraestructura de entrenamiento.

GPT-6 Astra es un modelo lleno de controversias. OpenAI retrasó el lanzamiento de su versión actualizada, GPT-6.1 Astra, por preocupaciones de seguridad.

El científico principal de OpenAI, Jakub Pachocki, publicó un artículo tres días después del lanzamiento de Astra, advirtiendo que los resultados de las pruebas internas de OpenAI sugieren que el progreso de la IA podría dirigirse hacia una «mejora recursiva propia», en la que los sistemas de IA participan cada vez más en la construcción de sus propios sucesores. Él afirmó que ningún sistema de revisión interna en ningún laboratorio es suficiente para hacer frente a este escenario.

La programación del espacio de pesos toca justo el núcleo de esta advertencia. Si una IA puede modificar los pesos de otra IA para mejorar su capacidad, ¿teóricamente, podría una IA modificar sus propios pesos?

El equipo de investigación señaló claramente en su blog que no demostró mejora recursiva automática ni que los efectos puedan acumularse de forma sostenida. Sin embargo, esto no ha impedido que la comunidad de seguridad se mantenga alerta. Maxime Fournes de PauseAI lo calificó como «una dirección de investigación extremadamente imprudente».

Las limitaciones actuales son reales: el experimento tuvo éxito solo en un pequeño modelo de 800 millones de parámetros, pero falló en Gemma 3. El proceso requirió 20 horas y numerosos intentos y errores, y ningún equipo independiente ha logrado replicarlo; la ventaja de costo en comparación con el ajuste fino tradicional tampoco se ha verificado.

Pero ya se ha indicado la dirección. En ICML 2026 ya se han publicado artículos que proponen que el espacio de pesos debe convertirse en una "modalidad de primer nivel" en la IA generativa, junto con el texto, la imagen y el audio, y que los modelos deben comprender y operar nativamente los pesos.

Si 2024 fue el año en que la IA aprendió a "describir imágenes" y 2025 fue el año en que la IA aprendió a "escribir código", entonces 2026 podría estar convirtiéndose en el año en que la IA aprende a "modificar la IA".

No se sabe adónde lleva este camino.