El equipo de MIT CSAIL propone el método de “programación en el espacio de pesos”, que permite a GPT-6 Astra leer y modificar directamente los pesos de la red neuronal. En el modelo Qwen3.5-0.8B, ajustar solo el 0,016% de los pesos elevó el puntaje en MATH-500 del 7,9% al 48,1%, corrigiendo significativamente los problemas de bucle de razonamiento. Los experimentos también validaron la capacidad de Astra para comprender pesos, reparar fallos y generar redes desde cero, pero su efectividad aún se limita a modelos simples y no puede reemplazar el entrenamiento ni generar universalmente modelos complejos.Autor y fuente del artículo: Big Data Digest
¡Otra sorpresa fuerte en el mundo de la IA!
El equipo de MIT CSAIL ha propuesto un método llamado "Weight-Space Programming": sin entrenar ni calcular gradientes, permite que GPT-6 Astra lea y modifique directamente los pesos de la red neuronal.

En el experimento con Qwen3.5-0.8B, Astra mejoró el puntaje del modelo en MATH-500 del 7.9% al 48.1%, en GSM8K del 13.8% al 67.1%, y el rendimiento en la ejecución de instrucciones IFEval del 21.0% al 62.3%, modificando solo aproximadamente el 0.016% de los pesos.
Esto significa que los modelos grandes comienzan a tener la capacidad de comprender y editar directamente los parámetros de las redes neuronales.

This work was led by MIT CSAIL PhD students Rikiya Takehi and Jayden Teoh, with collaborators Alex Zhang and Omar Khattab. The research team published the findings on the Sparks of Weight-Space Programming research blog.

¿Qué es la programación de espacio de pesos?
The weights are the core parameters of a neural network, determining how the model processes input information and generates the final output.
El entrenamiento de modelos tradicionales generalmente requiere preparar datos, calcular pérdidas y gradientes, y luego ajustar continuamente los pesos mediante un optimizador. Todo el proceso depende de una gran cantidad de cálculos, y los parámetros internos del modelo son difíciles de comprender directamente por los humanos.
La programación del espacio de pesos ofrece una perspectiva diferente:
Considere los pesos de la red neuronal como un objeto que puede ser leído, analizado y modificado por un modelo grande.
El modelo general de gran escala evalúa directamente la función de la red, identifica estructuras anómalas y modifica los parámetros correspondientes según el objetivo en lenguaje natural.
En este estudio, Astra realizó principalmente tres tipos de tareas: 1. Leer los pesos y determinar qué tarea fue entrenada la red neuronal; 2. Modificar los pesos para corregir fallos específicos en la red; 3. Generar pesos desde cero para construir redes pequeñas con funciones específicas.
El equipo de investigación primero probó la capacidad de Astra para comprender los pesos de las redes neuronales.

En el primer conjunto de experimentos, los investigadores entrenaron cuatro redes neuronales pequeñas con estructuras idénticas utilizando PPO para jugar a Breakout, Pong, Pac-Man y Freeway.
Astra obtuvo todo el peso original, pero no conocía los nombres de los juegos candidatos ni podía observar el comportamiento ejecutando la red. Finalmente, identificó correctamente qué juego correspondía a cada una de las cuatro redes.

En el segundo conjunto de experimentos, los investigadores entrenaron tres modelos de difusión para generar círculos, triángulos y cuadrados. Astra también logró determinar con éxito el objetivo de generación de cada modelo solo con base en los pesos.

El tercer conjunto de experimentos se extendió a modelos de lenguaje. Los investigadores entrenaron tres pequeños Transformer con 7,2 millones de parámetros, cada uno aprendiendo código Python, japonés romaji y inglés. Incluso al proporcionar únicamente los pesos de las capas intermedias y eliminar las capas de entrada y salida, Astra aún pudo identificar el tipo de corpus de entrenamiento y detectar las cabezas de atención duplicadas en la red.
Estos experimentos muestran que los modelos grandes generales podrían no solo procesar texto y código, sino también extraer información funcional de las redes neuronales a partir de sus pesos.
Dos: Modifique solo el 0.016% de peso para corregir el bucle de inferencia

La experimentación con Qwen3.5-0.8B es la parte más destacada de este estudio.
Este modelo tiende a caer en ciclos de razonamiento tras activar el modo de pensamiento, repitiendo contenido similar y no proporcionando una respuesta final a tiempo. En las pruebas de línea base, el 93% de las respuestas de MATH-500 alcanzaron el límite de 32768 tokens.
Astra accede a los pesos del modelo mediante una interfaz de Python y verifica el comportamiento del modelo utilizando problemas de los conjuntos de entrenamiento GSM8K y MATH, pero no puede utilizar información de entrenamiento o gradiente, ni tener acceso al conjunto de prueba final.
Tras el análisis, Astra identificó el problema en partes de la estructura MLP en los niveles 15 y 19 y eliminó una dirección relacionada con la salida duplicada.
Esta modificación afectó 131072 pesos, aproximadamente el 0.016% del total de pesos del modelo. Después de la modificación, el porcentaje de respuestas de MATH-500 que alcanzaron el límite de tokens disminuyó del 93% al 33.1%.
Por lo tanto, esta mejora en el rendimiento no se debió principalmente a la inyección de nuevos conocimientos matemáticos en el modelo, sino a la corrección de fallas que impedían que el modelo completara el razonamiento. Algunos problemas que anteriormente no podían resolverse ahora producen respuestas completas correctamente.

Sin embargo, aunque el parche final era pequeño, el proceso de análisis no fue sencillo. El experimento con mejor rendimiento utilizó 50 solicitudes de evaluación, 158 conversaciones y 80 ejecuciones de Python, y tardó 20.3 horas.
Tres: Escribir desde cero los pesos de una red neuronal
El equipo de investigación también probó la capacidad de Astra para generar parámetros de red desde cero.
En los tres juegos MinAtari: Breakout, Seaquest y Asterix, Astra recibe las reglas del juego, el código fuente y la arquitectura de la red, pero no puede utilizar datos de entrenamiento, funciones de pérdida, gradientes ni simulaciones del entorno.
La red generada directamente superó la red correspondiente entrenada con 100 millones de pasos de PPO en los tres juegos.
En comparación con la red PPO entrenada durante 500 millones de pasos, la red generada por Astra obtiene aproximadamente 20 veces más puntaje en Breakout, se desempeña de forma similar en Asterix y alcanza alrededor del 60% del puntaje de esta última en Seaquest.
En el experimento de Go 9×9, Astra generó una red de aproximadamente 1,48 millones de parámetros. A medida que aumentó el número de evaluaciones hacia adelante permitidas, el rendimiento de la red continuó mejorando; bajo condiciones de 50 evaluaciones hacia adelante, superó a una red PPO de tamaño equivalente entrenada con 20 millones de partidas.
Estos resultados indican que los modelos grandes ya podrían ser capaces de convertir directamente parte de la lógica algorítmica en pesos de redes neuronales según la descripción de la tarea.
Sin embargo, los experimentos relacionados aún se centran principalmente en redes simples y de menor escala; se necesita una validación adicional para determinar si se pueden extender a modelos más grandes y complejos.
Para diferenciar entre “arreglar fallos” y “mejorar capacidades”, el equipo de investigación también realizó experimentos adicionales en Gemma 3 270M.

Gemma 3 270M rara vez presenta bucles de razonamiento; los errores principales provienen del razonamiento aritmético y algebraico. Astra intentó múltiples modificaciones específicas, pero el aumento en la puntuación de MATH-500 nunca superó aproximadamente un punto porcentual, por lo que no se puede confirmar que el modelo haya logrado una mejora estable.
Esto indica que la programación del espacio de pesos es actualmente más adecuada para abordar fallos de modelo claros y concentrados, como bucles anómalos o comportamientos específicos, pero no puede aumentar directamente el conocimiento y la capacidad de razonamiento que el modelo no posee originalmente.
Al mismo tiempo, el hecho de que Astra no pudiera identificar solo mediante pesos qué modelo fue entrenado con comportamientos de adulación también indica que su comprensión de los pesos no es estable y aún existen límites de tarea.
Currently, these results are early findings released by the research team and require further independent replication and systematic evaluation.
Si este método puede extenderse aún más, podría utilizarse para identificar fallos en el modelo, eliminar comportamientos anómalos, mejorar la interpretabilidad e incluso generar redes específicas según necesidades expresadas en lenguaje natural.
Pero los experimentos actuales no son suficientes para demostrar que puede reemplazar el entrenamiento, ni implican que los modelos grandes ya puedan "construir" otros modelos de manera generalizada.
El significado más importante de este estudio es que muestra una nueva forma de interacción:
No solo genera texto y código, sino que también comienza a comprender y escribir redes neuronales.
Source:Big Data Digest
Advertencia de riesgo y cláusula de exención de responsabilidad
El mercado conlleva riesgos; invierta con cautela. Este artículo no constituye una recomendación de inversión personal ni tiene en cuenta los objetivos de inversión, situación financiera o necesidades específicas de usuarios individuales. Los usuarios deben evaluar si cualquier opinión, punto de vista o conclusión presentada en este artículo se ajusta a su situación particular. Invertir sobre esta base es responsabilidad del usuario.


