Команда MIT CSAIL предложила метод «программирования в весовом пространстве», позволяющий GPT-6 Astra напрямую считывать и изменять веса нейронной сети. В модели Qwen3.5-0.8B достаточно было изменить всего 0,016% весов, чтобы результат на MATH-500 повысился с 7,9% до 48,1%, что значительно устранило проблему с циклами рассуждений. Эксперименты также подтвердили способность Astra понимать веса, исправлять сбои и генерировать сети с нуля, однако её эффективность пока ограничена простыми моделями и она не может заменить обучение или универсальную генерацию сложных моделей.Автор статьи, источник: Big Data Digest
В мире ИИ снова появился мощный проект!
Команда MIT CSAIL предложила метод, называемый «программированием в весовом пространстве» (Weight-Space Programming): без обучения и вычисления градиентов GPT-6 Astra напрямую считывает и изменяет веса нейронной сети.

В эксперименте с Qwen3.5-0.8B Astra изменила всего около 0,016% весов, повысив результат модели на MATH-500 с 7,9% до 48,1%, на GSM8K — с 13,8% до 67,1%, а также результат по выполнению инструкций IFEval — с 21,0% до 62,3%.
Это означает, что крупные модели начали обладать способностью напрямую понимать и редактировать параметры нейронных сетей.

Эта работа была возглавлена аспирантами MIT CSAIL Рикией Такехи и Дейденом Тиохом, а также включает соавторов Алекса Чжана и Омара Хаттаба. Исследовательская группа опубликовала результаты в исследовательском блоге «Sparks of Weight-Space Programming».

Что такое программирование в весовом пространстве?
Weights are the core parameters of a neural network, determining how the model processes input information and generates the final output.
Традиционное обучение моделей обычно требует подготовки данных, вычисления потерь и градиентов, а затем постоянной настройки весов с помощью оптимизатора. Весь процесс зависит от больших вычислительных ресурсов, а параметры модели трудно понять человеку напрямую.
Программирование в пространстве весов предлагает другой подход:
Воспринимайте веса нейронной сети как объект, который можно считывать, анализировать и изменять крупными моделями.
Общая крупная модель напрямую на основе целей естественного языка определяет функции сети, выявляет аномальные структуры и корректирует соответствующие параметры.
В этом исследовании Astra выполнила три основных типа задач: 1. Чтение весов и определение задачи, для выполнения которой была обучена нейронная сеть; 2. Изменение весов для устранения конкретных сбоев в сети; 3. Генерация весов с нуля для создания небольших сетей с определёнными функциями.
Исследовательская команда сначала протестировала способность Astra понимать веса нейронной сети.

В первом эксперименте исследователи с помощью PPO обучили четыре небольших нейронные сети с полностью одинаковой структурой для игры в Breakout, Pong, Pac-Man и Freeway.
Astra получила полный исходный вес, но не знала названий кандидатских игр и не могла наблюдать поведение через сеть. В итоге она правильно определила, какая игра соответствует каждой из четырех сетей.

Во втором эксперименте исследователи обучили три диффузионные модели для генерации круга, треугольника и квадрата. Astra также успешно определила цель генерации каждой модели исключительно на основе весов.

Третий эксперимент был расширен до языковых моделей. Исследователи обучили три небольших Transformer с 7,2 миллиона параметров, чтобы они обучались на Python-коде, японском языке в румане и английском языке. Даже при предоставлении только весов промежуточных слоев и удалении входных и выходных слоев Astra все еще могла определить тип обучающего корпуса и найти скопированные головки внимания в сети.
Эти эксперименты показывают, что универсальные крупные модели могут не только обрабатывать текст и код, но и извлекать информацию о функциях нейронных сетей из весов.
Второе: измените вес на 0,016%, чтобы исправить цикл вывода

Эксперимент с Qwen3.5-0.8B является наиболее интересной частью этого исследования.
После включения режима размышления эта модель легко попадает в цикл рассуждений, повторяя похожий контент и не способна своевременно предоставить окончательный ответ. В базовом тестировании 93% ответов MATH-500 достигли лимита в 32768 токенов.
Astra использует Python-интерфейс для доступа к весам модели и проверяет поведение модели с помощью задач из наборов данных GSM8K и MATH, но не имеет доступа к информации о обучении или градиентах, а также не может взаимодействовать с финальным тестовым набором.
После анализа Astra определила проблему в частях MLP-структуры 15-го и 19-го уровней и устранила направление, связанное с дублирующимся выводом.
Это изменение затронуло 131072 веса, что составляет около 0,016% от общего количества весов модели. После изменения доля ответов MATH-500, достигающих лимита токенов, снизилась с 93% до 33,1%.
Таким образом, это улучшение результатов было вызвано не добавлением новых математических знаний в модель, а устранением сбоев, мешавших модели выполнять рассуждения. Часть задач, которые ранее не могли быть решены, теперь могут быть завершены с выдачей полных ответов.

Однако, хотя финальный патч был небольшим, процесс анализа не был простым. Лучший эксперимент использовал 50 запросов на оценку, 158 диалогов и 80 запусков Python и занял 20,3 часа.
Три. Написание весов нейронной сети с нуля
Исследовательская команда также протестировала способность Astra генерировать сетевые параметры с нуля.
В играх Breakout, Seaquest и Asterix Astra получает правила игры, исходный код и архитектуру сети, но не может использовать обучающие данные, функции потерь, градиенты или пробные прохождения среды.
Он сгенерировал новую сеть, которая превзошла соответствующую сеть, прошедшую обучение PPO в 100 миллионов шагов, во всех трех играх.
По сравнению с PPO-сетью, обученной 500 миллионами шагов, сеть, сгенерированная Astra, показывает примерно в 20 раз более высокий результат в Breakout, сопоставимый результат в Asterix и около 60% результата последней в Seaquest.
В эксперименте с игрой в го 9×9 Astra создала сеть с примерно 1,48 миллиона параметров. По мере увеличения количества разрешённых прямых оценок производительность сети продолжала улучшаться; при 50 прямых оценках она победила сеть PPO того же размера, прошедшую обучение на 20 миллионах партий.
Эти результаты показывают, что крупные модели, возможно, уже способны преобразовывать часть алгоритмической логики непосредственно в веса нейронной сети на основе описания задачи.
Однако соответствующие эксперименты по-прежнему в основном сосредоточены на простых и небольших сетях; возможность масштабирования на более крупные и сложные модели требует дальнейшей проверки.
Для различения «устранения сбоев» и «повышения способностей» исследовательская группа провела дополнительные эксперименты на Gemma 3 270M.

Gemma 3 270M редко попадает в циклы рассуждений; основные ошибки возникают при арифметических и алгебраических рассуждениях. Astra пробовала несколько целенаправленных доработок, но улучшение результата на MATH-500 никогда не превышало примерно 1 процентный пункт, и нельзя подтвердить стабильное улучшение модели.
Это означает, что программирование в весовом пространстве в настоящее время лучше подходит для устранения четких и сосредоточенных сбоев модели, таких как аномальные циклы или специфическое поведение, но не позволяет напрямую добавить модели знания и способности к рассуждению, которых у нее изначально не было.
В то же время, то, что Astra не смогла в другом эксперименте определить по весам, какая модель была обучена на угодничестве, также указывает на нестабильность её понимания весов и наличие границ задач.
Currently, these results are early findings released by the research team and require further independent replication and systematic evaluation.
Если этот метод можно будет дополнительно расширить, его можно будет использовать для выявления сбоев модели, удаления аномального поведения, повышения интерпретируемости и даже генерации специфических сетей на основе естественно-языковых запросов.
Однако текущие эксперименты недостаточны, чтобы доказать, что он может заменить обучение, и не означают, что крупные модели уже могут общепринято «создавать вручную» другие модели.
Более важное значение этого исследования заключается в том, что оно демонстрирует новый способ взаимодействия:
Не только генерируют текст и код, но и начинают понимать и писать нейронные сети сами.
Источник:Big Data Digest
Предупреждение о рисках и отказ от ответственности
Рынок сопряжен с рисками, инвестиции требуют осторожности. Настоящий материал не является персональной инвестиционной рекомендацией и не учитывает индивидуальные инвестиционные цели, финансовое положение или потребности отдельных пользователей. Пользователи должны оценить, соответствуют ли любые мнения, взгляды или выводы, представленные в этом материале, их конкретной ситуации. Инвестирование на основании данного материала осуществляется на собственный риск.


