Дослідники MIT використовують GPT-6 Astra, щоб збільшити математичні здібності Qwen у 6 разів

Автор: Shenchao TechFlow

Не потрібно навчання, не потрібні дані, не потрібен градієнтний спуск.

Дослідники MIT передали ваги відкритої невеликої моделі GPT-6 Astra і дали команду на природній мові: «Підвищте її математичні здібності».

Astra провела 20 годин, переглядаючи 800 мільйонів параметрів, щоб знайти 131 072 ваги у двох шарах мережі та провести операцію.

До операції модель набрала 7,9% у тесті MATH-500; після операції — 48,1%.

Це найбільш сенсаційна новина про ШІ сьогодні.

2 листопада дослідницька команда Лабораторії комп’ютерних наук та штучного інтелекту MIT (CSAIL) опублікувала блог, в якому представила результати експерименту, який вони назвали «програмуванням у ваговому просторі» (Weight-Space Programming). Першим автором є перший річний докторант MIT CSAIL Рікія Такехі, а співавторами — Джейден Тіо, Алекс Чжан та керівник Такехі Омар Хаттаб.

Суть експерименту можна описати одним реченням: дати досить потужному ШІ прямо прочитати «мозок» іншого ШІ, знайти проблему та точно виправити її, як скальпелем.

Вибраним «пацієнтом» є відкритий моделі Alibaba Qwen3.5-0.8B — невелика мовна модель з 800 мільйонами параметрів. «Хірургом» є останній GPT-6 Astra від OpenAI.

Дослідницька команда надала Astra три речі: набір математичних завдань, Python-середовище для читання та запису ваг моделі, а також обмежену кількість викликів висновку моделі. Немає GPU, немає циклу навчання, немає оптимізатора. Astra повинна, як людина-дослідник, діагностувати проблему, спостерігаючи за поведінкою моделі та перевіряючи значення ваг, а потім безпосередньо змінювати параметри.

Процес тривав 20,3 години, з яких 4,7 години було витрачено на очікування відновлення сервісу. Astra провела 158 діалогів, 80 виконань Python і 50 оцінок моделі.

Нарешті, він виявив «числовий напрямок», що призводить до повторюваних виводів моделі, у матрицях виходів MLP на 15-му та 19-му рівнях, а потім відняв цей напрямок від 64 стовпців виходу. Загалом було змінено 131 072 ваги, що становить 0,016% усіх параметрів моделі.

Малі зміни, великий ефект.

На трьох тестах порівняння до та після змін виглядає так:

MATH-500: 7,9% → 48,1%

GSM8K: 13,8% → 67,1%

IFEval (дотримання інструкцій): 21,0% → 62,3%

Ще один більш наочний показник: до змін 93% відповідей Qwen3.5-0.8B у MATH-500 досягали ліміту в 32 768 токенів через зациклення. Після змін цей показник знизився до 33,1%.

Стаття VentureBeat порівнює це з «редагуванням генів нейронних мереж». Цей метафора точно вловлює суть: традиційне навчання моделей подібне до того, як людина вдосконалює математичні навички через багато практики, тоді як програмування вагового простору схоже на те, щоб прямо відкрити мозок, знайти неправильно підключенний нейрон і перепідключити його.

Але дослідницька команда сама вказала на важливе обмеження: Astra не надала Qwen нових математичних здібностей, вона просто видалить перешкоду, що заважала моделі використовувати свої вже існуючі здібності.

Ця різниця критично важлива. Щоб підтвердити це, команда повторила той самий експеримент на моделі Gemma 3 270M від Google. Gemma 3 майже не стикається з проблемою повторюваних відповідей (лише 8,5% відповідей досягали ліміту токенів), і в результаті Astra майже не покращила її результат MATH-500 — коливання не перевищували 1 відсоткового пункту.

Висновок очевидний: програмування в просторі ваг зараз може «прибрати перешкоди», але не «будувати нові дороги».

Математика — це лише сценарій, продемонстрований дослідницькою командою; здатності Astra у просторі ваг набагато ширші.

Виявлення «духу»: Дослідницька команда навчила чотири мережі стратегій для ігор Atari з абсолютно однаковою архітектурою (Breakout, Pong, Pac-Man, Freeway), а потім передала Astra лише ваги, не надаючи жодних міток. Astra змогла точно визначити, якій грі відповідає кожна мережа, лише за значеннями ваг. Її міркування було таким: ваги першого шару мережі Breakout зосереджені в нижній частині екрану (позиція ракетки), а розподіл дій у вихідному шарі схильний до руху вліво та вправо.

Створення мережі з нуля: у експериментах з MinAtar (мініатюрна версія Atari) Astra безпосередньо «написала» мережу стратегій гри у просторі ваг. На Breakout мережа, написана Astra, набрала 517,4 бала, тоді як мережа, навчена за допомогою алгоритму PPO за 5 мільярдів кроків, набрала лише 25,3 бала.

Виправлення застряглого автопілоту: контролер автомобіля, навчений за допомогою PPO, застряг на схилі в локальній оптимумі. Astra за одну діалогову сесію змінила 3,5% ваг, і виправлений контролер успішно пройшов усі 1 024 тести.

Спільною рисою цих експериментів є те, що Astra не лише «розуміє» ваги, розуміючи, яке поведінкове значення має кожне число, але й «переписує» ваги, дозволяючи моделі робити те, чого не можуть досягти навчальні алгоритми.

До програмування в просторі вагів академічна спільнота вже намагалася безпосередньо редагувати ваги моделей. ROME на NeurIPS 2022 року та MEMIT на ICLR 2023 року продемонстрували, як точно вставляти чи змінювати фактичні знання в вагах мовних моделей, наприклад, змінюючи «Ейфелева вежа знаходиться в Парижі» на «Ейфелева вежа знаходиться в Римі».

Але ROME та MEMIT виконують «пошук і заміну на рівні фактів», працюючи з окремими знаннями. Відмінність у цьому випадку від MIT: Astra змінює загальні здібності моделі — математичні міркування та виконання інструкцій, що перетинає межу між «редагуванням однієї точки знань» та «зміною шаблону поведінки».

Висновок Такехі у блозі ще більш радикальний: «Ваги нейромережі дуже скоро будуть оптимізовані нативно LLM, здатними міркувати над вагами».

Якщо цей напрямок буде підтверджено, потенційні сценарії застосування включають:

Відновлення моделі: якщо після розгортання модель виявилася несправною, не потрібно вивозити її назад для переосвіти — просто дайте іншому ШІ «діагностувати» та внести виправлення. Для передових моделей, вартість навчання яких сягає десятків мільйонів доларів, це може означати значну економію витрат.

Аудит моделі: якщо ШІ може читати ваги, то дослідники безпеки також можуть використовувати це для перевірки, чи не було в моделі вставлено бекдори або шкідливу поведінку.

Налаштування відкритих моделей: достатньо потужний ІІ може «налаштовувати» можливості відкритих моделей за допомогою природних мовних інструкцій, не вимагаючи жодної інфраструктури для навчання.

GPT-6 Astra сам по собі є моделлю, що викликає суперечки. OpenAI відклали запуск оновленої версії GPT-6.1 Astra через побоювання щодо безпеки.

Науковий керівник OpenAI Якуб Пачоцкі написав статтю через три дні після запуску Astra, попереджаючи, що результати внутрішніх тестів OpenAI свідчать про те, що розвиток ШІ може призвести до «рекурсивного самовдосконалення», коли системи ШІ все більше беруть участь у створенні власних наступників. Він зазначив, що жодна внутрішня система огляду в лабораторії не здатна впоратися з цією перспективою.

Програмування вагових просторів точно дотикається до суті цього попередження. Якщо ШІ може змінювати ваги іншого ШІ, щоб покращити його здібності, то чи теоретично ШІ може змінювати власні ваги?

Дослідницька команда чітко зазначила у блозі, що не продемонструвала рекурсивного самовдосконалення та не показала, що ефекти можуть накопичуватися. Але це не завадило безпековій спільноті стати настороженою. Максим Фурнез із PauseAI назвав це «надзвичайно безвідповідальним напрямком досліджень».

Поточні обмеження є реальними: експеримент вдалося успішно провести лише на невеликій моделі з 800 мільйонами параметрів, але він не вдався на Gemma 3. Процес зайняв 20 годин і багато спроб та помилок, ніхто з незалежних команд не зміг повторити його, а також не підтверджено переваги в витратах порівняно з традиційним доналаштуванням.

Але напрям вже вказаний. У статті ICML 2026 вже було запропоновано, що простір ваг повинен стати «першокласним модальним станом» генеративного ІІ, порівняно з текстом, зображеннями та аудіо, і моделі повинні природно розуміти та операційно працювати з вагами.

Якщо 2024 рік був роком, коли ШІ навчився «описувати зображення», а 2025 рік — роком, коли ШІ навчився «писати код», то 2026 рік, можливо, стає роком, коли ШІ навчиться «модифікувати ШІ».

Куди веде цей шлях, зараз ніхто не знає.