執筆：深潮 TechFlow
トレーニング不要、データ不要、勾配降下不要。
MITの研究者たちは、オープンソースの小型モデルの重みをGPT-6 Astraに渡し、自然言語で次のような指示を出した。「その数学能力を向上させよ。」
アストラは20時間かけて8億のパラメータを調査し、2層のネットワーク内の131,072の重みを特定して手術を行った。
手術前、このモデルはMATH-500ベンチマークで7.9%の得点だったが、手術後は48.1%となった。
これが今日最も話題のAIニュースです。
勾配のない手術
11月2日、MITコンピュータ科学・人工知能研究所（CSAIL）の研究チームは、彼らが「重み空間プログラミング」（Weight-Space Programming）と呼ぶ実験結果をブログで発表した。第一著者のRikiya TakehiはMIT CSAILの1年生博士課程学生であり、共同研究者にはJayden Teoh、Alex Zhang、そしてTakehiの指導教員であるOmar Khattabが含まれる。
実験の核心的な発想は、一つの文で要約できます：十分に強力なAIが、別のAIの「脳」を直接読み取り、問題点を特定し、手術刀のように正確に修正する。
選ばれた「患者」は、アリババのオープンソースモデルQwen3.5-0.8Bであり、8億パラメータの小型言語モデルである。「外科医」は、OpenAIの最新モデルGPT-6 Astraである。
研究チームはAstraに三つのものを提供した：一連の数学の練習問題、モデルの重みを読み書きできるPython環境、および制限された回数のモデル推論呼び出し権限。GPUも、トレーニングループも、最適化アルゴリズムもなかった。Astraは、モデルの挙動を観察し、重みの数値を検査することで問題を診断し、直接パラメータを修正する必要があった。
このプロセスは20.3時間かかり、そのうち4.7時間はサービス停止の復旧を待つことに費やされました。Astraは158回の会話、80回のPython実行、および50回のモデル評価を実行しました。
最終的に、彼は第15層と第19層のMLP出力行列において、モデルが繰り返し出力に陥る原因となる「数値的方向」を特定し、64個の出力列からこの方向を減算した。修正された重みは合計131,072個で、モデルの全パラメータの0.016%に相当する。
数学の成績が6倍に増えた
小さな変更だが、効果は抜群。
3つのベンチマークにおいて、修正前と修正後の比較は以下の通りです：
MATH-500：7.9% → 48.1%
GSM8K：13.8% → 67.1%
IFEval（指示の遵守）：21.0% → 62.3%
さらに直感的な数値として、修正前はQwen3.5-0.8BがMATH-500で93%の回答で繰り返しループに陥り、32,768トークンの上限に達していました。修正後、この割合は33.1%に低下しました。
VentureBeatの報道はこれを「ニューラルネットワークの遺伝子編集」と例えた。この比喩は本質を的確に捉えており、従来のモデル訓練は多くの練習を通じて数学の能力を高めるようなものであるのに対し、重み空間プログラミングは、脳を開いて誤って接続された神経を直接見つけ出し、再接続するようなものである。
ただし、研究チーム自身が重要な制限を示しています：AstraはQwenに新しい数学的能力を付与したのではなく、モデルが既存の能力を発揮するのを妨げていた障害を取り除いたにすぎません。
この違いは極めて重要です。これを確認するために、チームはGoogleのGemma 3 270Mモデルで同じ実験を繰り返しました。Gemma 3は重複出力の問題がほとんど発生せず（回答の8.5％のみがトークン上限に達した）、AstraによるMATH-500スコアの改善はほぼ見られず、変動は1パーセントポイント以内でした。
結論は明確です：重み空間プログラミングが現在できるのは「障害物を除去すること」であり、「新しい道を築くこと」ではありません。
数学だけではない
数学は研究チームが提示した一例に過ぎず、Astraの重み空間における能力はこれにとどまりません。
「ソウル」を識別する：研究チームは、4つのアーキテクチャが完全に同一のアタリゲーム戦略ネットワーク（Breakout、Pong、Pac-Man、Freeway）を訓練し、ラベルを一切与えずに重みのみをAstraに渡した。Astraは重みの数値のみに基づいて、各ネットワークが対応するゲームを正確に識別した。その推論方法は、Breakoutネットワークの第1層の重みが画面の下部（ラケットの位置）に集中し、出力層のアクション分布が左右移動に偏っていることである。
ゼロからネットワークを構築：MinAtar（Atariのミニバージョン）での実験において、Astraは重み空間内で直接ゲーム戦略ネットワークを「書き」、Breakoutで517.4点を獲得した。一方、PPOアルゴリズムで5億ステップ訓練したネットワークは25.3点しか得られなかった。
スタックした自動運転の修復：PPOで訓練された車両コントローラーが斜面でスタックし、局所最適に陥っていた。Astraは1回の対話だけで重みの3.5%を修正し、修正後のコントローラーは1,024回のテストですべて成功した。
これらの実験の共通点は、Astraが重みを「読み取る」だけでなく、各数値がどのような行動を表しているかを理解し、重みを「書き換える」ことで、訓練アルゴリズムでは実現できないことをモデルにさせられることです。
「ニューラルネットワークのゲノム編集」とは何か？
重み空間のプログラミング以前に、学術界ではモデルの重みを直接編集する試みが行われていた。2022年のNeurIPSで発表されたROMEや、2023年のICLRで発表されたMEMITは、言語モデルの重みに「エッフェル塔はパリにある」を「エッフェル塔はローマにある」のように、事実的な知識を正確に挿入または変更する方法を示した。
しかし、ROMEとMEMITは「事実レベルの検索と置換」を行い、対象は単一の知識です。MITチームが今回示したものは異なります：Astraはモデルの汎用能力、数学的推論、および指示の順守を変更しており、これは「単一の知識を編集する」から「行動パターンを変える」への境界を越えています。
Takehiはブログでの判断がより積極的だ：「ニューラルネットワークの重みは、重みを推論できるLLMによって原生的に最適化されるようになる。」
この方向が検証された場合、潜在的なアプリケーションシーンには以下が含まれます：
モデルの修復：デプロイ後のモデルに問題が発生した場合、再学習のために取り戻す必要はなく、別のAIが「診断」して修正できます。訓練コストが数千万ドルに及ぶ最先端モデルにとって、これは大きなコスト削減を意味する可能性があります。
モデル監査：AIが重みを読み取れるなら、セキュリティ研究者もそれを用いてモデルにバックドアや悪意のある行動が組み込まれているかを確認できる。
オープンソースモデルのカスタマイズ：十分な性能を持つAIは、トレーニングインフラを一切必要とせずに、自然言語の指示に基づいてオープンソースモデルに能力を「カスタマイズ」できます。
コインの裏側
GPT-6 Astra自体が議論を呼ぶモデルである。OpenAIはセキュリティ上の懸念から、そのアップグレード版GPT-6.1 Astraのリリースを延期した。
OpenAIのチーフサイエンティスト、Jakub Pachockiは、Astraのリリースから3日後に記事を掲載し、OpenAIの内部テスト結果によると、AIの進歩は「再帰的自己改善」に向かう可能性があると警告した。これは、AIシステムが自らの後継者を構築するプロセスにますます関与するようになることを意味する。彼は、現在のどの研究所の内部監査体制も、この可能性に十分に対応できないと述べた。
重み空間プログラミングは、この警告の核心にちょうど触れている。AIが別のAIの重みを変更して能力を向上させられるなら、理論的には、AIは自分自身の重みを変更できるだろうか？
研究チームはブログで、再帰的な自己改善を示していないこと、そして効果が継続的に累積されることを示していないことを明確に述べている。しかし、これはセキュリティコミュニティの警戒を妨げていない。PauseAIのMaxime Fournesは、これを「極めて軽率な研究分野」と呼んでいる。
現在の制限は現実的です：実験は8億パラメータの小さなモデルでのみ成功し、Gemma 3では失敗しました。このプロセスには20時間と多くの試行錯誤を要し、独立したチームによる再現は行われていません。従来のファインチューニングと比較したコスト優位性も検証されていません。
しかし、方向はすでに示されている。ICML 2026では、重み空間を生成AIの「第一級のモダリティ」として、テキスト、画像、音声と並べ、モデルが重みを原生的に理解し操作すべきであるという論文が提出されている。
2024年がAIが「画像を説明する」ことを学んだ年だとすれば、2025年はAIが「コードを書く」ことを学んだ年であり、2026年はAIが「AIを改造する」ことを学ぶ年になりつつあるかもしれない。
この道がどこに通じているかは、現在誰も知らない。