Peneliti MIT Gunakan GPT-6 Astra untuk Meningkatkan Kemampuan Matematika Qwen Sebesar 6x

Penulis: Shenchao TechFlow

Tidak perlu pelatihan, tidak perlu data, tidak perlu gradient descent.

Para peneliti MIT memberikan bobot model kecil open-source ke GPT-6 Astra, lalu memberikan perintah dalam bahasa alami: "Tingkatkan kemampuan matematisnya."

Astra menghabiskan 20 jam, menelusuri 8 miliar parameter, dan menemukan 131.072 bobot dalam jaringan dua lapis, lalu melakukan operasi.

Sebelum operasi, model ini mendapatkan skor 7,9% pada ujian benchmark MATH-500; setelah operasi, 48,1%.

Ini adalah berita AI paling mengejutkan hari ini.

Pada 2 November, tim peneliti dari MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) merilis sebuah blog yang mengumumkan hasil eksperimen yang mereka sebut "Weight-Space Programming". Penulis pertama, Rikiya Takehi, adalah mahasiswa doktoral tahun pertama di MIT CSAIL, dengan kolaborator termasuk Jayden Teoh, Alex Zhang, dan pembimbing Takehi, Omar Khattab.

Gagasan inti eksperimen dapat diringkas dalam satu kalimat: biarkan AI yang cukup kuat membaca secara langsung "otak" AI lain, menemukan masalahnya, lalu memodifikasinya dengan presisi seperti scalpel.

Pasien yang dipilih adalah model open-source Alibaba, Qwen3.5-0.8B, sebuah model bahasa kecil dengan 800 juta parameter. Sang ahli bedah adalah GPT-6 Astra terbaru dari OpenAI.

Tim peneliti memberikan tiga hal kepada Astra: sekumpulan soal matematika, lingkungan Python yang dapat membaca dan menulis bobot model, serta akses terbatas untuk pemanggilan inferensi model. Tidak ada GPU, tidak ada loop pelatihan, tidak ada optimizer. Astra harus, seperti seorang peneliti manusia, mendiagnosis masalah dengan mengamati perilaku model dan memeriksa nilai bobot, lalu langsung memodifikasi parameter.

Proses seluruhnya berlangsung selama 20,3 jam, dengan 4,7 jam dihabiskan untuk menunggu pemulihan gangguan layanan. Astra melakukan 158 sesi percakapan, 80 eksekusi Python, dan 50 evaluasi model.

Pada akhirnya, ia menemukan sebuah "arah numerik" yang menyebabkan model terjebak dalam output berulang di matriks output MLP pada lapisan ke-15 dan ke-19, lalu mengurangkan arah ini dari 64 kolom output. Total bobot yang dimodifikasi adalah 131.072, atau 0,016% dari seluruh parameter model.

Perubahan kecil, efek luar biasa.

Pada tiga benchmark, perbandingan sebelum dan sesudah perubahan adalah sebagai berikut:

MATH-500: 7,9% → 48,1%

GSM8K: 13,8% → 67,1%

IFEval (pemenuhan instruksi): 21,0% → 62,3%

Angka yang lebih intuitif: sebelum pembaruan, 93% jawaban Qwen3.5-0.8B pada MATH-500 mencapai batas 32.768 token karena terjebak dalam siklus pengulangan. Setelah pembaruan, rasio ini turun menjadi 33,1%.

Laporan VentureBeat membandingkan ini dengan "pengeditan gen pada jaringan saraf". Perbandingan ini secara akurat menangkap intinya: pelatihan model tradisional seperti membiarkan seseorang meningkatkan kemampuan matematikanya melalui latihan berulang, sedangkan pemrograman ruang bobot lebih seperti langsung membuka otak, menemukan saraf yang salah terhubung, lalu menghubungkannya kembali.

Namun, tim peneliti memberikan batasan penting sendiri: Astra tidak memberikan kemampuan matematika baru ke Qwen, ia hanya menghilangkan hambatan yang menghalangi model untuk memaksimalkan kemampuan yang sudah dimilikinya.

Perbedaan ini sangat penting. Untuk memverifikasi hal ini, tim mengulangi eksperimen yang sama pada model Gemma 3 270M dari Google. Gemma 3 jarang mengalami masalah output berulang (hanya 8,5% jawaban yang menyentuh batas token), dan hasilnya, Astra hampir tidak meningkatkan skor MATH-500-nya, dengan fluktuasi tidak lebih dari 1 persen.

Kesimpulannya jelas: pemrograman ruang bobot saat ini mampu melakukan "menghilangkan hambatan", bukan "membangun jalan baru".

Matematika hanyalah satu skenario yang ditampilkan oleh tim peneliti; kemampuan Astra dalam ruang bobot jauh melampaui hal ini.

Mengidentifikasi 'Jiwa': Tim peneliti melatih empat jaringan strategi game Atari dengan arsitektur yang identik (Breakout, Pong, Pac-Man, Freeway), lalu hanya memberikan bobot ke Astra tanpa memberikan label apa pun. Astra hanya dengan menggunakan nilai bobot mampu mengidentifikasi dengan akurat game mana yang sesuai dengan setiap jaringan. Cara penalarannya adalah: bobot lapisan pertama jaringan Breakout terkonsentrasi di bagian bawah layar (posisi raket), sedangkan distribusi tindakan lapisan output cenderung ke gerakan kiri dan kanan.

Membangun jaringan dari nol: Dalam eksperimen MinAtar (versi mini Atari), Astra secara langsung "menulis" jaringan strategi permainan di ruang bobot dari nol. Pada Breakout, jaringan yang ditulis oleh Astra mendapatkan skor 517,4, sementara jaringan yang dilatih dengan algoritma PPO selama 5 miliar langkah hanya mendapatkan skor 25,3.

Memperbaiki pengendali mobil otonom yang macet: Sebuah pengendali mobil yang dilatih dengan PPO terjebak di lereng akibat optimal lokal. Astra hanya dengan satu sesi percakapan, memodifikasi 3,5% bobot, dan pengendali yang diperbaiki berhasil dalam semua 1.024 uji coba.

Titik bersama dari eksperimen ini adalah: Astra tidak hanya dapat "membaca" bobot, memahami apa yang diwakili setiap angka, tetapi juga dapat "menulis ulang" bobot, memungkinkan model melakukan hal-hal yang tidak dapat dilakukan oleh algoritma pelatihan.

Sebelum pemrograman ruang bobot, akademisi telah mencoba mengedit bobot model secara langsung. ROME di NeurIPS 2022 dan MEMIT di ICLR 2023 keduanya menunjukkan cara menyisipkan atau memodifikasi pengetahuan fakta secara tepat dalam bobot model bahasa, misalnya mengubah "Menara Eiffel berada di Paris" menjadi "Menara Eiffel berada di Roma".

Namun, ROME dan MEMIT melakukan pencarian dan penggantian berbasis fakta, dengan objek operasi berupa satu unit pengetahuan. Perbedaan yang ditunjukkan tim MIT kali ini: Astra mengubah kemampuan umum model, yaitu penalaran matematis dan kepatuhan terhadap instruksi, yang melintasi ambang batas dari "mengedit satu titik pengetahuan" menjadi "mengubah pola perilaku".

Penilaian Takehi di blog lebih agresif: "Bobot jaringan saraf akan segera dioptimasi secara native oleh LLM yang mampu menalar bobot."

Jika arah ini diverifikasi, skenario aplikasi potensial meliputi:

Perbaikan model: Setelah model dideploy, jika muncul masalah, tidak perlu menariknya kembali untuk dilatih ulang—biarkan AI lainnya "memeriksa" dan memperbaikinya. Bagi model-model mutakhir yang biaya pelatihannya bisa mencapai puluhan juta dolar, ini bisa berarti penghematan biaya yang sangat besar.

Audit model: Jika AI dapat membaca bobot, maka peneliti keamanan juga dapat menggunakannya untuk memeriksa apakah suatu model telah ditanami backdoor atau perilaku jahat.

Penyesuaian model open-source: AI yang cukup kuat dapat "menyesuaikan" kemampuan model open-source melalui instruksi bahasa alami, tanpa memerlukan infrastruktur pelatihan apa pun.

GPT-6 Astra sendiri adalah model yang penuh kontroversi. OpenAI pernah menunda peluncuran versi upgrade-nya, GPT-6.1 Astra, karena kekhawatiran keamanan.

Ilmuwan utama OpenAI, Jakub Pachocki, menulis artikel peringatan tiga hari setelah peluncuran Astra: hasil pengujian internal OpenAI menunjukkan bahwa kemajuan AI mungkin menuju ke "perbaikan diri rekursif", di mana sistem AI semakin banyak terlibat dalam membangun penerusnya sendiri. Ia mengatakan tidak ada sistem tinjauan internal laboratorium yang cukup untuk menghadapi prospek ini.

Pemrograman ruang bobot secara tepat menyentuh inti peringatan ini. Jika sebuah AI dapat memodifikasi bobot AI lain untuk meningkatkan kemampuannya, secara teori, bisakah sebuah AI memodifikasi bobotnya sendiri?

Tim peneliti secara jelas menyatakan dalam blog mereka bahwa mereka tidak menunjukkan peningkatan mandiri rekursif, juga tidak menunjukkan bahwa efeknya dapat terakumulasi secara berkelanjutan. Namun, hal ini tidak mencegah komunitas keamanan menjadi waspada. Maxime Fournes dari PauseAI menyebutnya sebagai "arah penelitian yang sangat sembrono".

Batasan saat ini nyata: eksperimen hanya berhasil pada model kecil dengan 800 juta parameter, dan gagal pada Gemma 3. Proses ini memerlukan 20 jam dan banyak percobaan serta kesalahan, belum ada tim independen yang berhasil mereplikasi, dan keunggulan biaya dibandingkan fine-tuning tradisional juga belum terbukti.

Namun arahnya sudah ditunjukkan. Makalah di ICML 2026 telah mengusulkan bahwa ruang bobot seharusnya menjadi "modalitas kelas satu" dalam AI generatif, sejajar dengan teks, gambar, dan audio, sehingga model seharusnya secara asli memahami dan mengoperasikan bobot.

Jika 2024 adalah tahun di mana AI belajar "melihat gambar dan berbicara", 2025 adalah tahun di mana AI belajar "menulis kode secara aktif", maka 2026 mungkin sedang menjadi tahun di mana AI belajar "mengubah AI".

No one currently knows where this path leads.