Tim MIT CSAIL mengusulkan metode "pemrograman ruang bobot" yang memungkinkan GPT-6 Astra membaca dan mengubah bobot jaringan saraf secara langsung. Pada model Qwen3.5-0.8B, hanya dengan menyesuaikan 0,016% bobot, skor MATH-500 meningkat dari 7,9% menjadi 48,1%, secara signifikan memperbaiki masalah loop penalaran. Eksperimen juga memverifikasi kemampuan Astra dalam memahami bobot, memperbaiki gangguan, serta menghasilkan jaringan dari nol, tetapi efektivitasnya masih terbatas pada model sederhana dan belum dapat menggantikan pelatihan atau menghasilkan model kompleks secara umum.Penulis artikel, sumber: Big Data Digest
AI lagi-lagi menghadirkan hal yang mengejutkan!
Tim MIT CSAIL mengusulkan metode yang disebut "Weight-Space Programming": tanpa pelatihan atau perhitungan gradien, GPT-6 Astra langsung membaca dan memodifikasi bobot jaringan saraf.

Dalam eksperimen Qwen3.5-0.8B, Astra hanya mengubah sekitar 0,016% bobot, sehingga meningkatkan skor MATH-500 dari 7,9% menjadi 48,1%, GSM8K dari 13,8% menjadi 67,1%, dan skor kepatuhan instruksi IFEval dari 21,0% menjadi 62,3%.
Ini berarti model besar mulai memiliki kemampuan untuk secara langsung memahami dan mengedit parameter jaringan saraf.

This work was led by MIT CSAIL PhD students Rikiya Takehi and Jayden Teoh, with collaborators Alex Zhang and Omar Khattab. The research team published the findings on the Sparks of Weight-Space Programming research blog.

Apa itu pemrograman ruang bobot?
Weights are the core parameters in neural networks that determine how the model processes input information and generates the final output.
Pelatihan model tradisional biasanya memerlukan persiapan data, perhitungan loss dan gradien, lalu penyesuaian bobot secara terus-menerus melalui optimizer. Seluruh proses ini bergantung pada komputasi besar, dan parameter di dalam model pun sulit dipahami secara langsung oleh manusia.
Weight Space Programming menyediakan pendekatan yang berbeda:
Anggap bobot jaringan saraf sebagai objek yang dapat dibaca, dianalisis, dan dimodifikasi oleh model besar.
Model besar umum secara langsung menentukan fungsi jaringan, mengidentifikasi struktur异常, dan memodifikasi parameter yang sesuai berdasarkan tujuan bahasa alami.
Dalam penelitian ini, Astra terutama menyelesaikan tiga jenis tugas: 1. Membaca bobot, menentukan tugas yang telah dilatih oleh jaringan saraf; 2. Memodifikasi bobot, memperbaiki gangguan tertentu dalam jaringan; 3. Menghasilkan bobot dari nol, membangun jaringan kecil dengan fungsi tertentu.
Tim peneliti pertama-tama menguji kemampuan Astra dalam memahami bobot jaringan saraf.

Dalam eksperimen pertama, peneliti melatih empat jaringan saraf kecil dengan struktur identik menggunakan PPO untuk memainkan Breakout, Pong, Pac-Man, dan Freeway.
Astra mendapatkan seluruh bobot asli, tetapi tidak mengetahui nama game kandidat, dan tidak dapat mengamati perilaku dengan menjalankan jaringan. Pada akhirnya, ia berhasil mengidentifikasi empat jaringan masing-masing sesuai dengan game yang sesuai.

Dalam eksperimen kedua, para peneliti melatih tiga model difusi untuk menghasilkan lingkaran, segitiga, dan persegi. Astra juga berhasil menentukan tujuan generasi setiap model hanya berdasarkan bobotnya.

Eksperimen kelompok ketiga diperluas ke model bahasa. Para peneliti melatih tiga Transformer kecil dengan 7,2 juta parameter, masing-masing belajar kode Python, bahasa Jepang romaji, dan bahasa Inggris. Bahkan hanya dengan menyediakan bobot lapisan tengah dan menghapus lapisan input dan output, Astra tetap mampu mengenali jenis korpus pelatihan serta mengidentifikasi kepala perhatian yang disalin dalam jaringan.
Eksperimen-eksperimen ini menunjukkan bahwa model besar umum tidak hanya mampu menangani teks dan kode, tetapi juga dapat mengekstrak informasi fungsional jaringan saraf dari bobot.
Kedua, hanya ubah bobot 0,016% untuk memperbaiki siklus inferensi

The Qwen3.5-0.8B experiment is the most focused part of this study.
Model ini cenderung terjebak dalam siklus penalaran setelah mode pemikiran diaktifkan, menghasilkan konten yang serupa berulang-ulang dan gagal memberikan jawaban akhir secara tepat waktu. Dalam pengujian baseline, 93% jawaban MATH-500 mencapai batas panjang 32768 token.
Astra mengakses bobot model melalui antarmuka Python dan memeriksa perilaku model menggunakan soal-soal dari dataset GSM8K dan MATH, tetapi tidak dapat menggunakan informasi pelatihan atau gradien, serta tidak dapat mengakses set pengujian akhir.
Setelah dianalisis, Astra mengidentifikasi masalah pada sebagian struktur MLP di lantai 15 dan lantai 19, serta menghapus arah yang terkait dengan output berulang.
Perubahan ini melibatkan 131072 bobot, sekitar 0,016% dari total bobot model. Setelah perubahan, persentase jawaban MATH-500 yang mencapai batas token turun dari 93% menjadi 33,1%.
Oleh karena itu, peningkatan kinerja kali ini terutama bukan karena menanamkan pengetahuan matematika baru ke dalam model, tetapi memperbaiki gangguan yang menghambat model dalam melakukan penalaran. Sebagian masalah yang sebelumnya dapat diselesaikan, setelah perbaikan sekarang dapat menghasilkan jawaban lengkap.

Namun, meskipun patch akhirnya kecil, proses analisisnya tidak sederhana. Eksperimen terbaik menggunakan 50 permintaan evaluasi, 158 sesi percakapan, dan 80 eksekusi Python, memakan waktu 20,3 jam.
Tiga: Menulis bobot jaringan saraf dari nol
Tim peneliti juga menguji kemampuan Astra untuk menghasilkan parameter jaringan dari nol.
Dalam tiga game MinAtari yaitu Breakout, Seaquest, dan Asterix, Astra mendapatkan aturan game, kode sumber, dan struktur jaringan, tetapi tidak boleh menggunakan data pelatihan, fungsi kerugian, gradien, atau percobaan lingkungan.
Jaringan baru yang dihasilkan secara langsung melebihi jaringan yang sesuai yang dilatih dengan PPO sebanyak 100 juta langkah dalam ketiga game tersebut.
Dibandingkan dengan jaringan PPO yang dilatih selama 500 juta langkah, jaringan yang dihasilkan oleh Astra mencapai skor sekitar 20 kali lebih tinggi di Breakout, performa hampir setara di Asterix, dan mencapai sekitar 60% dari skor jaringan tersebut di Seaquest.
Dalam eksperimen Go 9×9, Astra menghasilkan jaringan dengan sekitar 1,48 juta parameter. Seiring peningkatan jumlah evaluasi maju yang diizinkan, kinerja jaringan terus meningkat; dalam kondisi 50 evaluasi maju, jaringan ini mengalahkan jaringan PPO berukuran sama yang telah dilatih selama 20 juta permainan.
Hasil-hasil ini menunjukkan bahwa model besar mungkin sudah mampu mengubah sebagian logika algoritma langsung menjadi bobot jaringan saraf berdasarkan deskripsi tugas.
Namun, eksperimen terkait masih terutama berfokus pada jaringan sederhana dan berukuran kecil; kemampuan untuk diperluas ke model yang lebih besar dan lebih kompleks masih perlu diverifikasi lebih lanjut.
Untuk membedakan antara "memperbaiki gangguan" dan "meningkatkan kemampuan", tim peneliti juga melakukan eksperimen tambahan pada Gemma 3 270M.

Gemma 3 270M jarang mengalami siklus inferensi, kesalahan utama berasal dari penalaran aritmetika dan aljabar. Astra mencoba beberapa perbaikan bertarget, tetapi peningkatan skor MATH-500 tidak pernah melebihi sekitar 1 persen, sehingga tidak dapat dikonfirmasi bahwa model mengalami perbaikan stabil.
Ini menunjukkan bahwa pemrograman ruang bobot saat ini lebih cocok untuk menangani gangguan model yang jelas dan terfokus, seperti siklus abnormal atau perilaku tertentu, namun tidak dapat secara langsung menambah pengetahuan dan kemampuan penalaran yang tidak dimiliki model sebelumnya.
Sementara itu, Astra gagal dalam eksperimen lain untuk mengidentifikasi hanya berdasarkan bobot model mana yang dilatih dengan perilaku flatter, yang juga menunjukkan bahwa pemahaman bobotnya tidak stabil dan masih ada batasan tugas.
Currently, these results are early findings released by the research team and require further independent replication and systematic evaluation.
Jika metode ini dapat diperluas lebih lanjut, ia dapat digunakan untuk mengidentifikasi kegagalan model, menghapus perilaku anomali, meningkatkan interpretabilitas, atau bahkan menghasilkan jaringan spesifik berdasarkan kebutuhan bahasa alami.
Namun, eksperimen pada tahap saat ini belum cukup untuk membuktikan bahwa ia dapat menggantikan pelatihan, maupun berarti model besar telah mampu secara umum "membuat sendiri" model lain.
Makna yang lebih penting dari penelitian ini adalah bahwa ia menunjukkan cara interaksi baru:
Tidak hanya menghasilkan teks dan kode, tetapi juga mulai memahami dan menulis jaringan saraf itu sendiri.
Source:Big Data Digest
Peringatan Risiko dan Klausul Penyangkalan Tanggung Jawab
Pasaran memiliki risiko, berinvestasilah dengan hati-hati. Artikel ini bukan merupakan saran investasi pribadi dan tidak mempertimbangkan tujuan investasi, keadaan keuangan, atau kebutuhan khusus individu. Pengguna harus mempertimbangkan apakah setiap pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan kondisi spesifik mereka. Berinvestasi berdasarkan ini adalah tanggung jawab Anda sendiri.


