Pasukan MIT CSAIL mengusulkan kaedah "pengaturcaraan ruang berat" yang membolehkan GPT-6 Astra membaca dan mengubah berat rangkaian saraf secara langsung. Dalam model Qwen3.5-0.8B, hanya dengan menyesuaikan 0.016% berat, skor MATH-500 meningkat dari 7.9% kepada 48.1%, memperbaiki masalah kitaran penalaran dengan ketara. Eksperimen juga mengesahkan kemampuan Astra untuk memahami berat, memperbaiki kegagalan, dan menghasilkan rangkaian dari awal, tetapi kesannya masih terhad kepada model yang ringkas dan belum mampu menggantikan latihan atau menghasilkan model kompleks secara umum.Penulis artikel, sumber: Big Data Digest
Dunia AI kembali mengeluarkan langkah keras!
Pasukan MIT CSAIL mengusulkan kaedah bernama "Weight-Space Programming": tanpa melatih atau mengira gradien, biarkan GPT-6 Astra membaca dan mengubah bobot rangkaian saraf secara langsung.

Dalam eksperimen Qwen3.5-0.8B, Astra hanya mengubah sebanyak 0.016% bobot, meningkatkan skor MATH-500 model dari 7.9% menjadi 48.1%, GSM8K dari 13.8% menjadi 67.1%, dan skor kepatuhan instruksi IFEval dari 21.0% menjadi 62.3%.
Ini bermakna, model besar mulai memiliki kemampuan untuk memahami dan mengedit parameter rangkaian saraf secara langsung.

Kerja ini dipimpin bersama oleh pelajar PhD MIT CSAIL, Rikiya Takehi dan Jayden Teoh, dengan penyumbang termasuk Alex Zhang dan Omar Khattab. Pasukan penyelidikan telah menerbitkan hasil berkaitan di blog penyelidikan "Sparks of Weight-Space Programming".

Apakah yang dimaksud dengan pemrograman ruang bobot?
Weight adalah parameter utama dalam rangkaian saraf, yang menentukan bagaimana model memproses maklumat masukan dan menghasilkan output akhir.
Latihan model tradisional biasanya memerlukan persiapan data, pengiraan kerugian dan gradien, kemudian penyesuaian berterusan terhadap berat melalui pengoptimum. Keseluruhan proses bergantung kepada pengiraan yang besar, dan parameter dalaman model sukar difahami secara langsung oleh manusia.
Pemrograman ruang bobot memberikan pendekatan yang berbeza:
Anggap berat jaringan saraf sebagai objek yang boleh dibaca, dianalisis, dan diubah oleh model besar.
Model besar umum secara langsung menilai fungsi rangkaian, mengenal struktur tidak normal, dan memodifikasi parameter yang berkaitan berdasarkan sasaran bahasa semula jadi.
Dalam kajian ini, Astra terutamanya menyelesaikan tiga kelas tugas: 1. Membaca berat, menentukan tugas yang dilatih oleh rangkaian saraf; 2. Memodifikasi berat, memperbaiki kegagalan tertentu dalam rangkaian; 3. Menghasilkan berat dari awal, membina rangkaian kecil dengan fungsi tertentu.
Timm peneliti terlebih dahulu menguji kemampuan Astra dalam memahami berat jaringan saraf.

Dalam eksperimen pertama, penyelidik melatih empat rangkaian saraf kecil dengan struktur yang sama sepenuhnya menggunakan PPO untuk memainkan Breakout, Pong, Pac-Man, dan Freeway.
Astra mendapat semua bobot asal, tetapi tidak mengetahui nama permainan calon, dan tidak dapat mengamati perilaku melalui jaringan. Akhirnya, ia berjaya mengenal pasti permainan yang sepadan dengan keempat-empat jaringan tersebut.

Dalam eksperimen kedua, penyelidik melatih tiga model penyebaran untuk menghasilkan bulatan, segitiga, dan segi empat sama. Astra juga berjaya menentukan objek penghasilan setiap model hanya berdasarkan berat.

Eksperimen ketiga diperluaskan kepada model bahasa. Para penyelidik melatih tiga Transformer kecil dengan 7.2 juta parameter, masing-masing belajar kod Python, Jepun rōmaji, dan bahasa Inggeris. Walaupun hanya memberikan berat lapisan tengah dan menghapus lapisan input dan output, Astra masih mampu mengenal jenis korpus latihan dan mengesan kepala perhatian salinan dalam rangkaian.
Eksperimen-eksperimen ini menunjukkan bahawa model besar umum mungkin tidak hanya mampu mengendalikan teks dan kod, tetapi juga mengekstrak maklumat fungsi rangkaian saraf daripada berat.
Dua, hanya ubah bobot 0.016% untuk memperbaiki kitaran inferens

Bahagian eksperimen Qwen3.5-0.8B adalah bahagian yang paling diperhatikan dalam penyelidikan ini.
Model ini cenderung terjebak dalam lingkaran penalaran setelah memulai modus pemikiran, menghasilkan kandungan yang serupa berulang-ulang dan gagal memberikan jawaban akhir secara tepat waktu. Dalam ujian garis dasar, 93% jawaban MATH-500 mencapai hadiah panjang token 32768.
Astra mengakses timbangan model melalui antaramuka Python dan menguji perilaku model menggunakan soal-soal dari set latihan GSM8K dan MATH, tetapi tidak boleh menggunakan maklumat latihan atau gradien, dan tidak boleh mengakses set ujian akhir.
Selepas analisis, Astra mengenal pasti bahagian struktur MLP pada lapisan ke-15 dan ke-19, dan menghapus satu arah yang berkaitan dengan output berulang.
Perubahan ini melibatkan 131072 timbangan, atau sekitar 0.016% daripada jumlah timbangan model. Selepas perubahan, peratusan jawapan MATH-500 yang mencapai had token turun dari 93% kepada 33.1%.
Oleh itu, peningkatan prestasi kali ini bukan terutamanya kerana memasukkan pengetahuan matematik baru ke dalam model, tetapi memperbaiki gangguan yang menghalang model dari menyelesaikan penalaran. Sebahagian soalan yang sebelumnya boleh diselesaikan kini dapat menghasilkan jawapan penuh selepas pengubahsuaian.

Namun, walaupun pampas akhir kecil, proses analisisnya tidak mudah. Eksperimen terbaik menggunakan 50 permintaan penilaian, 158 perbualan, dan 80 pemerintahan Python, mengambil masa 20.3 jam.
Tiga, Menulis bobot rangkaian saraf dari awal
Talian penyelidik juga menguji kemampuan Astra untuk menjana parameter rangkaian dari sifar.
Dalam tiga permainan MinAtari—Breakout, Seaquest, dan Asterix—Astra mendapat peraturan permainan, kod sumber, dan struktur rangkaian, tetapi tidak boleh menggunakan data latihan, fungsi kerugian, gradien, atau percubaan persekitaran.
Rangkaian baru yang dihasilkan secara langsung melebihi rangkaian yang sepadan yang telah dilatih dengan PPO sebanyak 100 juta langkah dalam ketiga-tiga permainan tersebut.
Dibandingkan dengan rangkaian PPO yang dilatih sebanyak 500 juta langkah, rangkaian yang dihasilkan oleh Astra mencapai skor sekitar 20 kali ganda dalam Breakout, berprestasi hampir serupa dalam Asterix, dan mencapai sekitar 60% skor rangkaian tersebut dalam Seaquest.
Dalam eksperimen go 9×9, Astra menghasilkan rangkaian dengan sekitar 1.48 juta parameter. Seiring peningkatan bilangan penilaian maju yang dibenarkan, prestasi rangkaian terus meningkat; dalam keadaan 50 penilaian maju, ia mengalahkan rangkaian PPO berskala sama yang telah dilatih selama 20 juta permainan.
Keputusan-keputusan ini menunjukkan bahawa model besar mungkin sudah mampu menukar sebahagian logik algoritma secara langsung kepada berat rangkaian saraf berdasarkan penerangan tugas.
Namun, eksperimen yang berkaitan masih terutama berfokus pada rangkaian yang ringkas dan kecil sahaja; keupayaan untuk diperluaskan kepada model yang lebih besar dan lebih kompleks masih perlu diverifikasi.
Untuk membezakan antara “memperbaiki gangguan” dan “meningkatkan kemampuan”, pasukan penyelidik juga menjalankan eksperimen tambahan pada Gemma 3 270M.

Gemma 3 270M jarang mengalami kitaran penalaran, kesalahan utama datang dari penalaran aritmetik dan algebra. Astra mencuba beberapa kali modifikasi bertujuan, tetapi peningkatan skor MATH-500 tidak pernah melebihi sekitar 1 peratus, dan tidak dapat mengesahkan bahawa model mendapat peningkatan yang stabil.
Ini menunjukkan bahawa pemrograman ruang bobot kini lebih sesuai untuk menangani kegagalan model yang jelas dan terfokus, seperti kitaran aneh atau tingkah laku tertentu, tetapi tidak dapat secara langsung menambah pengetahuan dan kemampuan penalaran yang tidak dimiliki model asal.
Sementara itu, Astra gagal dalam eksperimen lain untuk mengenal model mana yang dilatih melalui perilaku flatter semata berdasarkan berat, yang menunjukkan bahawa pemahaman beratnya tidak stabil dan masih terdapat sempadan tugas.
Saat ini, hasil-hasil ini merupakan keputusan awal yang dikeluarkan oleh pasukan penyelidik, dan masih memerlukan lebih banyak peniruan bebas serta penilaian sistemik.
Jika kaedah ini boleh diperluaskan lebih lanjut, ia boleh digunakan untuk mengesan kegagalan model, menghapuskan tingkah laku aneh, meningkatkan kebolehterangannya, atau bahkan menghasilkan rangkaian tertentu berdasarkan keperluan bahasa semula jadi.
Namun, eksperimen pada peringkat ini masih belum cukup untuk membuktikan ia boleh menggantikan latihan, atau bermakna model besar sudah mampu secara amnya "membina" model lain secara manual.
Makna yang lebih penting bagi kajian ini ialah, ia menunjukkan satu cara interaksi baru:
Tidak hanya menghasilkan teks dan kod, tetapi juga memahami dan menulis rangkaian saraf itu sendiri.
Sumber:Big Data Digest
Pemberitahuan Risiko dan Klausul Penafian
Pasaran mempunyai risiko, pelaburan perlu berhati-hati. Artikel ini bukan merupakan cadangan pelaburan peribadi dan tidak mempertimbangkan matlamat, keadaan kewangan, atau keperluan khas individu. Pengguna harus mempertimbangkan sama ada sebarang pendapat, pandangan, atau kesimpulan dalam artikel ini sesuai dengan keadaan khusus mereka. Bertanggungjawab sendiri atas pelaburan berdasarkan ini.


