Meta merilis Muse Glimmer, sebuah model agen multimodal dengan sekitar 30 miliar parameter, mendukung konteks hingga 128K, dan dapat dijalankan pada perangkat dengan memori GPU 24GB. Model ini dirilis di bawah lisensi Apache 2.0, menggunakan GQA untuk mengurangi penggunaan KV Cache, menggabungkan arsitektur hibrida Local dan Global Attention untuk menurunkan biaya komputasi konteks panjang, serta menyediakan dua versi kuantisasi yang disesuaikan dengan berbagai perangkat memori GPU. Modul visual dilengkapi ViT Perception Encoder independen untuk memproses tangkapan layar dan informasi layar, serta memperkenalkan On Policy Distillation selama pelatihan untuk menangani penyimpangan status tugas panjang. Komponen akselerasi inferensi DFlash menggunakan Block Diffusion untuk memprediksi Token secara paralel, mencapai peningkatan kecepatan dekode sekitar 3 kali pada RTX 5090. Model ini menunjukkan kinerja unggul pada benchmark agen seperti MCP Atlas dan DeepSearch QA, tetapi masih memiliki ruang untuk peningkatan pada skenario GUI murni seperti OSWorld Verified.

Penulis artikel, sumber: Leifengwang

Kemarin, Meta merilis Muse Glimmer. Ini adalah model agen multimodal dengan sekitar 30 miliar parameter, mendukung konteks hingga 128K, mampu memanggil alat, menjalankan kode, serta menangani gambar dan informasi layar.

Model ini dirilis di bawah lisensi Apache 2.0, bersama dengan dua versi kuantisasi 4bit, encoder visual independen, dan komponen akselerasi inferensi DFlash, serta menyediakan cara penyebaran lokal seperti llama.cpp, MLX, dan ExecuTorch.

Meskipun ukuran parameter 30B dan konteks 128K tidak terlalu langka saat ini, masalahnya adalah Meta ingin menjadikannya bukan sekadar obrolan biasa, melainkan membangun sebuah paradigma operasional Agent lokal yang lengkap.

Agent lokal yang berjalan jangka panjang untuk Muse Glimmer menghadapi batasan teknis yang ketat: ia harus memproses tangkapan layar yang terus-menerus muncul sambil mempertahankan logika tugas yang mencapai puluhan langkah, semuanya dalam batas memori GPU hanya 24 GB. Setelah satu tugas berjalan selama puluhan langkah, hasil alat sebelumnya, log kode, status halaman, dan proses penalaran terus menumpuk dalam konteks.

Pada saat ini, banyak masalah yang tidak jelas dalam skenario obrolan akan segera membesar. Bagaimana cara memasukkan konteks 128K ke dalam memori GPU yang terbatas, bagaimana mengelola status historis ketika screenshot semakin banyak, bagaimana model melanjutkan setelah panggilan alat gagal, dan seberapa besar banyaknya Token Reasoning memperlambat Decode.

Desain teknis Muse Glimmer pada dasarnya berputar di sekitar masalah-masalah ini. Ia tidak mengandalkan satu arsitektur baru yang sangat mencolok untuk menyelesaikan semua hal, tetapi melakukan kompromi agresif pada Attention, KV Cache, cara pelatihan, kuantisasi, dan Decode.

Jika model lokal sebelumnya hanya "bisa dijalankan", tujuan Muse Glimmer adalah "bisa digunakan sebaik cloud dan beroperasi secara terus-menerus".

Melihat bagian-bagian ini secara keseluruhan lebih mudah dipahami mengapa Meta membuatnya seperti sekarang, dibandingkan melihat 30B atau 128K secara terpisah.

Bagaimana cara memasukkan konteks 128K ke dalam VRAM 24GB?

Muse Glimmer menggunakan 52 lapis Dense Transformer, ukuran tersembunyi 6656, dengan 32 Query Head, tetapi hanya 2 KV Head.

Perhatian juga tidak memproses konteks lengkap di setiap lapisan, tetapi menggunakan siklus tiga Local Attention diikuti satu Global Attention.

Local Attention hanya memproses 2048 token terdekat, sedangkan Global Attention yang bertanggung jawab atas pertukaran informasi jarak jauh.

Kedua desain ini sebenarnya secara bersamaan meningkatkan biaya konteks panjang. Saat model menghasilkan Token baru, ia akan menyimpan cache Key dan Value dari Token sebelumnya, yang dikenal sebagai KV Cache. Semakin panjang konteksnya, semakin besar ruang yang digunakan bagian ini.

Muse Glimmer memiliki hanya 2 KV Head per lapisan, dengan setiap Head Dimension sebesar 128. Berdasarkan perkiraan kasar BF16, satu Token dalam satu lapisan memakan sekitar 1024 Byte KV.

Jika seluruh 52 lapisan menyimpan lengkap 128K Context, KV Cache diperkirakan membutuhkan sekitar 6,5 GiB. Namun, Muse Glimmer sebenarnya memiliki 39 lapisan Lokal dan 13 lapisan Global. Lapisan Lokal hanya perlu mempertahankan jendela geser sekitar 2048 Token, hanya lapisan Global yang perlu menyimpan konteks panjang lengkap.

Dengan perkiraan yang sama, KV Cache dapat turun ke sekitar 1,7 GiB. Ini bukan memori GPU runtime yang diumumkan secara resmi, tetapi hanya perkiraan teoretis berdasarkan parameter arsitektur publik, namun sudah cukup untuk menjelaskan mengapa struktur ini dirancang demikian.

Jika tidak menggunakan 2 KV Head, tetapi menyimpan KV terpisah untuk semua 32 Head seperti MHA tradisional, dalam kondisi yang sama, KV Cache secara teori akan membesar sekitar 16 kali lipat, langsung mencapai lebih dari 20 GiB.

KV Cache saja sudah melebihi satu kartu grafis 24GB. Di sini sebenarnya digunakan dua metode. GQA mengurangi jumlah KV yang perlu disimpan per token, sementara Local Attention mengurangi jumlah lapisan yang perlu menyimpan KV secara penuh dalam jangka panjang.

Setelah menyelesaikan langkah ini, kuantisasi bobot baru bermakna. Bobot K Quant 17GB dari Muse Glimmer sekitar 16,8 GB, modul visual sekitar 1,4 GB, DFlash sekitar 1,6 GB, sehingga total beberapa bagian ini sudah mendekati 20 GB. Versi ini dirancang untuk perangkat dengan memori GPU 24 GB, sementara versi Dynamic K Quant sekitar 20 GB dirancang untuk perangkat 32 GB.

Dua kuantisasi kuantitatif tidak hanya berbeda dalam ukuran file. Dari 15 benchmark yang diberikan oleh Meta, rata-rata kehilangan akurasi untuk Dynamic K Quant sekitar 0,2%, sedangkan K Quant 17GB sekitar 1,0%.

Artinya, versi 24GB lebih memperkecil memori GPU dan penggunaan yang lebih ringan, tetapi Anda perlu menerima sedikit penurunan kinerja yang lebih jelas. Versi 32GB berusaha mempertahankan kinerja model aslinya.

Konteks 128K Muse Glimmer berlaku dalam kombinasi ini. Attention terlebih dahulu mengurangi beban komputasi, GQA selanjutnya mengurangi KV Cache, dan akhirnya dilakukan kuantisasi untuk menurunkan bobot model.

Solusi ini juga memiliki harga yang harus dibayar. 39 lapisan Local hanya dapat mengakses langsung 2048 token terdekat, sehingga informasi jarak jauh harus disebarkan melalui lapisan Global. Oleh karena itu, mampu memasukkan 128K masih berbeda dengan mampu memanfaatkan seluruh 128K secara stabil.

Hasil Beam128K dari Meta menunjukkan bahwa arsitektur hibrida Local dan Global masih memiliki kemampuan yang baik dalam memanfaatkan informasi jarak jauh, tetapi ini menangani Long Context, bukan Long-term Memory. Informasi apa yang harus disimpan, mana yang sudah kedaluwarsa, dan kapan harus memperbarui status, tetap memerlukan penanganan oleh Agent Runtime.

Masalah ini akan lebih jelas pada Visual Agent.

128K juga bukan ruang tak terbatas

Muse Glimmer juga dilengkapi dengan ViT G 14 Perception Encoder sebesar sekitar 1,8 miliar parameter untuk memproses tangkapan layar, halaman web, grafik, dan dokumen. Satu gambar dapat dikonversi menjadi hingga 4096 Visual Token.

Saat ini ia menerima input teks dan gambar, serta menghasilkan output teks, bukan memasukkan semua modalitas ke dalam satu model generatif yang sama.

Dalam alur kerja Agent, kemampuan visual ini terutama bertanggung jawab untuk membaca status lingkungan. Agent Pengguna Komputer terlebih dahulu melihat layar saat ini, menentukan posisi halaman, tombol, dan teks, lalu melakukan satu tindakan. Setelah halaman berubah, ia membaca tangkapan layar baru dan terus memutuskan langkah selanjutnya.

Oleh karena itu, input visual akan terus masuk ke Context. Jika semua tangkapan layar dalam tugas puluhan langkah disimpan sepenuhnya, bahkan dengan kapasitas 128K, context akan cepat penuh oleh Visual Token. Tangkapan layar lama juga mungkin bertentangan dengan status saat ini. Halaman sudah berubah, tetapi tombol dan jendela sebelumnya masih tetap berada di Context, sehingga model perlu melakukan penilaian tambahan untuk menentukan mana yang merupakan status terbaru.

Meta juga tidak menyimpan Riwayat Screenshot secara tak terbatas di OSWorld Verified, hanya menyimpan sebagian terbaru. Ini menunjukkan bahwa Perception Encoder dan Context Management adalah dua masalah yang berbeda.

Yang pertama bertanggung jawab mengubah layar saat ini menjadi informasi yang dapat dipahami model, sedangkan yang kedua menentukan status historis mana yang masih bernilai dan mana yang harus dihapus. Oleh karena itu, 128K lebih mirip memberikan ruang kerja yang lebih besar kepada Agent, bukan menghilangkan manajemen status.

Namun, ketika Agent terus berinteraksi dengan lingkungan, fokus masalah mulai berpindah dari apa yang dilihat model menjadi apa yang baru saja dilakukan model.

Ini memasuki bagian pelatihan Muse Glimmer.

Setelah agen menyimpang, bagaimana melanjutkan?

Muse Glimmer disuling dari Muse Spark yang lebih besar.

Meta membagi pelatihan menjadi Pre Training, Mid Training, dan Post Training. Pre Training menggunakan Logit Distillation, Mid Training menambahkan lebih banyak data konteks panjang, Reasoning Trace, dan Agent, sedangkan Post Training menambahkan SFT, On Policy Distillation, dan RL.

Logit Distillation memiliki sedikit perbedaan dibandingkan pelatihan model kecil dengan jawaban model besar biasa. Saat Teacher memprediksi Token berikutnya, ia memberikan distribusi probabilitas ke seluruh Vocabulary. Student tidak hanya belajar Token yang akhirnya dipilih, tetapi juga melihat penilaian relatif Teacher terhadap kandidat-kandidat lainnya.

Ini sangat berguna bagi Agent, karena banyak skenario tidak memiliki tindakan unik. Menghadapi sebuah halaman web, model dapat terus mencari, membuka hasil tertentu, atau menggunakan alat lain. Distribusi probabilitas Teacher akan mencakup preferensinya terhadap tindakan-tindakan ini, bukan hanya teks output akhir.

Di Mid Training, pelatihan mulai berpindah dari jawaban tunggal menuju lintasan tugas lengkap. Setelah alat dieksekusi, lingkungan akan berubah. Pencarian akan mengembalikan hasil baru, eksekusi kode yang gagal akan menampilkan kesalahan, dan halaman juga akan berubah jika GUI salah diklik. Artinya, output Agent secara langsung mengubah input langkah berikutnya.

Misalkan jalur yang benar dari Teacher adalah A ke B, lalu ke C, dan akhirnya ke D. Jika Student selalu hanya belajar dari data Teacher, ia akan terus-menerus melihat A ke B dan B ke C. Namun, saat berjalan secara nyata, Student mungkin sudah berpindah ke status B lain di langkah pertama.

Dari saat ini, lingkungannya telah berubah, sehingga pelatihan dari B ke C dalam dataset pelatihan tidak dapat secara langsung memberi tahu model bagaimana harus menangani situasi sekarang. On Policy Distillation berperan di sini. Student terlebih dahulu melakukan Rollout sendiri, memasuki status yang benar-benar akan dihasilkannya, lalu menerima pengawasan dari model yang lebih kuat pada status-status tersebut.

Oleh karena itu, data pelatihan tidak hanya mencakup rute ideal Guru, tetapi juga mulai mencakup keadaan kesalahan yang dihasilkan oleh Siswa sendiri. Ini terkait dengan Failure Recovery yang ditekankan oleh Muse Glimmer.

Setelah parameter salah diisi, jika model dapat memahami kesalahan dan melakukan Tool Call sekali lagi, tugas masih dapat dilanjutkan. Jika terjebak di halaman yang salah, selama dapat mengenali bahwa status saat ini tidak benar, dapat kembali atau mengganti jalur. Yang benar-benar merepotkan adalah ketika model tidak menyadari kesalahan, tetapi terus melanjutkan eksekusi berdasarkan status yang salah, sehingga penyimpangan terakumulasi sepanjang proses.

Jadi, kemampuan Agent tidak bisa dinilai hanya berdasarkan apakah satu panggilan Tool benar atau tidak, tetapi juga apakah seluruh tugas dapat diselesaikan secara keseluruhan, serta apakah Agent dapat pulih setelah mengalami kesalahan di tengah proses. Ini juga menjelaskan mengapa Muse Glimmer tampil lebih baik pada beberapa benchmark Agent alur panjang.

Namun, meskipun tugas dapat diselesaikan, bukan berarti running lokal tidak memiliki masalah lagi. Jika sebuah tugas kompleks menghasilkan sejumlah besar Reasoning Token, bottleneck baru akan segera menjadi Decode.

Dua pertanyaan yang berurutan

Muse Glimmer mendukung empat tingkat Reasoning Strength: low, medium, high, dan xhigh. Pengaturan ini dapat dipahami sebagai anggaran inferensi saat berjalan.

Tingkat yang lebih tinggi biasanya menyebabkan model menghasilkan lebih banyak Token Reasoning, yang dapat meningkatkan tingkat keberhasilan pada tugas Coding dan Agent yang kompleks, tetapi harganya sangat langsung. Konteks tumbuh lebih cepat, dan waktu Decode juga lebih lama.

Meta menggunakan high Reasoning Strength dalam Benchmark publiknya. Hal ini memunculkan DFlash.

Decode Transformer bersifat autoregresif. Token kedua harus menunggu token pertama, dan token ketiga bergantung pada token kedua. Untuk jawaban berupa ratusan token, hal ini masih dapat diterima, tetapi satu tugas Agent bisa menghasilkan ribuan bahkan puluhan ribu token secara kumulatif.

Pendekatan Speculative Decoding melibatkan penambahan Drafter yang lebih kecil. Drafter terlebih dahulu memprediksi serangkaian token masa depan, lalu model utama memverifikasi secara sekaligus. Jika beberapa kandidat dapat diterima secara berurutan, jumlah langkah Decode yang dieksekusi oleh model utama 30B dapat dikurangi.

Masalah dengan solusi tradisional adalah bahwa Drafter sendiri biasanya juga merupakan model autoregresif. Jika ia harus membuat 16 token, tetap perlu menghasilkannya satu per satu.

DFlash mengganti bagian ini dengan Block Diffusion.

Ukuran blok DFlash dari Muse Glimmer adalah 16, memungkinkan prediksi paralel terhadap sekelompok token kandidat. Namun, Drafter tidak cukup hanya lebih cepat. Jika tebakan tidak akurat, model utama akan menolak sejumlah besar kandidat, sehingga keunggulan kecepatan sebelumnya akan cepat hilang.

Oleh karena itu, DFlash juga secara langsung membaca Fitur Tersembunyi dari lapisan 1, 13, 25, 37, dan 49 dari Muse Glimmer, lalu mengirimkan representasi menengah ini ke Drafter yang hanya memiliki 5 lapisan. Dengan demikian, Drafter tidak perlu memahami ulang Context secara lengkap, melainkan langsung memanfaatkan representasi internal yang telah dibentuk oleh model utama 30B.

Fitur-fitur ini bukan hanya digunakan sekali di input, tetapi terus diinjeksikan ke Key dan Value setiap lapisan Drafter untuk mencegah pelemahan bertahap seiring bertambahnya kedalaman jaringan.

Masih ada satu detail saat pelatihan. Dalam satu blok 16 Token, Token di awal lebih penting daripada yang di akhir. Jika Token pertama salah, meskipun tebakan berikutnya benar, panjang penerimaan berurutan akan sangat pendek.

Oleh karena itu, DFlash memberikan Loss Weight lebih tinggi pada token di depan Block, dan secara bertahap menurunkannya di belakang. Ini mengoptimalkan prefiks yang dapat diterima sepanjang mungkin, bukan sekadar mengejar akurasi rata-rata 16 posisi. Dalam data K Quant 17GB yang diberikan oleh Meta, Kecepatan Decode di RTX 5090 meningkat dari sekitar 74,9 Token/detik menjadi 233,4 Token/detik.

Jika sebuah Agent Task menghasilkan total 10.000 Token, hanya melihat Decode, yang pertama membutuhkan sekitar 134 detik, sementara yang kedua sekitar 43 detik. Tugas nyata juga mencakup Prefill, eksekusi alat, dan penantian jaringan, tetapi untuk Agent dengan Reasoning Strength tinggi, perbedaan ini sudah akan secara signifikan memengaruhi pengalaman tugas secara keseluruhan.

High Reasoning Strength akan meningkatkan jumlah token yang dihasilkan, DFlash bertanggung jawab untuk mempersingkat waktu ini. Context panjang akan meningkatkan KV Cache, GQA dan Local Attention bertugas mengurangi penggunaan memori. Kuantisasi terus mengendalikan bobot model agar tetap berada dalam batas yang dapat ditanggung oleh kartu grafis konsumen.

Selain itu, Muse Glimmer menunjukkan kinerja yang baik pada berbagai Agent Benchmark seperti MCP Atlas, DeepSearch QA, dan Gaia2. Tugas-tugas ini memerlukan rantai eksekusi yang panjang.

MCP Atlas memerlukan model untuk memilih dan memanggil alat di antara beberapa MCP Server. DeepSearch QA memerlukan pencarian terus-menerus, membuka halaman, mencari informasi, lalu melanjutkan berdasarkan hasil baru. Gaia2 mensimulasikan aplikasi berstatus seperti email, kalender, dan kontak, sementara lingkungan itu sendiri juga berubah selama proses tugas.

Tugas-tugas ini sejalan dengan cara pelatihan Muse Glimmer. Namun, pada OSWorld Verified, TerminalBench, dan SWE Bench Verified, ia tidak mempertahankan keunggulan yang sama. Sebagai contoh, pada OSWorld Verified, Muse Glimmer mendapat skor 65,9, sedangkan Qwen3.6 27B mendapat 75,6. Pada TerminalBench 2.1, Muse Glimmer mendapat 51,7, sementara lawannya mencapai 60,7.

Distribusi kemampuannya karena itu lebih jelas. Research Agent, kolaborasi alat, dan tugas status panjang lebih kuat, sementara skenario murni GUI, terminal, dan sebagian Coding Agent masih memiliki ruang peningkatan yang signifikan. Skor-skor ini juga tidak dapat sepenuhnya dipahami menurut daftar peringkat model tradisional.

Hasil Agent Benchmark juga dipengaruhi oleh System Prompt, Definisi Alat, Scaffold, jumlah langkah eksekusi maksimum, parameter Sampling, bahkan Model Penilai. Meta sendiri menjelaskan bahwa Alat Agent dan System Prompt yang digunakan oleh model pihak ketiga belum tentu dioptimalkan secara terbaik untuk model-model tersebut.

Jadi, pada tahap Agent, membandingkan Checkpoint secara terpisah semakin sulit untuk menjelaskan situasi secara lengkap. Keamanan juga mengalami masalah serupa.

Menjalankan secara lokal memang dapat mengurangi pengiriman file, tangkapan layar, dan Context pribadi secara berulang ke cloud, tetapi ini hanya menyelesaikan jalur data. Risiko Prompt Injection, panggilan Tool yang salah, pelanggaran izin, dan operasi ireversibel tetap ada. Meta juga secara terpisah mengevaluasi Risiko Agentic, Privasi, dan Prompt Injection, serta menyarankan agar implementasi nyata terus meningkatkan Guardrail dan memasukkan Human in the Loop yang diperlukan.

Sebuah jalur kemampuan yang jelas

Rangkaian jalur teknis Muse Glimmer pada akhirnya dapat disambungkan menjadi rantai yang cukup jelas.

Ukuran model dikendalikan sekitar 30B, GQA dan Local Attention mengurangi biaya memori GPU untuk konteks 128K, kuantisasi memungkinkan model berjalan di perangkat 24GB dan 32GB, Perception Encoder bertanggung jawab membaca lingkungan visual, On Policy Distillation menangani penyimpangan status dalam tugas panjang, Reasoning Strength memberi pengembang kendali atas anggaran inferensi, DFlash kembali menangani latensi decode yang disebabkan oleh banyak token Reasoning.

Muse Glimmer tidak membuktikan bahwa model lokal 30B dapat menggantikan Frontier Model di cloud, tetapi ia membuktikan bahwa tujuan akhir dari model lokal 30B bukanlah pada skala semata, melainkan pada rekayasa sistem yang mengkompensasi secara komprehensif berbagai batasan keras. Ia telah menggabungkan empat batasan paling sulit dalam Agent lokal—memori GPU, konteks, persepsi status lingkungan, dan kecepatan inferensi—ke dalam satu desain sistem yang utuh.

Muse Glimmer meskipun belum dapat sepenuhnya menggantikan model unggulan berbasis cloud, telah membuka jalan yang dapat diwujudkan secara industri menuju tujuan "setiap orang memiliki Agent pribadi".