Meta melancarkan Muse Glimmer, sebuah model agen multimodal dengan sekitar 30B parameter, menyokong konteks hingga 128K dan boleh beroperasi pada peranti dengan memori GPU 24GB. Model ini dibuka di bawah lesen Apache 2.0, menggunakan GQA untuk mengurangkan penggunaan KV Cache, menggabungkan arsitektur hibrid Local dan Global Attention untuk mengurangkan kos pengiraan konteks panjang, serta menyediakan dua versi kuantisasi yang sesuai dengan peranti memori GPU yang berbeza. Modul visual dilengkapi dengan ViT Perception Encoder yang berasingan untuk memproses tangkapan skrin dan maklumat skrin, dengan pengenalan On Policy Distillation semasa pelatihan untuk menangani penyimpangan tugas panjang. Komponen pemanduan inferensi DFlash menggunakan Block Diffusion untuk meramal Token secara selari, mencapai peningkatan kelajuan dekod sebanyak kira-kira 3 kali pada RTX 5090. Model ini menunjukkan prestasi cemerlang dalam Benchmark Agen seperti MCP Atlas dan DeepSearch QA, tetapi masih mempunyai ruang untuk peningkatan dalam skenario GUI tulen seperti OSWorld Verified.

Penulis artikel, sumber: Leifengwang

Semalam, Meta melancarkan Muse Glimmer. Ia adalah model agen multimodal dengan sekitar 30B parameter, menyokong konteks tahap 128K, boleh memanggil alat, menjalankan kod, serta mengendalikan gambar dan maklumat skrin.

Model ini dibuka di bawah lesen Apache 2.0, bersama dengan dua versi kuantisasi 4bit, encoder visual berasingan, dan komponen akselerasi inferensi DFlash, serta menyediakan cara pelaksanaan tempatan seperti llama.cpp, MLX, dan ExecuTorch.

Walaupun skala parameter 30B dan konteks 128K kelihatan bukan sesuatu yang jarang pada hari ini, masalahnya ialah Meta ingin ia melakukan bukan sekadar perbualan biasa, tetapi membina satu paradigma penuh untuk menjalankan Agent tempatan.

Agen tempatan yang diarahkan untuk operasi jangka panjang oleh Muse Glimmer akan menghadapi batasan kejuruteraan yang ketat: ia mesti mengendalikan tangkapan skrin yang terus dihasilkan sambil mengekalkan logik tugas yang panjang hingga puluhan langkah. Selepas satu tugas berjalan selama puluhan langkah, hasil alat sebelumnya, log kod, status laman web, dan proses penalaran akan terus disimpan dalam konteks.

Pada masa ini, banyak masalah yang tidak jelas dalam skenario perbualan akan membesar dengan cepat. Bagaimana cara memasukkan konteks 128K ke dalam memori GPU yang terhad, bagaimana menguruskan status sejarah apabila tangkapan skrin semakin banyak, bagaimana model meneruskan langkah seterusnya apabila panggilan alat gagal, dan sejauh mana banyaknya Token Reasoning akan memperlambat proses Decode.

Reka bentuk teknikal Muse Glimmer pada dasarnya berpusat pada masalah-masalah ini. Ia tidak bergantung pada satu arsitektur baru yang sangat menonjol untuk menyelesaikan semua perkara, tetapi membuat pengorbanan agresif dalam Attention, KV Cache, cara latihan, kuantisasi, dan Decode.

Jika model tempatan sebelum ini adalah "bisa berjalan", tujuan Muse Glimmer adalah "bisa digunakan sebaik cloud dan beroperasi secara berterusan".

Melihat bahagian-bahagian ini bersama-sama memudahkan pemahaman mengapa Meta menjadikannya seperti sekarang, berbanding melihat 30B atau 128K secara berasingan.

Bagaimana untuk memasukkan konteks 128K ke dalam memori GPU 24GB

Muse Glimmer menggunakan 52 lapisan Dense Transformer, Saiz Tersembunyi 6656, dengan 22 Kepala Query, tetapi hanya 2 Kepala KV.

Perhatian juga tidak memproses konteks penuh pada setiap lapisan, tetapi menggunakan cara berulang tiga Local Attention diikuti satu Global Attention.

Local Attention hanya memproses 2048 token berdekatan, manakala Global Attention bertanggungjawab atas pertukaran maklumat jarak jauh.

Kedua-dua reka bentuk ini sebenarnya menekan kos konteks panjang. Semasa model menghasilkan Token baru, ia akan menyimpan sementara Key dan Value Token sebelumnya, iaitu KV Cache. Semakin panjang konteks, semakin besar ruang yang digunakan.

Muse Glimmer setiap lapisan hanya mempunyai 2 KV Head, dengan setiap Head Dimension sebesar 128. Berdasarkan pengiraan kasar BF16, satu Token dalam satu lapisan mengambil kira-kira 1024 Byte KV.

Jika semua 52 lapisan disimpan sepenuhnya dengan Konteks 128K, KV Cache kira-kira memerlukan 6.5 GiB. Namun, Muse Glimmer sebenarnya mempunyai 39 lapisan Lokal dan 13 lapisan Global. Lapisan Lokal hanya perlu mengekalkan jendela gelongsor sebanyak 2048 Token, hanya lapisan Global yang perlu menyimpan konteks panjang sepenuhnya.

Dengan anggaran yang sama, KV Cache boleh diturunkan kepada kira-kira 1.7 GiB. Ini bukan ingatan GPU masa berjalan yang diumumkan secara rasmi, tetapi hanya anggaran teori berdasarkan parameter arsitektur awam, tetapi sudah cukup untuk menjelaskan mengapa struktur ini direka seperti ini.

Jika ia tidak menggunakan 2 KV Head, tetapi menyimpan KV yang berasingan untuk semua 32 Head seperti MHA tradisional, di bawah keadaan yang sama, KV Cache secara teori akan meningkat sebanyak 16 kali ganda, langsung mencapai lebih daripada 20 GiB.

KV Cache tunggal sudah melebihi satu kad grafik 24GB. Di sini sebenarnya digunakan dua kaedah. GQA mengurangkan jumlah KV yang perlu disimpan setiap token, manakala Local Attention mengurangkan bilangan lapisan yang perlu menyimpan KV sepenuhnya dalam jangka panjang.

Selepas menyelesaikan langkah ini, kuantisasi berbobot baru bermakna. Berat K Quant 17GB Muse Glimmer adalah sekitar 16.8GB, modul visual sekitar 1.4GB, DFlash sekitar 1.6GB, jumlah keseluruhan bahagian-bahagian ini hampir mencapai 20GB. Versi ini ditujukan untuk peranti dengan memori video 24GB, sementara versi Dynamic K Quant seberat sekitar 20GB ditujukan untuk peranti 32GB.

Dua set kuantisasi bukan hanya berbeza dalam saiz fail. Dalam 15 ukuran benchmark yang diberikan oleh Meta, kehilangan ketepatan purata untuk Dynamic K Quant adalah sekitar 0.2%, manakala K Quant 17GB adalah sekitar 1.0%.

Dengan kata lain, versi 24GB mengurangkan lagi memori video, mengambil ruang yang lebih kecil, tetapi perlu menerima kehilangan prestasi yang sedikit lebih ketara. Versi 32GB pula berusaha mengekalkan prestasi model asal.

Konteks 128K Muse Glimmer berfungsi dalam kombinasi ini. Attention mengurangkan beban pengiraan, GQA mengurangkan KV Cache, dan akhirnya kuantisasi menurunkan berat model.

Skema ini juga mempunyai kos. 39 lapisan Local hanya boleh mengakses secara langsung 2048 token terdekat, dan maklumat jarak jauh perlu disebarkan melalui lapisan Global. Oleh itu, mampu memasukkan 128K masih berbeza dengan mampu memanfaatkan keseluruhan 128K secara stabil.

Keputusan Beam128K dari Meta menunjukkan bahawa struktur campuran Local dan Global masih mempunyai kemampuan yang baik dalam memanfaatkan maklumat jarak jauh, tetapi ia menyelesaikan Long Context, bukan Memory jangka panjang. Maklumat mana yang perlu disimpan, mana yang sudah lapuk, dan kapan status perlu dikemas kini, masih memerlukan penanganan oleh Agent Runtime.

Masalah ini akan lebih ketara apabila sampai kepada Agen Visual.

128K bukan ruang tanpa had

Muse Glimmer juga dilengkapi dengan ViT G 14 Perception Encoder sebanyak 1.8B parameter untuk memproses tangkapan layar, laman web, grafik, dan dokumen. Satu gambar boleh ditukar menjadi sehingga 4096 Visual Token.

Ia kini adalah input teks dan gambar, output teks, bukan memasukkan semua modality ke dalam model generatif yang sama.

Dalam alur kerja Agent, kemampuan visual ini bertanggung jawab untuk membaca keadaan persekitaran. Agent Pengguna Komputer terlebih dahulu melihat skrin semasa, menentukan lokasi halaman, butang, dan teks, kemudian menjalankan satu tindakan. Selepas perubahan halaman, ia membaca tangkapan skrin baharu dan terus menentukan langkah seterusnya.

Oleh itu, input visual akan terus memasuki konteks. Jika semua tangkapan layar dalam tugas puluhan langkah disimpan sepenuhnya, walaupun ada 128K, konteks akan cepat dipenuhi oleh token visual. Tangkapan layar lama mungkin bertentangan dengan keadaan semasa. Halaman telah berubah, tetapi butang dan tetingkap sebelumnya masih tinggal dalam konteks, dan model perlu membuat penilaian tambahan untuk menentukan yang manakah keadaan terkini.

Meta juga tidak menyimpan Sejarah Screenshot tanpa batas dalam penilaian OSWorld Verified, tetapi hanya menyimpan sebahagian terkini screenshot. Ini menunjukkan bahawa Perception Encoder dan Context Management adalah dua masalah yang berbeza.

Yang pertama bertanggung jawab untuk mengubah skrin semasa menjadi maklumat yang boleh difahami oleh model, manakala yang kedua perlu menentukan status sejarah mana yang masih bernilai dan mana yang perlu dipadamkan. Oleh itu, 128K lebih seperti memberikan ruang kerja yang lebih besar kepada Agent, bukan menghilangkan pengurusan status.

Dan apabila agen terus berinteraksi dengan persekitaran, masalahnya beralih dari apa yang dimodelkan lihat kepada apa yang baru saja dilakukan oleh model.

Ini memasuki bahagian latihan Muse Glimmer.

Bagaimana untuk meneruskan selepas agen menyimpang

Muse Glimmer diringkas daripada Muse Spark yang lebih besar.

Meta membahagikan latihan kepada Pre Training, Mid Training, dan Post Training. Pre Training menggunakan Logit Distillation, Mid Training menambahkan lebih banyak data konteks panjang, Reasoning Trace, dan Agent, manakala Post Training menambahkan SFT, On Policy Distillation, dan RL.

Logit Distillation sedikit berbeza daripada menggunakan jawapan model besar untuk melatih model kecil. Semasa model Guru meramal Token seterusnya, ia memberikan taburan kebarangkalian keseluruhan Vocabulari. Model Murid tidak hanya belajar Token yang dipilih akhir, tetapi juga melihat penilaian relatif Guru terhadap calon-calon lain.

Ini berguna untuk Agen, kerana banyak senario tidak mempunyai tindakan unik. Menghadapi satu laman web, model boleh terus mencari, membuka satu hasil, atau menukar alat. Taburan kebarangkalian Guru akan mengandungi keutamaannya terhadap tindakan-tindakan ini, bukan hanya teks output akhir.

Di Mid Training, latihan beralih dari jawapan tunggal kepada trajektori tugas penuh. Selepas alat dilaksanakan, persekitaran akan berubah. Carian akan mengembalikan keputusan baharu, eksekusi kod yang gagal akan menghasilkan ralat, dan halaman akan berubah sekiranya GUI diklik salah. Dengan kata lain, output Agent akan secara langsung mengubah input seterusnya.

Anggap trajektori yang betul untuk Guru ialah dari A ke B, kemudian ke C, dan akhirnya ke D. Jika Pelajar hanya belajar daripada data Guru, ia akan terus melihat A ke B dan B ke C. Tetapi semasa berjalan sebenar, Pelajar mungkin sudah bergerak ke keadaan B yang lain pada langkah pertama.

Dari saat ini, persekitaran telah berubah, dan peralihan dari B ke C dalam set latihan tidak dapat secara langsung memberitahu model bagaimana harus menangani situasi sekarang. On Policy Distillation berperan di sini. Pelajar terlebih dahulu melakukan Rollout sendiri, memasuki keadaan yang benar-benar akan dihasilkannya, kemudian menerima pengawasan daripada model yang lebih kuat di atas keadaan-keadaan ini.

Oleh itu, data latihan tidak hanya merangkumi laluan ideal Guru, tetapi juga merangkumi keadaan ralat yang dihasilkan oleh Pelajar sendiri. Ini berkaitan dengan Failure Recovery yang ditekankan oleh Muse Glimmer.

Selepas memasukkan parameter yang salah, jika model dapat memahami ralat dan membuat semula Panggilan Alat, tugas masih boleh diteruskan. Selepas tersesat di laman web, selama boleh mengenal pasti bahawa keadaan semasa tidak betul, ia juga boleh undur atau menukar laluan. Masalah sebenar ialah apabila model tidak sedar akan ralat, tetapi terus melaksanakan berdasarkan keadaan yang salah, membiarkan penyimpangan terkumpul sepanjang masa.

Oleh itu, kemampuan agen tidak boleh dinilai hanya berdasarkan sama ada satu panggilan Alat sahaja, tetapi juga sama ada tugas keseluruhan dapat diselesaikan, dan sama ada ia boleh pulih apabila berlaku ralat di tengah jalan. Ini juga menjelaskan mengapa Muse Glimmer menunjukkan prestasi yang lebih baik dalam beberapa benchmark agen aliran panjang.

Namun, walaupun tugas boleh diselesaikan, ia tidak bermakna tiada masalah dalam pelaksanaan tempatan. Jika satu tugas kompleks menghasilkan banyak Token Penalaran, bottleneck baru akan segera menjadi Decode.

Dua soalan yang datang satu selepas yang lain

Muse Glimmer menyokong empat peringkat Kekuatan Penalaran: rendah, sederhana, tinggi, dan xtinggi. Tetapan ini boleh difahami sebagai bajet penalaran semasa berjalan.

Tahap yang lebih tinggi biasanya menyebabkan model menghasilkan lebih banyak Token Alasan, yang mungkin meningkatkan kejayaan dalam tugas Coding dan Agent yang kompleks, tetapi harganya juga langsung jelas. Konteks bertambah lebih cepat, dan masa Decode juga lebih panjang.

Meta menggunakan high Reasoning Strength dalam Benchmark yang dipaparkan. Ini memperkenalkan DFlash.

Decode Transformer adalah autoregresif. Token kedua mesti menunggu token pertama, dan token ketiga bergantung pada token kedua. Untuk jawapan yang mengandungi ratusan token, ia masih boleh diterima, tetapi satu tugas agen mungkin menghasilkan ribuan bahkan puluhan ribu token secara kumulatif.

Pendekatan Speculative Decoding melibatkan penambahan Drafter yang lebih kecil. Drafter terlebih dahulu meramalkan siri Token seterusnya, kemudian model utama membuat pengesahan serentak. Jika beberapa calon boleh diterima secara berterusan, bilangan langkah Decode yang dilakukan oleh model utama 30B boleh dikurangkan.

Masalah dengan pendekatan tradisional ialah, Drafter sendiri biasanya juga merupakan model autoregresif. Jika ia perlu menghasilkan 16 token, ia masih perlu menghasilkannya satu per satu.

DFlash menukar bahagian ini dengan Block Diffusion.

Saiz Blok DFlash bagi Muse Glimmer ialah 16, yang membolehkan ramalan selari sekumpulan Token calon. Tetapi Drafter tidak cukup hanya lebih pantas. Jika tekaan tidak tepat, model utama akan menolak banyak calon, dan kelebihan kelajuan sebelumnya akan hilang dengan cepat.

Oleh itu, DFlash juga akan membaca secara langsung Fitur Tersembunyi pada lapisan 1, 13, 25, 37, dan 49 dari Muse Glimmer, serta menghantar representasi sederhana ini kepada Drafter yang hanya mempunyai 5 lapisan. Dengan cara ini, Drafter tidak perlu memahami semula Konteks penuh, tetapi boleh terus memanfaatkan representasi dalaman yang telah dibentuk oleh model utama 30B.

Ciri-ciri ini bukan hanya digunakan sekali di input, tetapi terus diinjeksikan ke dalam Key dan Value setiap lapisan Drafter untuk mengelakkan pelemahan berterusan seiring dengan kedalaman rangkaian.

Masih ada satu butir perincian semasa latihan. Dalam satu blok 16 Token, Token di depan lebih penting daripada Token di belakang. Jika Token pertama salah, walaupun tekaan selepasnya betul, panjang penerimaan berterusan akan sangat pendek.

Oleh itu, DFlash akan memberikan Loss Weight yang lebih tinggi kepada Token di hadapan Block, dan secara bertahap mengurangkannya ke belakang. Ia mengoptimumkan panjang awalan yang boleh diterima sepanjang mungkin, bukan sekadar mengejar ketepatan purata 16 kedudukan. Dalam data K Quant 17GB yang diberikan oleh Meta, Kelajuan Decode di RTX 5090 meningkat dari kira-kira 74.9 Token/s kepada 233.4 Token/s.

Jika sebuah Tugasan Agen menghasilkan 10,000 Token secara kumulatif, semata-mata melihat Decode, yang pertama memerlukan kira-kira 134 saat, manakala yang kedua kira-kira 43 saat. Tugasan sebenar juga akan termasuk Prefill, pelaksanaan alat, dan tunggu rangkaian, tetapi bagi Agen dengan Kekuatan Penalaran tinggi, perbezaan ini sudah akan memberi kesan ketara terhadap pengalaman tugasan penuh.

Kekuatan Reasoning yang tinggi akan meningkatkan penghasilan Token, DFlash bertanggung jawab untuk mempersingkat masa ini. Konteks panjang akan meningkatkan KV Cache, GQA dan Local Attention bertanggung jawab untuk mengurangkan penggunaan memori. Kuantisasi terus mengawal berat model supaya berada dalam lingkungan yang boleh ditanggung oleh kad grafik peringkat pengguna.

Selain itu, Muse Glimmer menunjukkan prestasi yang baik dalam Agent Benchmark seperti MCP Atlas, DeepSearch QA, dan Gaia2. Tugas-tugas ini memerlukan rantai pelaksanaan yang panjang.

MCP Atlas memerlukan model untuk memilih dan memanggil alat di antara beberapa MCP Server. DeepSearch QA perlu terus-menerus mencari, membuka laman, mencari maklumat, dan melanjutkan tindakan berdasarkan keputusan baharu. Gaia2 pula mensimulasikan aplikasi berstatus seperti e-mel, kalender, dan kenalan, di mana persekitaran itu sendiri juga berubah semasa tugas berlangsung.

Tugas-tugas ini selari dengan cara latihan Muse Glimmer. Namun, dalam OSWorld Verified, TerminalBench, dan SWE Bench Verified, ia tidak lagi mengekalkan keunggulan yang sama. Sebagai contoh, dalam OSWorld Verified, Muse Glimmer mendapat 65.9, manakala Qwen3.6 27B mendapat 75.6. Dalam TerminalBench 2.1, Muse Glimmer mendapat 51.7, sementara pihak lawan mencapai 60.7.

Oleh itu, penyebaran kemampuannya lebih jelas. Agens Penyelidikan, kerjasama alat, dan tugas status aliran panjang lebih kuat, manakala skenario GUI tulen, terminal, dan sebahagian Agens Coding masih mempunyai ruang peningkatan yang ketara. Skor-skor ini tidak boleh dipahami sepenuhnya mengikut senarai model tradisional.

Keputusan Agent Benchmark juga dipengaruhi oleh System Prompt, Definisi Alat, Scaffold, bilangan langkah pelaksanaan maksimum, parameter Sampling, dan bahkan Model Penilai. Meta sendiri menjelaskan bahawa Alat Agent dan System Prompt yang digunakan oleh model pihak ketiga mungkin tidak dioptimumkan secara terbaik untuk model-model tersebut.

Jadi, pada peringkat Agen, membandingkan Checkpoint secara berasingan semakin sukar untuk menjelaskan situasi secara keseluruhan. Keselamatan juga menghadapi masalah yang serupa.

Menjalankan secara tempatan memang dapat mengurangkan penghantaran fail, tangkapan skrin, dan Context peribadi secara kerap ke awan, tetapi ini hanya menyelesaikan laluan data. Serangan Prompt Injection, panggilan Tool yang salah, pelanggaran keizinan, dan operasi yang tidak boleh dipulihkan masih wujud. Meta juga menilai secara berasingan Risiko Agentic, Privasi, dan Prompt Injection, serta mencadangkan agar penerapan sebenar terus meningkatkan Guardrail dan memasukkan Human in the Loop yang diperlukan.

Satu garis panduan kemampuan yang jelas

Jalur teknologi lengkap Muse Glimmer akhirnya boleh disambungkan menjadi satu rantai yang lebih jelas.

Ukuran model dikawal sekitar 30B, GQA dan Local Attention mengurangkan kos memori GPU untuk Context 128K, kuantisasi membolehkan model berjalan pada peranti 24GB dan 32GB, Perception Encoder bertanggungjawab membaca persekitaran visual, On Policy Distillation menangani penyimpangan status dalam tugas panjang, Reasoning Strength memberikan pengembang kawalan terhadap anggaran penalaran, DFlash semula menangani latensi Decode yang disebabkan oleh banyak Token Reasoning.

Muse Glimmer tidak membuktikan bahawa model tempatan 30B boleh menggantikan model Frontier berbasis awan, tetapi ia membuktikan bahawa akhir bagi model tempatan 30B bukan terletak pada skala semata-mata, tetapi pada rekabentuk sistem yang mengimbangi pelbagai batasan keras secara holistik. Ia telah menggabungkan empat batasan paling sukar dalam Agent tempatan—memori grafik, konteks, kesedaran keadaan persekitaran, dan kelajuan inferens—ke dalam satu rekabentuk sistem yang seragam.

Muse Glimmer walaupun belum boleh menggantikan sepenuhnya model unggul awan, telah membuka jalan yang boleh dilaksanakan secara perindustrian menuju matlamat "setiap orang mempunyai Agent peribadi".