Ipinakilala ng Meta ang Muse Glimmer, isang multimodal Agent model na may halos 30B na parameter, na sumusuporta sa 128K-level na konteksto at maaaring mag-run sa mga device na may 24GB VRAM. Ang model ay inilabas sa ilalim ng Apache 2.0 license, gumagamit ng GQA upang bawasan ang paggamit ng KV Cache, at nagtatampok ng hybrid architecture na naglalagay ng Local at Global Attention upang bawasan ang gastos sa pagcompute ng mahabang konteksto, kasama ang dalawang bersyon ng quantization para sa iba’t ibang device na may VRAM. Ang visual module ay may sariling ViT Perception Encoder para sa pagproseso ng screenshots at screen information, at sa panahon ng pagtuturo, inilapat ang On Policy Distillation upang sakop ang mga mahabang task na nagdudulot ng deviation sa estado. Ang DFlash inference acceleration component ay gumagamit ng Block Diffusion para sa parallel na pag-predict ng Token, na nagdudulot ng halos 3x na pagtaas sa decoding speed sa RTX 5090. Ang model ay nagtatampok ng mahusay na performance sa mga Agent Benchmark tulad ng MCP Atlas at DeepSearch QA, ngunit may espasyo pa para sa pagpapabuti sa mga purong GUI scenario tulad ng OSWorld Verified.

May-akda ng artikulo, pinagkukunan: Leifengwang

Kahapon, inilabas ng Meta ang Muse Glimmer. Ito ay isang multimodal na modelo na may halos 30B na parameter, na sumusuporta sa konteksto ng 128K, maaaring mag-call ng mga tool, mag-execute ng code, at makapaghahandle ng mga imahe at impormasyon sa screen.

Ang modelo ay naglalabas sa ilalim ng Apache 2.0 license, kasama ang dalawang bersyon ng 4bit quantization, hiwalay na visual encoder, at DFlash inference acceleration component, at nag-aalok ng lokal na deployment para sa llama.cpp, MLX, ExecuTorch, at iba pa.

Bagaman ang laki ng parameter na 30B at ang konteksto na 128K ay hindi nakakagulat sa kasalukuyan, ang problema ay ang nais gawin ng Meta ay hindi ang karaniwang pag-uusap, kundi ang pagbuo ng isang buong lokal na agent runtime paradigm.

Ang Muse Glimmer, na nakatuon sa matagalang pagpapatakbo ng lokal na Agent, ay nagtatagpo ng matigas na mga teknikal na pagtatakda: kailangan nito na magtrabaho sa limitadong 24GB ng VRAM, habang sinusugpo ang mga screenshot na patuloy na lumalabas at habang pinapanatili ang mahabang proseso ng mga gawain na maaaring umabot sa ilang dekada. Pagkatapos ng ilang dekada ng isang gawain, ang mga resulta ng mga kasangkapan, mga log ng code, estado ng pahina, at proseso ng pag-iisip ay patuloy na nananatili sa konteksto.

Sa panahong ito, mabilis na lalaki ang mga problema na hindi malinaw sa mga chat scenario. Paano isasama ang 128K context sa limitadong VRAM, paano sisihin ang history state habang dumarami ang mga screenshot, paano magpapatuloy ang model pagkatapos ng pagkabigo sa pagtawag ng tool, at hanggang saan mapapabagal ang Decode dahil sa malaking dami ng Reasoning Token.

Ang teknikal na disenyo ng Muse Glimmer ay batay sa mga tanong na ito. Hindi ito nagtatagumpay sa pamamagitan ng isang partikular na bagong arkitektura, kundi sa pamamagitan ng agresibong pagpapasya sa Attention, KV Cache, paraan ng pag-train, quantization, at Decode.

Kung ang mga lokal na model noong nakaraan ay “nakakapagpapatakbo lang,” ang layunin ng Muse Glimmer ay “maging ganoon kagaling at patuloy na gumagana tulad ng cloud.”

Kapag tingnan mo ang mga bahaging ito nang magkakasama, mas madaling maintindihan kung bakit ginawa ni Meta ito sa ganitong anyo kaysa tingnan ang 30B o 128K nang hihiwalay.

Paano i-compress ang 128K context sa 24GB VRAM?

Gumagamit ang Muse Glimmer ng 52-layer Dense Transformer, Hidden Size na 6656, may 32 Query Head, ngunit lamang 2 KV Head.

Hindi kinokonsidera ng Attention ang buong konteksto sa bawat layer, kundi gumagamit ito ng isang pagsasalik-salik na may tatlong Local Attention at isang Global Attention.

Ang Local Attention ay nagdadala lang ng mga kapitbahay na 2048 na Token, samantalang ang Global Attention ang nagtatrabaho para sa pagbabago ng impormasyon sa mas malalayong distansya.

Ang dalawang disenyo ay nagdudulot ng parehong pagtaas sa gastos ng mahabang konteksto. Habang gumagawa ang modelo ng bagong Token, itinatago nito ang Key at Value ng mga nakaraang Token, o kilala rin bilang KV Cache. Mas mahaba ang konteksto, mas malaki ang sukat nito.

Mayroon lamang 2 na KV Head bawat layer ng Muse Glimmer, at ang bawat Head Dimension ay 128. Ayon sa pangkalahatang pagkalkula sa BF16, ang isang Token sa isang layer ay nag-aabot ng halos 1024 Byte sa KV.

Kung ang lahat ng 52 na layer ay magtataglay ng buong 128K Context, ang KV Cache ay magkakahalaga ng humigit-kumulang na 6.5 GiB. Gayunpaman, mayroon ang Muse Glimmer ng 39 na Local layer at 13 na Global layer. Ang mga Local layer ay kailangan lamang magpanatili ng sliding window na humigit-kumulang sa 2048 na Token, at ang mga Global layer lamang ang kailangang magtakda ng buong mahabang konteksto.

Sa parehong paraan ng pagtatantiya, maaaring bumaba ang KV Cache sa halos 1.7 GiB. Ito ay hindi opisyal na ipinahayag na runtime memory, kundi isang teoretikal na pagtatantiya batay sa mga publikong arkitekturang parameter, ngunit sapat na ito upang ipaliwanag kung bakit ganoon ang disenyo ng这套结构.

Kung hindi ito gumagamit ng 2 KV Head, kundi kagaya ng tradisyonal na MHA na nagtataglay ng hiwalay na KV sa 32 na Head, sa parehong kondisyon, ang KV Cache ay teoretikal na lalawak ng halos 16 beses, direktang dumadating sa higit sa 20 GiB.

Ang isang magkakaibang KV Cache ay nagsasagawa na ng higit sa isang 24GB GPU. Sa katotohanan, ginagamit dito ang dalawang paraan. Ang GQA ay nagpapababa ng bilang ng KV na kailangang i-save bawat Token, habang ang Local Attention ay nagpapababa ng bilang ng mga layer na kailangang i-save ang buong KV nang matagal.

Pagkatapos gawin ang hakbang na ito, magiging may kahulugan ang weight quantization. Ang weight ng Muse Glimmer K Quant 17GB ay halos 16.8GB, ang visual module ay halos 1.4GB, at ang DFlash ay halos 1.6GB, na kung pinagsama ay malapit na sa 20GB. Ang bersyon na ito ay para sa mga device na may 24GB VRAM, habang ang isang iba pang bersyon na may 20GB na Dynamic K Quant ay para sa mga device na may 32GB.

Hindi lamang iba ang laki ng file ng dalawang quantization. Sa 15 na benchmark na ibinigay ng Meta, ang Dynamic K Quant ay may average loss ng accuracy na humigit-kumulang 0.2%, habang ang K Quant 17GB ay may 1.0%.

Ibig sabihin, ang 24GB na bersyon ay higit pang minababaw ang VRAM at gumagamit ng mas kaunting espasyo, ngunit kailangan mong tanggapin ang kaunting pagbaba sa kakayahan. Ang 32GB na bersyon naman ay nagtatangkang panatilihin ang orihinal na performance ng model.

Ang 128K Context ng Muse Glimmer ay nagiging posible sa kombinasyong ito. Ang Attention ay nagbabawas sa computation, ang GQA ay nagbabawas sa KV Cache, at huling nagpapaliit sa weights ng model sa pamamagitan ng quantization.

May gastos din sa ganitong solusyon. Ang 39 na Local layer ay direktang nakakakuha ng access sa mga kaakibat na 2,048 na Token lamang; kailangan ng Global layer upang ipaalam ang impormasyon mula sa malayong lugar. Kaya, ang kakayahan na inputin ang 128K ay iba pa sa kakayahan na gamitin nang tama ang buong 128K.

Ang mga resulta ng Meta's Beam128K ay nagpapakita na ang mixed local at global structure ay may kakayahang magamit nang maayos ang malayong impormasyon, ngunit ito ay tumutugon sa Long Context, hindi sa long-term memory. Kung anong impormasyon ang dapat i-save, kung anong nasa dulo na, at kailan i-update ang estado, ay kailangan pa ring tratuhin ng Agent Runtime.

Mas malinaw ito sa visual agent.

Hindi walang hanggan ang 128K

Ang Muse Glimmer ay may karagdagang ViT G 14 Perception Encoder na may halos 1.8B na parameter para sa pagproseso ng screenshots, web pages, mga graph, at dokumento. Maaaring i-convert ang isang imahe hanggang sa 4096 na Visual Token.

Ang kasalukuyan nito ay text at image input, text output, at hindi lahat ng modalities ay isinasama sa iisang generative model.

Sa loob ng Agent workflow, ang kakayahang visual na ito ay pangunahing responsable sa pagbabasa ng estado ng kapaligiran. Una naming makikita ng Computer Use Agent ang kasalukuyang screen, tatayaan ang posisyon ng pahina, mga buton, at teksto, at pagkatapos ay gagawin ang isang aksyon. Pagkatapos magbago ang pahina, babasahin nito ang bagong screenshot at magpapatuloy sa pagpapasya sa susunod na hakbang.

Kaya ang mga visual input ay patuloy na papasok sa Context. Kung ang lahat ng mga screenshot sa isang 20-hakbang na gawain ay mananatiling buo, kahit may 128K, mabilis na mabubuo ang Context ng mga Visual Token. Maaaring magkaron ng pagkakaiba sa pagitan ng mga lumang screenshot at kasalukuyang estado. Nagbago na ang pahina, ngunit nananatili pa rin ang mga pindutan at window mula sa nakaraan sa Context, kaya kailangan ng modelo ng karagdagang pagtataya kung alin ang pinakabagong estado.

Hindi rin nagbibigay ang Meta ng walang hanggang pagpapanatili ng Screenshot History sa pagsusuri ng OSWorld Verified, kundi nag-iingat lamang ng ilang pinakabagong screenshot. Ito ay nagpapakita na ang Perception Encoder at Context Management ay dalawang magkakaibang problema.

Ang unang bahagi ay responsable sa pagpapalit ng kasalukuyang screen sa impormasyon na maunawaan ng modelo, habang ang pangalawa ay dapat magdesisyon kung aling mga nakaraang estado ay may halaga at aling mga ito ay dapat tanggalin. Kaya ang 128K ay mas katulad ng pagbibigay ng mas malaking espasyo sa trabaho sa Agent, kaysa mag-alis ng pagpapamahala ng estado.

At habang patuloy na umiinteraksyon ang Agent sa kapaligiran, ang tanong ay nagsisimulang lumipat mula sa ano ang nakikita ng modelo, patungo sa ano ang ginawa ng modelo kanina.

Papasok na sa bahagi ng pagsasanay ng Muse Glimmer.

Paano magpapatuloy pagkatapos mali ang agent

Ang Muse Glimmer ay distilled mula sa mas malaking Muse Spark.

Ibinahagi ng Meta ang pagtatraining sa Pre Training, Mid Training, at Post Training. Ginagamit ang Logit Distillation sa Pre Training, dinagdagan ng mas maraming mahabang konteksto, Reasoning Trace, at agent data sa Mid Training, at idinagdag ang SFT, On Policy Distillation, at RL sa Post Training.

May kaibahan ang Logit Distillation sa karaniwang paggamit ng sagot ng malaking modelo para turuan ang maliit na modelo. Kapag hinuhulaan ng Teacher ang susunod na Token, ibinibigay nito ang isang distribution ng probabilidad sa buong Vocabulary. Ang matututunan ng Student ay hindi lamang ang huling napiling Token, kundi pati na rin ang relatibong paghuhula ng Teacher sa iba pang mga kandidato.

Mga napakagamit ito para sa Agent, dahil maraming mga sitwasyon ang walang iisang aksyon. Sa harap ng isang webpage, ang modelo ay maaaring magpatuloy sa paghahanap, buksan ang isang resulta, o gamitin ang ibang kasangkapan. Ang distribution ng probabilidad ng Teacher ay maglalaman ng kanyang pagkakaintindi sa mga aksyong ito, hindi lamang sa huling output na teksto.

Sa Mid Training, ang pagtuturo ay nagsisimula na mula sa isang pagsagot lamay sa isang buong takip ng gawain. Pagkatapos ng pagpapatakbo ng kasangkapan, babago ang kapaligiran. Ang paghahanap ay magbabalik ng mga bagong resulta, ang pagkakaroon ng error sa pagpapatakbo ng code ay magdadala ng error message, at ang pagkakamali sa GUI ay magbabago rin sa pahina. Ibig sabihin, ang output ng Agent ay direktang nagbabago sa susunod na input.

Kung ang tamang trahektorya ng Teacher ay A patungo sa B, pha B patungo sa C, at huli sa D, at kung ang Student ay nag-aaral lamang sa data ng Teacher, ito ay magkakaroon ng paulit-ulit na pagkakita ng A patungo sa B, B patungo sa C. Ngunit habang tumatakbo nang totoo, maaaring maglakad ang Student sa isang iba’t ibang estado ng B sa unang hakbang.

Mula sa puntong ito, ang kaligiran ay nagbago, at ang pagitan ng B hanggang C sa training set ay hindi diretso ang magpapakita kung paano ito dapat gampanan ngayon. Ang On Policy Distillation ang nagsisilbing solusyon dito. Una ang Student na mag-Rollout, pumasok sa mga estado na ito ay tunay na mabubuo, at pagkatapos ay magsasailalim sa pagmamonitor mula sa mas malakas na modelo sa mga estado na ito.

Kaya ang mga data sa pagtuturo ay hindi lamang naglalaman ng ideal na landas ng Guro, kundi pati na rin ang mga maling estado na nililikha ng Mag-aaral. Ito ay nauugnay sa Failure Recovery na binigyang-diin ng Muse Glimmer.

Pagkatapos mali ang pagpapakilala ng mga parameter, kung ang modelo ay makakaintindi ng error at magbabago ng isang beses na Tool Call, maaari pa ring magpatuloy ang gawain. Kapag naligaw sa web page, kung makakakilala lang ng mali ang kasalukuyang estado, maaari ring bumalik o magbago ng daan. Ang tunay na problema ay ang modelo na hindi nakikita ang error at patuloy na gumagawa batay sa maling estado, na nagdudulot ng pagkakalat ng pagkakaiba.

Kaya ang kakayahan ng Agent ay hindi dapat masukat lamang batay sa isang pagkakataon kung tama ang Tool Call, kundi sa kabuuang pagkakamit ng gawain, at kung paano ito nakakabalik pagkatapos ng pagkakamali. Ito ang nagpapaliwanag kung bakit mas maganda ang performance ng Muse Glimmer sa ilang mga long-process Agent Benchmark.

Gayunpaman, ang pagkakaroon ng kakayahang tapusin ang gawain ay hindi nangangahulugan na wala nang mga problema sa lokal na pagpapatakbo. Kung ang isang kumplikadong gawain ay kailangang lumikha ng malaking dami ng Reasoning Token, ang bagong bottleneck ay mabilis na magiging Decode.

Dalawang tanong na nasa harap at sa likod

Suporta ng Muse Glimmer ang apat na antas ng Reasoning Strength: low, medium, high, at xhigh. Ang setting na ito ay maaaring maunawaan bilang runtime reasoning budget.

Mas mataas na antas ay karaniwang nagdadala ng higit pang Reasoning Token sa pagbuo ng modelo, na maaaring magdulot ng mas mataas na tagumpay sa mga kumplikadong Coding at Agent tasks, ngunit ang gastos ay direktang makikita. Mas mabilis ang pagdami ng Context, at mas mahaba ang oras ng Decode.

Ang Meta ay gumagamit ng high Reasoning Strength sa kanilang publikong Benchmark. Ito ang nagdudulot ng DFlash.

Ang decode ng Transformer ay autoregressive. Dapat hintayin ang ikalawang token hanggang sa matapos ang unang token, at ang ikatlo ay nakadepende sa ikalawa. Kaya pa ito para sa mga sagot na may mga sandaang token, ngunit ang isang task ng Agent ay maaaring mag-akumula ng libo-libo o higit pa sa mga token.

Ang paggamit ng Speculative Decoding ay nagdadagdag ng isang mas maliit na Drafter. Una ngang hinuhula ng Drafter ang isang serye ng mga token, at pagkatapos ay binabale-wala ng pangunahing modelo ang mga ito nang isang beses. Kung mayroong maraming kandidato na maaaring tanggapin nang tuloy-tuloy, maaaring bawasan ang bilang ng Decode Step na isinagawa ng 30B pangunahing modelo.

Ang problema sa tradisyonal na solusyon ay ang mga Drafter ay karaniwang sariling self-regressive na modelo. Kung kailangan nito na mag-Draft ng 16 na Token, kailangan pa rin itong i-generate isa-isa.

Inilipat ng DFlash ang seksyong ito sa Block Diffusion.

Ang DFlash Block Size ng Muse Glimmer ay 16, na nagpapahintulot sa paralel na paghula ng isang grupo ng mga kandidatong Token. Ngunit ang Drafter ay hindi sapat na mabilis. Kung mali ang hula, maraming kandidato ang tatanggihan ng pangunahing modelo, at mabilis na mawawala ang pangunahing pagiging mabilis.

Kaya ang DFlash ay direktang binabasa ang Hidden Feature ng Muse Glimmer sa mga layer 1, 13, 25, 37, at 49, at ipinapadala ang mga intermediate representation na ito sa Drafter na mayroon lamang 5 na layer. Sa paraang ito, hindi kailangan ng Drafter na muli nang maunawaan ang buong Context, kundi direktang gamitin ang internal representation na nai-form ng 30B main model.

Hindi lamang ginagamit ang mga feature na ito sa input端 nang isang beses, kundi patuloy na iniihalo sa Key at Value ng bawat layer ng Drafter upang maiwasan ang pagkamalina habang lumalalim ang network.

May isa pang detalye sa pagtuturo. Sa isang 16-Token Block, mas mahalaga ang mga unang Token kaysa sa mga huling Token. Kung mali ang unang Token, kahit anong tama ang mga sumusunod, ang haba ng tuloy-tuloy na pagtanggap ay maliit lamang.

Kaya nagbibigay ang DFlash ng mas mataas na Loss Weight sa mga Token na nasa harap ng Block, at tumuturun nang paulit-ulit patungo sa likod. Ipinapabuti nito ang pinakamahabang tanggap na prefix, hindi lamang ang average accuracy sa 16 posisyon. Sa Meta na ibinigay na K Quant 17GB dataset, tumataas ang Decode Speed mula sa halos 74.9 Token/s hanggang sa 233.4 Token/s sa RTX 5090.

Kung ang isang Agent Task ay nagbuo ng 10,000 na Token, ang pagtingin lamang sa Decode, ang unang isa ay nangangailangan ng halos 134 segundo, habang ang ikalawa ay halos 43 segundo. Ang mga totoong gawain ay naglalaman rin ng Prefill, pagpapatupad ng mga kasangkapan, at paghintay sa network, ngunit para sa mga Agent na may mataas na Reasoning Strength, ang pagkakaiba na ito ay magkakaroon ng malinaw na epekto sa karanasan ng buong gawain.

Ang mataas na Reasoning Strength ay magdaragdag ng mga ginagawang Token, at ang DFlash ang responsable sa pagpapabilis ng panahong ito. Ang mahabang Context ay magdaragdag ng KV Cache, habang ang GQA at Local Attention ay nagpapababa ng memorya. Ang quantization ay patuloy na pinipigilan ang mga timbang ng modelo upang manatili sa sakop ng mga graphics card para sa konsumidor.

Bukod dito, nagpakita ng magandang pagganap ang Muse Glimmer sa mga Agent Benchmark tulad ng MCP Atlas, DeepSearch QA, at Gaia2. Kailangan ng mahabang pagpapatupad na serye ang mga gawain na ito.

Ang MCP Atlas ay nangangailangan ng modelo upang piliin at tawagan ang mga tool sa pagitan ng maraming MCP Server. Kailangan ng DeepSearch QA ang patuloy na paghahanap, pagbukas ng mga pahina, at paghahanap ng impormasyon, at pagpapatuloy sa paggawa batay sa mga bagong resulta. Ang Gaia2 naman ay nagmumodelo ng mga estado na aplikasyon tulad ng email, kalendaryo, at mga contact, at ang kapaligiran mismo ay nagbabago habang nagtatrabaho ang task.

Ang mga gawain na ito ay mas nauugnay sa paraan ng pagtatrabaho ng Muse Glimmer. Ngunit sa OSWorld Verified, TerminalBench, at SWE Bench Verified, hindi ito nanatili sa parehong kahusayan. Halimbawa, sa OSWorld Verified, ang Muse Glimmer ay nakakuha ng 65.9, habang ang Qwen3.6 27B ay 75.6. Sa TerminalBench 2.1, ang Muse Glimmer ay 51.7, samantalang ang kalaban ay nakamit ang 60.7.

Kaya mas malinaw ang pagkakahati ng kanyang kakayahan. Mas matibay ang Research Agent, ang pagkakasundo ng mga kasangkapan, at ang mga gawain na may mahabang proseso, habang mayroon pa ring malaking espasyo para sa pagpapabuti sa mga skenaryo ng pure GUI, terminal, at ilang Coding Agent. Hindi maaaring maunawaan nang buong-pusong ang mga markang ito batay sa tradisyonal na listahan ng mga modelo.

Ang mga resulta ng Agent Benchmark ay maaaring maapektuhan ng System Prompt, Tool Definition, Scaffold, maximum na bilang ng hakbang, sampling parameters, at kahit saan Judge Model. Sinasabi rin ng Meta na ang mga Agent Tools at System Prompt na ginagamit ng mga third-party model ay hindi laging pinakamainam na dinisenyo para sa kanila.

Kaya sa stage ng Agent, ang paghahambing ng mga checkpoint nang hiwalay ay nagsisiguro na mas mahirap ipakita ang buong sitwasyon. Parehong problema ang seguridad.

Ang pagpapatakbo sa lokal ay talagang nagbabawas sa madalas na pagpapadala ng mga file, screenshot at pribadong context sa cloud, ngunit ito ay tumutugon lamang sa daan ng data. Ang Prompt Injection, maling Tool Call, paglabas sa mga pribilehiyo at hindi maibabalik na aksyon ay patuloy na umiiral. Ang Meta ay nag-ehwaluha rin nang hiwalay ang Agentic Risk, Privacy at Prompt Injection, at inirerekomenda na patuloy na dagdagan ang Guardrail at ang kinakailangang Human in the Loop sa totoong deployment.

Isang malinaw na landas ng kakayahan

Ang buong teknikal na path ng Muse Glimmer ay maaaring makabuo ng isang malinaw na chain.

Ipinapalakas ang laki ng modelo sa paligid ng 30B, pinabababa ng GQA at Local Attention ang gastos sa memorya ng GPU para sa 128K Context, pinapahintulutan ng quantization ang modelo na makapasok sa mga device na may 24GB at 32GB, ang Perception Encoder ang responsable sa pagbabasa ng visual na kapaligiran, ang On Policy Distillation ay nakakapag-ugnay sa mga deviating state sa mahabang gawain, ang Reasoning Strength ay nagbibigay ng kontrol sa mga developer sa budget para sa pag-iisip, at ang DFlash ay nagpaproseso ng pagkakalantad na dulot ng malaking bilang ng Reasoning Token.

Hindi patunay ng Muse Glimmer na ang lokal na 30B model ay maaaring palitan ang云端 Frontier Model, ngunit ipinakita nito na ang katapusan ng lokal na 30B model ay hindi nasa simpleng sukat, kundi sa system-level engineering na nagtatagpo ng iba’t ibang hard constraints. Naisama na nito sa iisang sistema ang apat na pinakamahirap na constraint sa lokal na Agent: memory ng GPU, konteksto, pagka-aware sa estado ng kapaligiran, at bilis ng pag-iisip.

Habang hindi pa makapalit nang buo sa mga cloud-based flagship model, ang Muse Glimmer ay nagsilbing daan na may industrial-grade implementation para sa layuning "mayroon ang bawat isa sa sariling Agent".