Ipakita ng mga siyentipiko ng Microsoft ang teknik ng backdoor sa AI model gamit ang mga dormant neuron

iconCryptoSlate
I-share
AI summary iconSummary
Ang AI + balita sa crypto mula sa Microsoft ay naglalabas ng isang bagong paraan upang i-implant ang mga nakatago na trigger sa mga AI model gamit ang mga nakatira na neuron. Ang teknik, na tinatawag na Lazarus, ay ipinahayag noong Nobyembre 10, kasama ang mga detalye na inilathala sa arXiv noong ika-11. Ito ay nagmodyfika sa mga partikular na neuron sa huling layer upang palakasin ang mga tiyak na output tokens. Sinasabi ng Microsoft na wala pang mga pag-atake na gumamit ng paraan na ito at inirerekomenda ang pagsusuri sa pinagmulan ng model. Ang on-chain na balita at seguridad ng AI ay nananatiling mahalagang pag-aalala habang umuunlad ang teknolohiya.

Inangkop ng mga siyentipiko ng Microsoft ang pitong mga neuron upang gawing magagamit ng isang AI model ang isang piniling tugon kapag lumabas ang isang nakatagong trigger habang nananatili ang mga karaniwang kakayahan. Ipinakilala ng Microsoft Research ang teknik, na tinatawag na Lazarus, noong Nobyembre 10. Isinumite ng mga may-akda ang papel sa arXiv noong Nobyembre 11. Sinabi ng Microsoft Threat Intelligence na wala silang nakita na mga aktor ng banta na gumagamit ng teknik na ito bilang armas.

Kailangan ng pag-atake ang pagkakaroon ng access upang baguhin ang mga naka-store na timbang ng modelo, na nagtataguyod sa pagproseso ng input at pagbuo ng tugon. Ang trigger ay nagpapagana sa dating itinanim na pag-uugali at hindi makakapag-backdoor ng hindi binago na checkpoint. Gumagamit ang Lazarus ng mga nakatulog na neuron sa huling feed-forward layer, malapit sa output ng modelo. Bawat napiling neuron ay maaaring magbigay-pabor sa isang token na kabilang sa layuning payload. Ang pitong neuron ay kumakatawan sa mga grupo ng weight vectors, hindi sa pitong numerikal na parameter. Sinubok ng mga mananaliksik ang isang bersyon na kumokompyuta nang direkta sa pagbabago ng timbang at isa pang bersyon na karagdagang inaayos lamang ang mga napiling timbang. Walang kailangang retrain ang buong modelo ang parehong bersyon.

Para sa pagsusulit na may pitong neuron, ang mga mananaliksik ay gumamit ng Nemotron-Terminal-8B patch gamit ang 23 na triggered at benign na halimbawa, na may nakafiksa nang neuron selection at validation data. Ang modelo ay nakapag-预测 ng buong marker sa hindi bababa sa 98.8% ng nakarecord na triggered contexts. Walang marker leakage ang mga nakarecord na benign contexts. Ang payload, printf LAZARUS_OK, ay nagpapakita ng marker. Ipakita ng eksperimento ang output control, hindi isang destruktibong pagkakontrol gamit ang pitong neuron.

Isang iba’t ibang eksperimento ay binago ang 60 neurons sa Qwen3.6-27B upang makapaghula ng utos para sa pag-delete ng isang decoy repository sa iba’t ibang anyo ng aksyon ng agent. Ang paghula ng complete-action ay nakamit ang 40% sa dating hindi nakikita na swe-agent format. Ang pagsubok ay nagbigay ng mga nais na nakaraang token sa bawat hakbang, sa halip na sukatin ang pagpapatupad ng destructive command habang libreng nagpapagana.

Pinahintulutan ng karagdagang mga eksperimento sa Nemotron ang pagbuo ng bagong generasyon at nagproduko ng marker sa 98.88% ng mga kaso na tinigil ng query. Ang mga kaso na tinigil ng obserbasyon ay nagproduko ng marker sa 98.71% ng mga kaso. Ang benign leakage ay nasa zero para sa mga query-triggered na kaso at 0.14% para sa mga observation-triggered na kaso. Ang karaniwang kakayahan ay nanatiling malawak na intakto, bagaman lumabas ang mga makikita nang masukat. Ang mga hiwalay na Qwen benchmarks na walang triggers ay nagsalaysay ng tagumpay sa Terminal-Bench task na 46.59% para sa clean checkpoint, kumpara sa 42.05% para sa bawat edited checkpoint. Ang mga natuklasan sa benchmarks na ito ay hindi nagtataglay kung paano gumagana ang hiwalay na 60-neuron patch.

Hindi nagtatatag ang mga matagumpay na pagsubok sa karaniwang gawain kung ang mga timbang ng modelo ay napalitan. Ang isang nasindak na tugon na naging terminal command ay maaaring mag-act lamang sa loob ng mga pahintulot ng agent. Inirerekomenda ng Microsoft na i-verify ang pinagmulan ng modelo at i-check ang mga pagbabago sa timbang. Inirerekomenda rin ng Microsoft na limitahan ang mga pahintulot at ang outbound network access, kasama ang mga kinakailangang pahintulot para sa mga aksyon ng kagamitan na may malaking epekto. Ang mga kontrol ay tumutugon sa parehong pagpapalit ng checkpoint at sa mga kakayahan ng agent na nagtatampok ng modelo. Babala ng Microsoft na hindi jamin ng isang matagumpay na audit ang ligtas na pag-uugali.

Disclaimer: Ang information sa page na ito ay maaaring nakuha mula sa mga third party at hindi necessary na nagre-reflect sa mga pananaw o opinyon ng KuCoin. Ibinigay ang content na ito para sa mga pangkalahatang informational purpose lang, nang walang anumang representation o warranty ng anumang uri, at hindi rin ito dapat ipakahulugan bilang financial o investment advice. Hindi mananagot ang KuCoin para sa anumang error o omission, o para sa anumang outcome na magreresulta mula sa paggamit ng information na ito. Maaaring maging risky ang mga investment sa mga digital asset. Pakisuri nang maigi ang mga risk ng isang produkto at ang risk tolerance mo batay sa iyong sariling kalagayang pinansyal. Para sa higit pang information, mag-refer sa aming Terms ng Paggamit at Disclosure ng Risk.