Nilahat ng Huawei ang apat na papel sa IJCAI 2026, ipinapakita ang teknikal na trend ng AI mula sa “scale density” patungo sa “design density”.

May-akda ng artikulo, pinagkukunan: Leifeng.com

Ang paglalapat ng AI sa mga praktikal na sitwasyon, ang sistematisadong kakayahan sa inhinyeriya, ay ang hadlang at ang pagkakataon.

Ijcai-ecai 2026 ay magkakaroon ng 15 hanggang 21 ng Agosto 2026 sa Bremen, Germany. Bilang komprehensibong pinakamataas na konperensya sa larangan ng AI, ang IJCAI ay patuloy na nagsisilbing mahalagang pagsusulit para sa mga nangungunang kumpanya tungkol sa kanilang mga nakaraang taong advance na pananaliksik: sino ang may tunay na pag-unlad sa anumang direksyon, at anong mga teknikal na landas ang umuunlad bilang konSENSO, ang mga papel ay ang pinakatuwid na sagot.

Sa panahon ng pagpupulong, ang AI Technology Review ay nagpapatakbo ng sistematikong pag-scan sa mga papel na kinabibilangan ng konperensyang ito upang makita ang mga teknikal na trend at direksyon ng industriya.

Isang malinaw na trend: ang gastos sa AI computing ay patuloy na mataas, at ang marginal benefit mula sa pagpapalawak ng parameter scale ay naging mas maliit kaysa sa marginal cost. Ang ekonomikong katotohanang ito ay nagbabago sa lohika ng teknolohikal na pagbabago—mula sa “kaya bang gawing mas malaki” patungo sa “kaya bang gamitin nang mas mabisa”.

Ang apat na papel na tinanggap ng Huawei sa IJCAI 2026 ay nagbibigay ng teknikal na landas para sa pagbabalik: gamit ang mas masidhing disenyo ng arkitektura at mga estratehiya sa pagtuturo, upang kumbinsihin ang kakulangan sa data, at makakuha ng mas mataas na output ng智能化 sa bawat yunit ng computing power.

Ang pagbabagong teknikal na ito ay sumasalungat din sa mas malalim na pagbabago sa pagpapatupad ng AI: kapag lumabas ang teknolohiya mula sa laboratorio, ang kompetisyon ay hindi na isang puntuwal na pagtemo sa isang tiyak na kakayahan, kundi isang sistematisadong pagpaplano sa pagkakatumpak, pagkakapangkalahatan, data, at computing power—bawat yugto ay maaaring maging bottleneck, ngunit maaari ring maging breakthrough.

Ang apat na papel na ito ay nagpapakita nang tumpak sa apat na direksyon ang sistematisadong engineering capability at teknikal na pagpili ng Huawei.

01 Breaking the Scale Barrier: Architecture + Training, Redefining the Capability Limits of Hierarchical ViT

Sa paligsahan sa paglalawak ng visual foundation models, may isang nakatagong “kabigatan” na palaging umiiral. Ang karaniwang ViT ay patuloy na umuunlad sa paglalawak, mula sa 6B hanggang 22B, patuloy na nagpapabago sa mga limitasyon. Ngunit ang hierarchical ViT ay nananatiling nakakapit sa ilalim ng 2B na parameter. Hindi dahil ayaw nilang gawing malaki, kundi dahil hindi sila kayang gawing malaki. Mas mataas ang mga hiling ng hierarchical models sa datos at mga estratehiya sa pagtuturo kumpara sa karaniwang ViT, at ang paggamit ng simpleng plano ng paglalawak ng karaniwang ViT ay hindi epektibo. Nagreresulta ito sa isang struktural na kontradiksiyon—ang hierarchical ViT ay likas na mahusay sa maramihang iskala na pagpapakita at mga gawain ng malapit na paghuhula (tulad ng object detection, segmentation, at video understanding), ngunit dahil hindi ito makakapag-expand sa sukat, ang kanilang kakayahan ay nakakulong sa isang limitasyon.

Ang artikulo ng tim ng Huawei na “Distilling and Scaling Hierarchical Vision Transformer to 30B Parameters” ay nagpalawak sa hangganan ng sukat mula sa 2B patungo sa 30B.

Paano ito ginawa? Ang sagot ay ang pag-redesign ng modelo at ang pagtatrabaho sa pagsasanay, at kailangan ng pareho.

Ang pangunahing disenyo sa istruktura ay ang Efficient Hierarchical ViT arkitektura. Ito ay nagpapanatili ng kakayahan sa pagkuha ng maramihang iskala ng mga katangian habang isinasaalang-alang ang kalakasan sa pagkalkula.

Batay sa arkitekturang ito, tinuruan ng team ang mga densong modelo mula sa 200M hanggang 5B na mga parameter, at ipinakilala ang bersiyon ng稀疏专家混合 (SMoE) upang iabot ang kabuuang bilang ng parameter sa 30B—ang pinakamalaking known parameter size sa larangan ng hierarchical ViT ngayon.

Sa pagtrabaho, ang koponan ay nagdisenyo ng isang dalawang-saklaw na proseso:

Sa unang yugto, gawin ang MAE self-supervised pre-training sa ImageNet-21K upang matutunan ng modelo ang mga pangunahing prinsipyo ng visual representation;

Sa ikalawang yugto, sa isang dataset ng 27 milyong imahe, ang kaalaman ay inidinulot mula sa maraming pinakamoderno at pangkalahatang base model upang makamit ang isang paglilipat sa kakayahan.

Ang mga resulta ng eksperimento ay nagbigay ng pinakamalakas na patunay. Sa linear evaluation ng ImageNet-1K, ang MoE model na may kabuuang 30B na parameter (EHV-5B-MoE) ay nag-activate lamang ng 6.7 bilyon na parameter habang nag-iisip, at nakamit ang 89.0% na akurasyon, na lumampas sa mas malaking parameter na model sa karaniwang ViT path, ang EVA-CLIP-18B. Mas mahalaga pa, ang pagpapabuti ng performance nito ay hindi limitado sa image classification—nagkakaroon din ito ng mahusay na performance sa video analysis at dense prediction tasks. Ito ay nagpapakita na ang EHV ay natutunan ang higit pa sa mga classification feature—ito ay totoong mataas na kalidad at makapagpapalawak na visual representation.

Ang koponan ng Huawei ay nagpatunay sa pamamagitan ng gawaing ito na ang hierarkikal na ViT ay hindi lamang maaaring gawing malaki, kundi sa panig ng pagpapatakbo, maaari itong makamit ang mas mataas na akurasiya gamit ang mas kaunting aktibong parameter. Ang disenyo ng arkitektura ang tumutukoy sa hangganan ng kakayahan ng modelo, samantalang ang estratehiya sa pagtuturo ang tumutukoy kung gaano kalaki ang hangganan na maaaring palabasin.

02 Input Pre-filtering: Paradigm Shift in Learnable Frame Selectors

Ang ceiling ng model base ay inatake, ngunit ang pagkakalawak ng computing power ay hindi lamang nangyayari sa model mismo—ang data na ibinibigay sa model ay naglalabas din ng malaking halaga ng computing resources. Sa pagproseso ng video ng video-large language models (Video-LLMs), ang pangunahing gastos sa computing ay nasa frame encoding. Upang kontrolin ang gastos, ang mga umiiral na model ay halos lahat ay gumagamit ng uniform sampling—pagkuha ng frames sa pantay na pagkakainterval.

Gayunpaman, ang mga pangunahing pangyayari sa video ay hindi maiuugnay nang pantay-pantay. Maaaring magtrabaho lamang ng isang o dalawang segundo ang isang mahalagang galaw, at kung ito ay nasa pagitan ng dalawang sample point, maaaring lubos na mawala. Sa kabilang banda, ang mga mahabang static na frame ay paulit-ulit na encoded, na nagwawala ng mahalagang computing resources.

Ang isang ibang pagkakaintindi ay ang query-driven approach—ang paghahanap ng mga frame na may kaugnayan batay sa partikular na tanong. Epektibo ito sa mga sitwasyon ng video question answering, ngunit ang detalyadong paglalarawan ng video ay isang “query-less” task, kaya hindi ito magagamit dito.

Ang uniform sampling ay masyadong magulo, at ang query-driven method ay hindi makagamit. Paano ito lutasin? Ang learnable frame selector (LFS) na inilahad ng Huawei AI Data Team ay sumisikap na lutasin ang problema na ito.

Link ng papel: https://arxiv.org/pdf/2601.14594v1

Ang kanilang pangunahang ideya ay direktang simple: Sa halip na gamitin ang mga tao na pumili ng mga frame batay sa mga patakaran, hayaan ang modelo na matutunan kung ano ang dapat tingnan.

Ito ay isang training paradigm na “mula sa hangganan papunta sa simula”, kung saan ang LFS ay hindi na natututo kung “anong mga frame ang may mas mataas na score sa isang intermediate point”, kundi natututo kung “anong mga frame ang makakapagbigay ng mas magandang deskripsyon sa malaking model”. Paano ito ginagawa? Tatlong pangunahing disenyo:

Una, pagsanayin ang isang network ng pagmamarka upang bigyan ng isang “kahalagahan ng pangyayari” na marka bawat frame.

Ikalawa, piliin ang mga frame ayon sa segment, hindi sa buong pagkakasunod-sunod. Sa pagpili ng frame, huwag gamitin ang simpleng “mga unang K na may pinakamataas na skor,” kundi hatiin ang buong video sa mga panahon, at piliin ang pinakamahalagang frame sa bawat panahon. Ganito, masusukat ang mga mahahalagang pangyayari at masisiguro ang pantay na pagkakahati ng mga frame sa timeline.

Ikatlo, at pinakamahalagang hakbang—ang paraan ng pagtuturo. Pagkatapos piliin ng LFS ang mga frame, isusumite nito sa freeze na Video-LLM upang makagawa ng deskripsyon, pagkatapos ay ihihambing ang nagawa nilang deskripsyon sa mga istandar na deskripsyon na gawa ng tao, kalkulahin ang loss, at i-backpropagate upang i-update ang mga parameter ng frame selector. Sa buong proseso, hindi gumalaw ang malaking modelo sa wika mismo; ang LFS ay tulad ng isang plug-and-play na external module.

Bukod dito, natuklasan ng team ng mga mananaliksik ang isang problema: may malaking pagkakaiba sa pagitan ng mga umiiral na benchmark ng detalyadong deskripsyon ng video at ang tunay na kognisyon ng tao. Kaya, nilikha nila ang isang bagong benchmark na ICH-CC, kung saan ang lahat ng video ay galing sa totoong komersyal na sitwasyon ng Chinese intangible cultural heritage sa pagluluto (tulad ng kitchen ng restawran, pagtuturo sa pagluluto, atbp.), at ang lahat ng deskripsyon at tanong-sagot ay sinulat nang maingat ng mga tao, upang mas maging malapit sa tunay na aplikasyon.

Ano ang resulta ng eksperimento?

Ang LFS ay nagdala ng pangkalahatang at patuloy na pagpapabuti sa iba't ibang modelo at benchmark. Ang lahat ng mga bersyon ng LFS-enhanced ay nasa itaas ng baseline model sa lahat ng mga test benchmark, na nagpapakita na ang LFS ay hindi lamang nakakamit ng magandang resulta sa isang benchmark kundi may kakayahang umabot sa iba't ibang aplikasyon.

Ito rin ang sagot sa pangunahing pahayag ng papel: Sa halip na hayaan ang modelo na “mag-isip nang mabuti” sa mga frame na uniform sampling, mas mabuting gawin ang isang intelligent filtering sa input—kapag tama ang mga frame, tumataas din ang performance ng mga downstream task.

03 Task Adaptation: Characterizing Modular Intervention Instead of Full Model Fine-Tuning

Ang kakayahang magpanagana sa iba’t ibang gawain ng malalaking modelo sa wika ay patuloy na isang isyu na “mahalaga sa pagsasalita, mahirap gawin.” Ang mga pangunahing solusyon sa kasalukuyan ay ang dinamikong pagrute sa bawat token—sa bawat token, kailangan piliin ang tamang LoRA adapter sa pagitan ng maraming adapter upang matukoy ang daan. Ang mekanismo na ito ay epektibo, ngunit ang gastos nito ay malaki: mataas pa rin ang paggamit ng computation at memory, kaya mabagal at maraming GPU memory ang kinakailangan ng modelo.

Isang ibang pagkakataon—ang Representation Fine-Tuning (ReFT)—ay hindi na nagbabago ng mga parameter ng modelo, kundi nagpapabago lamang sa representation ng mga unang at huling token upang maabot ang pag-adapt sa isang single task, na mas epektibo kaysa sa LoRA. Gayunpaman, mayroon itong dalawang kahinaan: una, ang sariling kahulugan ng mga token ay may ambiguidad, at ang pagbabago lamang sa simula at dulo ay hindi sapat na tumpak; pangalawa, kulang ito sa isang “self-guided” mekanismo, kaya ang modelo ay hindi alam kong anong layer o anong representation ang dapat baguhin kapag nakakatagpo ng bagong task na hindi nakikita pa.

Ang tim ng Huawei Cloud ay nagtatrabaho kasama ang mga unibersidad upang magbigay ng representation-aware modularity (RaMod) framework, na nagsikap na palawigin ang ideya ng ReFT sa mga skena ng cross-task generalization.

Ang pangunahang pagkilos ay maaaring i-split sa dalawang bahagi:

Ang unang bahagi ay ang dual-module representation at fine-tuning ng mga parameter. Ang ReFT ay limitado sa pagbabago sa simula at dulo, samantalang ang RaMod ay mas detalyado—nagpapili ito ng isang subsetting na napili ng isang estratehiya mula sa mga hidden representation sa gitnang mga layer upang gawin ang modular na interbensyon. Kung saan at paano ito i-aayos, ay may pagpili at estratehiya. Sa paraang ito, mas tumpak na pinapadala ang modelo upang lutasin ang mga gawain na hindi nakikita pa.

Ang pangalawang bahagi ay ang asynchronous scheduler. Ang pinakamalaking takot sa cross-task generalization ay ang kakulangan sa memorya, kaya nilikha ni RaMod ang isang aktibong scheduling mekanismo: ibinibigay ang memorya kung kailangan ang mga interbensyon, at aktibong inilalabas kapag natapos na. Sa ganitong paraan, ang storage overhead ay pinabababa sa pinakamababang antas.

Agad na nakikita ang epekto. Ang mga eksperimento ay nagpapakita na ang RaMod ay may mas magandang pagpapalawak sa pagitan ng mga gawain at mas mababang gastos: kumpara sa orihinal na LLMs, ang paraan na ito ay nagbawas ng 83% sa karagdagang pre-filling time, nagbawas ng 100% sa generation latency, at nagbawas ng 79% sa paggamit ng VRAM.

Sa madaling salita, ginawang pag-ayos ng representasyon ang pag-adapt ng mga gawain ni RaMod—hindi binabago ang pangunahing modelo, kundi pinapalitan lamang ang mga nakatagong estado sa mga mahahalagang layer. Kung matatagumpay ang ideyang ito, maaaring maibago ang ekonomiks ng pag-deploy ng malalaking modelo: isang base model na kasama ang ilang mga magkakaibang, maliit na module para sa pag-intervene, na kaya nang maglingkod sa iba’t ibang mga sitwasyon ng gawain nang mababa ang gastos, nang hindi kailangang i-train o i-load ang bawat kopya nang buo para sa bawat sitwasyon.

Gayunpaman, bago ang “pag-rephrase”, mayroon pa ring ilang mahahalagang tanong na dapat sagutin sa paraan ng pag-adjust ng representation, tulad ng kung patuloy pa itong magpapanatili ng akurasyon habang pinapababa ang gastos sa computing sa mga komplikadong senaryo tulad ng malalim na pag-iisip.

04 Data Breakthrough: Mga Eksperto sa Wika ay Nagtatrabaho nang Magkakahiwalay, Patuloy na Pagtuturo na May Mga Hakbang

Ang mga unang tatlong papel ay naglalayong lutasin ang “paano mas epektibong gamitin ang model.” Ngunit mayroon pang mas pangunahing realisadong hamon sa maraming gawain: kung ang mga datos para sa pagtatrain ay hindi sapat?

Ang code-switching (CS) speech translation task ay nangangailangan ng pagsasalin ng salitang may kasamang iba’t ibang wika patungo sa target language. Ang ganitong gawain ay hindi lamang komplikado sa pagbuo ng kahulugan, kundi ang kakulangan ng CS data ay isang malaking problema.

Ang mga nakaraang pag-aaral ay kadalasang gumagamit ng dalawang paraan: o kaya’y pinapahintulutan ang mga modelo na “maunawaan” ang semantic representation nang sarili nila, na may hindi mapagkakatiwalaang epekto; o kaya’y naglalabas ng malaking pera para sa manual labeling, na sobrang mahal at hindi maaaring i-scalar.

Ang team ng Huawei Translation Service Center, kasama ang Xiamen University at University of Macau, ay nagmungkahi ng isang bagong ideya sa kanilang papel: sa halip na hayaan ang modelo na mag-eksperimento nang sarili upang maunawaan ang mga semantikong representasyon ng iba’t ibang wika, mas mabuting i-align nang aktibo ang mga ito—bumuo ng hiwalay na “team ng mga eksperto” para sa bawat wika, kung saan ang bawat team ay responsable sa semantikong pagbuo ng kanilang sariling wika, at pagkatapos ay i-align ang lahat nang isang buo.

Link ng papel: https://arxiv.org/pdf/2511.10670

May dalawang pangunahing disenyo sa pagpapatupad:

Ang unang isa ay MoE (Mixture of Experts) audio projector. Ang tradisyonal na projector ay nagtrato ng lahat ng wika nang pantay-pantay, kaya ang epekto ay hindi gaanong maayos. Sa bersyon na MoE, binibigyan ng isang espesyal na grupo ng “mga eksperto” bawat wika, at ang bawat grupo ng eksperto ay responsable lamang sa pagbuo ng detalyadong audio feature ng isang wika. Ang routing mechanism ay awtomatikong ipapadala ang audio feature sa tamang grupo ng eksperto para sa wika.

Upang masiguro na hindi mali ang routing, idinagdag ng papel ang dalawang auxiliary loss: ang language-specific loss upang siguraduhin na bawat expert ay matututo ng mga katangian ng kaukulang wika, at ang within-group load balancing loss upang maiwasan ang pagkakalat ng lahat ng token sa iisang expert.

Ang pangalawa ay isang marami-saklaw na pagtuturo na paraan. Kung kulang ang data, gamitin ang mga estratehiya. Ang buong pagtuturo ay may apat na hakbang: una, gamitin ang mga data ng automatic speech recognition (ASR) upang pre-train ang bawat projektor para sa bawat wika, upang magtatag ng pundasyon para sa pagkakasundo ng tinig at teksto; pagkatapos, i-assembly ang mga projektor ng bawat wika bilang isang MoE na istruktura, at i-optimize ang mga ito nang sabay-sabay gamit ang mga loss na espesipiko sa wika at load balancing; susunod, mula sa ASR data, maaari mong mag-transition patungo sa mga data ng monolingual speech translation (ST), gamit ang transition loss upang magbigay ng malambot na paglipat; at huli, i-adapt ang ST data patungo sa mga data ng code-switched speech translation.

Ang kahusayan ng progresibong disenyo ay nasa paghahanda ng mga pangunahing kakayahan gamit ang sapat na ASR at ST data bago umiikot sa layuning gawain, hindi sa pagpapakilala nang direkta sa kakaunti na CS data.

Ipinagkumpara ang Whisper, SeamlessM4T, LLaST, at iba pang mga malakas na baseline model. Sa apat na test set ng Fisher at NTUML2021, lumampas ang paraan sa anumang iba pang model, kabilang ang pinakamahusay na SeamlessM4T, na nakamit ng BLEU na 39.52 at COMET na 81.33.

Ang mensahe na ipinapadala ng gawain na ito ay malinaw: sa mga skenaryo ng cross-lingual kung saan ang data ay limitado, ang detalyadong disenyo ng arkitektura at ang progresibong estratehiya sa pagtuturo ay maaaring mas epektibo kaysa sa pagpapalaki ng dami ng data lamang.

Mahalagang tandaan na ang trabahong ito ay epektibo bilang “pangunahing solusyon” sa mga sitwasyon na may limitadong bilang ng wika at kontroladong kalidad ng data, ngunit kung ang scalability nito ay maaaring maipakita sa isang pangkalahatang multilingual translation system na nangangailangan ng pagkakataon sa mga dekada ng wika, kailangan pa ng karagdagang pagpapatotoo.

05 Wakas: Palitan ang density ng disenyo sa gastos ng computing power

Ang 30B hierarchical ViT ay binago ang model skeleton, na nagpapahintulot sa 6.7 bilyon na aktibong parameter na lampasin ang 18 bilyon na kalaban sa ImageNet;

Ginawa ng LFS ang isang pagbabawas sa input upang pigilan ang malaking halaga ng walang kwentang overhead sa pag-encode bago ang pagkalkula;

Inir-downsize ni RaMod ang full fine-tuning sa定点 editing ng representation layer, na nagbaba ng memory usage at latency sa pag-adapt sa iba’t ibang task;

Ang pagbabalik-balik ng wika sa pagsasalin ay gumagamit ng MoE分工 at progresibong pagtuturo, at nagpatotoo sa pinakamaliit na data na sektor: ang karunungan sa arkitektura ay minsan ay kayang pataasin ang kakulangan sa data.

Apat na papel, apat na direksyon, lahat ay nagtuturo sa iisang core: ginagamit ng Huawei ang “design density” upang palitan ang “scale density.” Ang apat na papel ay galing sa pangunahang pag-aaral, AI data, cloud services, at sentro ng pagsasalin, na nagpapakita na ang pagiging maaasahan ay hindi na lamang preferensya ng isang team—ang lohikang ito ay isinulat na sa bawat yugto ng teknikal na pagpili.

Kung isasalaysay ang pagkumpitensya sa AI sa nakaraang dalawang taon bilang “pagpapalakas ng mina,” ang taong 2026 ay nagpapakita ng isang punto ng pagbabago: ang panahon ng pagpapalakas ng “teknolohiya ng pagpapaputol” ay nagsimula na. Ang sparse activation, intelligent filtering, modular adaptation, at progressive training—ang mga path na ito ay hindi nakadepende sa mas maraming chip at computing power, kundi sa mas malalim na pag-unawa sa sariling problema.

Kahit ang mga malalaking kumpanya o mga startup, nasa huling bahagi na ng AI race; ang tunay na desisyon ay ang pag-unawa sa mga praktikal na problema at ang teknikal na kakayahan upang solusyunan ito nang sistematiko.