華為在 IJCAI 2026 收錄了四篇論文，展現 AI 從“規模密度”轉向“設計密度”的技術趨勢。

文章作者、來源：雷峰網

AI 走向現實場景，系統化工程能力，是瓶頸，也是突破點。

IJCAI-ECAI 2026 將於 2026 年 8 月 15 日至 21 日在德國不來梅舉行。作為 AI 領域的綜合性頂級會議，IJCAI 一直是檢驗各大廠過去一年前沿研究成果的關鍵考場：誰在哪個方向上有真進展，哪些技術路線正在形成共識，論文是最直接的答案。

在大會召開之際，AI 科技評論也正在系統掃描本屆頂會收錄的論文，從中捕捉技術趨勢和行業風向。

一個清晰的趨勢是：AI 算力成本居高不下，而參數規模擴張帶來的邊際收益早已追不上邊際成本。這個經濟學現實正在重塑技術創新邏輯——從“能不能做得更大”轉向“能不能用得更省”。

華為被 IJCAI 2026 收錄的四篇論文，為這一轉向提供了技術路徑參考：用更精巧的架構設計和訓練策略，來對沖數據稀缺瓶頸，換取單位算力更高的智能產出。

這種技術導向的轉變，也呼應了 AI 落地的深層變化：當技術走出實驗室，競爭早已不是某一項能力的單點突破，而是準確性、泛化性、數據、算力之間的系統統籌——每一個環節都可能成為瓶頸，也都可能成為突破口。

這四篇論文恰好從這四個方向，展現了華為的系統化工程能力與技術選擇。

01 Breaking the Scale Barrier: Architecture and Training Redefine the Capability Limits of Hierarchical ViT

在視覺基礎模型的規模化競賽中，一直存在一層隱形的「天花板」。普通 ViT 的規模化一路高歌猛進，從 6B 到 22B 不斷刷新上限。但層次化 ViT 始終卡在 2B 參數以下。不是不想做大，是做不大。層級化模型對數據和訓練策略的要求比普通 ViT 高得多，簡單套用普通 ViT 的規模化方案行不通。這就導致了一個結構性矛盾——層級化 ViT 天然擅長多尺度表徵和密集預測任務（目標檢測、分割、視頻理解），但規模上不去，能力的上限就被鎖死了。

華為團隊的這篇《Distilling and Scaling Hierarchical Vision Transformer to 30B Parameters》，將規模上限從 2B 直接推到了 30B。

怎麼做到的？答案是對模型結構和訓練策略都進行重新設計，兩者缺一不可。

核心架構設計為 Efficient Hierarchical ViT 架構，在確保多尺度特徵提取能力的同時，兼顧了計算效率。

基於這一架構，團隊訓練了從 200M 到 5B 參數的稠密模型，並引入稀疏專家混合（SMoE）變體，將總參數量推到了 30B——這是目前層次化 ViT 領域已公開的最大參數規模。

在訓練上，團隊設計了一套兩階段流程：

第一階段，在 ImageNet-21K 上做 MAE 自監督預訓練，讓模型學會視覺表徵的基本規律；

第二階段，在 2700 萬圖像數據集上，從多個最先進的通用基礎模型中蒸餾知識，實現能力躍遷。

實驗結果提供了最有力的證明。在 ImageNet-1K 線性評測中，總參數為 30B 的 MoE 模型（EHV-5B-MoE）在推理時僅激活 67 億參數，便以 89.0% 的準確率超越了總參數更大的普通 ViT 路徑模型 EVA-CLIP-18B。更重要的是，其性能提升並不局限於圖像分類——在視頻分析和密集預測任務上同樣表現出色。這表明 EHV 學到的不僅是分類特徵，而是真正高質量、可泛化的視覺表徵。

華為團隊透過這項工作證明，層次化 ViT 不僅能擴大規模，而且在推理端能以更少的激活參數實現更高的準確性。架構設計決定了模型的能力上限，而訓練策略則決定了這一上限能在多大程度上被釋放。

02 Input Pre-filtering: A Paradigm Shift in Learnable Frame Selectors

模型底座的天花板提高了，但算力的消耗不僅在模型本身，餵給模型的數據同樣在大量吞噬計算資源。視頻-大語言模型（Video-LLMs）處理視頻時，計算成本主要消耗在幀編碼上。為了控制成本，現有模型幾乎都採用均勻採樣——等間隔抽幀。

然而，視頻裡的關鍵事件從來不會均勻分佈。一個重要的動作可能只持續一兩秒，如果恰好落在兩個採樣點之間，就被徹底漏掉了。相反，那些冗長的靜態畫面卻被反覆編碼，浪費了寶貴的計算資源。

另一種思路是查詢驅動的方法——根據具體問題檢索相關的幀。這在視頻問答場景下確實有效，但詳細視頻描述是一個「無查詢」任務，這種方法在這裡派不上用場。

均勻採樣太粗糙，查詢驅動的方法又用不了。怎麼破？華為 AI 數據團隊提出的可學習幀選擇器 LFS（Learnable Frame Selector），試圖來解決這個問題。

論文地址：https://arxiv.org/pdf/2601.14594v1

他們的核心想法很直接：與其靠人工規則選幀，不如讓模型自己學會“該看什麼”。

這是一種「以終為始」的訓練範式，LFS 不再學習「在某個中間得分上選擇哪些幀更高」，而是學習「選擇哪些幀能讓大模型寫出更好的描述」。具體怎麼做？三個關鍵設計：

第一，訓練一個評分網絡，為每一幀打一個“事件重要性”分數。

第二，分段選幀而非全局排序。選幀時不用簡單的「得分最高的前 K 個」，而是把整個影片切成多個時間段，在每個時間段裡分別挑最重要的幀。這樣既抓住了關鍵事件，又保證了幀在時間軸上分佈均勻。

第三，也是最關鍵的一步——訓練方式。LFS 選好幀之後，把它們餵給凍結的 Video-LLM 生成描述，拿生成的描述和人工標註的標準描述做對比，算出損失，再反向傳播去更新幀選擇器的參數。整個過程中大語言模型本身一動沒動，LFS 就像一個即插即用的外掛模塊。

此外，研究團隊還發現了一個問題：現有的詳細視頻描述基準與人類真正的認知之間存在較大差距。因此，他們自建了一個新基準 ICH-CC，所有視頻均來源於中國非遺烹飪的真實商業場景（如餐廳廚房、烹飪教學等），所有描述與問答均由人工精心撰寫，更貼近真實應用場景。

實驗結果如何？

LFS 在不同模型和不同基準上均帶來了普遍且穩定的提升。所有模型的 LFS 增強版在所有測試基準上均高於基線模型，這說明 LFS 不僅能在單一基準上取得好成績，具備一定的通用性。

這也回應了論文的核心命題：與其讓模型在均勻採樣的幀上「硬算」，不如在輸入端做一次智能篩選——選對了幀，下游任務的表現也隨之有所提升。

03 Task Adaptation: Representation-Based Modular Intervention Replaces Full Model Fine-Tuning

大語言模型的跨任務泛化能力，一直是一個「說起來重要、做起來難」的問題。現有的主流方案是 per-token 動態路由——每個 token 在處理時，都要在多個 LoRA 適配器之間做選擇，決定走哪條路。這套機制確實有效，但代價也不小：計算量和顯存占用都居高不下，模型跑起來又慢又吃顯存。

另一種思路——表徵微調（ReFT）——不再調整模型參數，而是僅編輯前綴和後綴 token 的表徵以實現單任務適配，效率比 LoRA 高出不少。但它有兩個短板：一是 token 本身的語義存在歧義，僅修改首尾不足以精準控制；二是缺乏一種「自引導」機制，當模型面對未曾見過的新任務時，無法判斷應修改哪一層、哪個表徵。

華為雲團隊與多所高校合作，提出了表征感知的模組化 RaMod（Representation-Aware Modularity）框架，成功將 ReFT 的思路擴展至跨任務泛化場景。

核心做法可以拆成兩部分來看：

第一部分是雙模組表徵與參數微調。ReFT 只能調整首尾，RaMod 則精細得多——從中間層的隱藏表徵中挑選出一個經過策略篩選的子集，進行模組化干預。改哪裡、怎麼改，都是有選擇、有策略的。這樣能更精準地引導模型解決未見過的任務。

第二部分是異步調度器。跨任務泛化最怕顯存不夠，RaMod 設計了一套主動調度機制：需要哪些干預就分配顯存，用完了就主動釋放。這樣一來，存儲開銷被壓到了最低。

效果立竿見影。實驗表明，RaMod 不僅跨任務泛化效果更好，成本也大幅下降：與原始 LLMs 相比，該方法額外預填時間減少了 83%，生成延遲降低 100%，顯存佔用少了 79%。

換句話說，RaMod 將任務適配從「改模型」變為「調表徵」——不動模型主體，只在關鍵層的隱藏狀態上做定點編輯。這種思路如果成立，大模型部署的經濟學可能會被改寫：一個底座模型配上若干輕量級干預模組，就能低成本地服務於截然不同的任務場景，而不必為每個場景單獨訓練或載入完整副本。

However, before “rewriting,” this method of representation fine-tuning still has key questions to address, such as whether accuracy can still be maintained while significantly reducing computational costs in high-difficulty scenarios like complex reasoning.

04 數據破局：語言專家各司其職，漸進訓練步步為營

前三篇論文都在解決「怎麼更高效地用模型」。但很多任務還有一個更根本的現實挑戰：如果連訓練資料都不夠呢？

語碼轉換（Code-Switching，CS）語音翻譯任務需要將混合多種語言的語音翻譯成目標語言。此任務不僅語義建模複雜，CS 數據的稀缺性更是重大問題。

以往的研究主要依賴兩條路徑：要麼讓模型自行「悟」出語義表徵，效果不可控；要麼花大筆資金進行人工標註，成本過高，難以擴大規模。

華為翻譯服務中心團隊，與廈門大學、澳門大學合作的這篇論文，提出了一個新思路：與其讓模型自行摸索不同語言的語義表徵，不如主動將它們對齊——為每種語言單獨建立一個”專家團隊“，讓各團隊分別負責各自語言的語義建模，最後再統一對齊。

論文地址：https://arxiv.org/pdf/2511.10670

具體實現方式有兩個關鍵設計：

第一個是 MoE（混合專家）語音投影器。傳統投影器對所有語言一視同仁，效果自然不理想。MoE 版本的做法是給每種語言分配一組專門的”專家“，每個專家組只負責一種語言的細粒度語音特徵建模。路由機制會自動把語音特徵送到對應語言的專家組手裡。

為確保路由不偏離，論文還引入了兩個輔助損失：語言特定損失確保每個專家真正學會對應語言的特徵，組內負載均衡損失防止所有 token 都擠到同一個專家。

第二個是多階段訓練範式。數據不夠，就用策略來湊。整個訓練分四步走：先用自動語音識別（ASR）數據分別預訓練每種語言的投影器，打好語音-文本對齊的基礎；然後把各語言的投影器組裝成 MoE 結構，用語言特定損失和負載均衡損失聯合優化；接著從 ASR 數據逐步過渡到單語語音翻譯（ST）數據，用過渡損失平滑遷移；最後從 ST 數據適配到 CS 語音翻譯數據。

這套漸進式設計的精妙之處在於——不是讓模型直接硬啃稀缺的 CS 數據，而是先用充足的 ASR 和 ST 數據把基礎能力打牢，再一步步轉向目標任務。

實驗對比了 Whisper、SeamlessM4T、LLaST 等多個強基線模型。在 Fisher 和 NTUML2021 的四個測試集上，該方法均超越了其他模型中表現最突出的 SeamlessM4T，BLEU 最高達到 39.52，COMET 最高達到 81.33。

這項工作傳遞的訊息很明確：在數據稀缺的跨語言場景下，精細化的架構設計和漸進式的訓練策略，也許比單純堆數據更管用。

需要注意的是，這項工作在語言數量有限、數據質量可控的場景下，是有效的「尖刀方案」，但在需要覆蓋數十種語言的通用多語種翻譯系統中，是否具備可擴展性，還需要進一步論證。

05 結語：以設計密度，換算力成本

30B 層次化 ViT 重構了模型骨架，讓 67 億激活參數在 ImageNet 上超越了 180 億的對手；

LFS 在輸入端做了一道減法，把大量無意義的幀編碼開銷擋在計算之前；

RaMod 將全量微調壓縮為表徵層的定点編輯，跨任務適配的顯存和延遲均有所降低；

語碼轉換語音翻譯則採用 MoE 分工與漸進式訓練，在數據最匱乏的賽道上證明了一個道理：架構的智慧，有時候能夠彌補數據的貧瘠。

四篇論文，四個方向，都在指向同一個核心：華為正在以「設計密度」取代「規模密度」。四篇論文分別來自基礎研究、AI 數據、雲服務和翻譯服務中心，說明效率優先已不僅僅是某個團隊的偏好，這個邏輯已被寫入各個環節的技術選擇中。

如果把過去兩年的 AI 競賽比作「拼礦」，那 2026 年正顯露出一個拐點：拼「冶煉技術」的時代已經開始了。稀疏激活、智能篩選、模組化適配、漸進式訓練——這些路徑不依賴更多的晶片和算力，而依賴對問題本身更深刻的認識。

無論大型企業還是創業公司，早已走過了參數軍備賽；AI 的下半場，對現實落地問題的理解，以及系統化解決這些問題的工程能力，才是真正的決勝點。