A Huawei apresentou quatro artigos aceitos na IJCAI 2026, demonstrando a tendência tecnológica da IA de se mover da "densidade de escala" para a "densidade de design".

Autor e fonte do artigo: Leifeng.com

A inteligência artificial avançando para cenários reais, a capacidade de engenharia sistematizada, é tanto um gargalo quanto uma oportunidade.

IJCAI-ECAI 2026 será realizado em Bremen, Alemanha, de 15 a 21 de agosto de 2026. Como a principal conferência abrangente na área de IA, a IJCAI tem sido um exame crucial para avaliar os avanços de ponta das grandes empresas nos últimos anos: quem fez progressos reais em qual direção e quais abordagens tecnológicas estão formando consenso — os artigos são a resposta mais direta.

À medida que a conferência está em andamento, a AI Technology Review também está realizando uma varredura sistemática dos artigos aceitos nesta conferência principal, buscando identificar tendências tecnológicas e direções do setor.

Uma tendência clara é: o custo da capacidade de IA permanece elevado, e os retornos marginais trazidos pelo aumento do número de parâmetros já não conseguem acompanhar os custos marginais. Essa realidade econômica está redefinindo a lógica da inovação tecnológica — passando de “conseguimos fazer algo maior?” para “conseguimos usar de forma mais eficiente?”.

Os quatro artigos da Huawei aceitos pela IJCAI 2026 fornecem referências de caminhos técnicos para essa transição: usar projetos de arquitetura mais sofisticados e estratégias de treinamento para compensar a escassez de dados e obter maior produtividade inteligente por unidade de poder de computação.

Essa mudança de orientação tecnológica também reflete as profundas transformações na implementação da IA: quando a tecnologia sai do laboratório, a competição já não é mais um avanço pontual em uma única capacidade, mas sim um planejamento sistêmico entre precisão, generalização, dados e poder de computação — cada etapa pode se tornar um gargalo, mas também pode ser um ponto de ruptura.

Os quatro artigos abaixo, exatamente nesses quatro aspectos, demonstram a capacidade de engenharia sistemática e as escolhas tecnológicas da Huawei.

01 Breaking the Scale Barrier: Architecture + Training, Redefining the Capabilities of Hierarchical ViT

Na corrida de escala de modelos visuais baseados em visão, existe sempre um “teto” invisível. A escala de ViTs comuns avança rapidamente, superando continuamente limites, passando de 6B para 22B. No entanto, ViTs hierárquicos permanecem presos abaixo de 2B de parâmetros. Não é que não queiram crescer, é que não conseguem crescer. Modelos hierárquicos exigem muito mais em termos de dados e estratégias de treinamento do que ViTs comuns; aplicar simplesmente as abordagens de escala de ViTs comuns não funciona. Isso cria uma contradição estrutural — ViTs hierárquicos são naturalmente excelentes em representações multiescala e tarefas de previsão densa (detecção de objetos, segmentação, compreensão de vídeo), mas, como não conseguem aumentar sua escala, seu potencial fica limitado.

O artigo da equipe da Huawei, “Distilling and Scaling Hierarchical Vision Transformer to 30B Parameters”, elevou o limite de escala de 2B para 30B diretamente.

Como é feito? A resposta é redesenhar tanto a estrutura do modelo quanto a estratégia de treinamento — ambos são indispensáveis.

O design central da estrutura é a arquitetura Efficient Hierarchical ViT, que garante a capacidade de extração de características em múltiplas escalas, ao mesmo tempo em que considera a eficiência computacional.

Com base nessa arquitetura, a equipe treinou modelos densos com 200M a 5B parâmetros e introduziu uma variante de mistura esparsa de especialistas (SMoE), aumentando o número total de parâmetros para 30B — o maior tamanho de parâmetros publicamente conhecido na área de ViT hierárquica até o momento.

No treinamento, a equipe projetou um processo em duas etapas:

Na primeira fase, realize o pré-treinamento auto-supervisionado MAE no ImageNet-21K para permitir que o modelo aprenda as leis básicas da representação visual;

Na segunda fase, realiza-se uma transição de capacidade por meio da distilação de conhecimento de múltiplos modelos básicos gerais mais avançados em um conjunto de dados de 27 milhões de imagens.

Os resultados experimentais fornecem a prova mais robusta. Na avaliação linear do ImageNet-1K, o modelo MoE com 30B de parâmetros totais (EHV-5B-MoE) ativa apenas 6,7 bilhões de parâmetros durante a inferência e alcança uma precisão de 89,0%, superando modelos na linha ViT tradicional com mais parâmetros totais, como o EVA-CLIP-18B. Mais importante ainda, seu aumento de desempenho não se limita à classificação de imagens — também se destaca em tarefas de análise de vídeo e previsão densa. Isso indica que o EHV aprendeu não apenas características de classificação, mas sim representações visuais de alta qualidade e verdadeiramente generalizáveis.

A equipe da Huawei usou este trabalho para demonstrar que o ViT hierárquico não apenas pode ser escalado para grandes dimensões, mas também pode alcançar maior precisão na inferência com menos parâmetros de ativação. O design da arquitetura determina o limite de capacidade do modelo, enquanto a estratégia de treinamento determina em que medida esse limite pode ser liberado.

02 Input pre-filtering: Paradigm shift in learnable frame selectors

O teto da base do modelo foi elevado, mas o consumo de poder de computação não se limita ao modelo em si; os dados fornecidos ao modelo também consomem grandes quantidades de recursos computacionais. Ao processar vídeos, os modelos de linguagem visual (Video-LLMs) consomem principalmente recursos de computação na codificação de quadros. Para controlar os custos, os modelos atuais quase todos utilizam amostragem uniforme — extração de quadros em intervalos iguais.

No entanto, os eventos-chave no vídeo nunca são distribuídos uniformemente. Um movimento importante pode durar apenas um ou dois segundos e, se ocorrer exatamente entre duas amostras, será completamente perdido. Por outro lado, cenas estáticas prolongadas são codificadas repetidamente, desperdiçando recursos computacionais valiosos.

Outra abordagem é o método baseado em consulta — recuperar quadros relevantes com base em perguntas específicas. Isso funciona bem em cenários de perguntas e respostas em vídeo, mas a descrição detalhada de vídeo é uma tarefa “sem consulta”, e esse método não é aplicável aqui.

A amostragem uniforme é muito grosseira, e os métodos baseados em consulta não podem ser usados. Como resolver? A equipe de dados de IA da Huawei propôs o seletor de quadros aprendível LFS (Learnable Frame Selector) para tentar resolver esse problema.

Endereço do artigo: https://arxiv.org/pdf/2601.14594v1

A ideia principal deles é direta: em vez de depender de regras manuais para selecionar quadros, deixe o modelo aprender sozinho "o que olhar".

Este é um paradigma de treinamento "comece pelo fim": o LFS não aprende mais "quais quadros obterão pontuações mais altas em um ponto intermediário", mas sim "quais quadros permitem que o grande modelo produza descrições melhores". Como isso é feito? Três designações-chave:

Primeiro, treine uma rede de pontuação para atribuir uma pontuação de "importância do evento" a cada quadro.

Em segundo lugar, seleção de quadros por segmento em vez de classificação global. Ao selecionar quadros, não use simplesmente os “K quadros com as pontuações mais altas”, mas divida todo o vídeo em vários intervalos de tempo e, em cada intervalo, escolha os quadros mais importantes. Isso captura os eventos-chave e garante que os quadros estejam distribuídos uniformemente ao longo do eixo temporal.

Terceiro, e o passo mais crucial: o método de treinamento. Após o LFS selecionar os quadros, ele os fornece ao Video-LLM congelado para gerar descrições, compara essas descrições geradas com as descrições padrão anotadas manualmente, calcula a perda e realiza retropropagação para atualizar os parâmetros do seletor de quadros. Durante todo o processo, o modelo de linguagem grande permanece inalterado, e o LFS atua como um módulo externo plug-and-play.

Além disso, a equipe de pesquisa descobriu uma lacuna significativa entre os benchmarks existentes de descrições detalhadas de vídeos e a cognição humana real. Por isso, eles criaram um novo benchmark, o ICH-CC, cujos vídeos são todos provenientes de cenários comerciais reais da culinária chinesa intangível (como cozinhas de restaurantes e aulas de culinária), com todas as descrições e perguntas e respostas cuidadosamente escritas por humanos, tornando-as mais próximas de aplicações reais.

How did the experiment turn out?

LFS trouxe melhorias gerais e estáveis em diferentes modelos e benchmarks. Todas as versões aprimoradas com LFS superaram os modelos de referência em todos os benchmarks testados, demonstrando que o LFS não apenas alcança bons resultados em um único benchmark, mas também possui certa generalidade.

Isso também responde à proposição central do artigo: em vez de fazer o modelo “calcular rigidamente” em quadros amostrados uniformemente, é melhor realizar uma seleção inteligente na entrada — ao escolher os quadros corretos, o desempenho das tarefas subsequentes também melhora.

03 Tarefa de adaptação: Módulo de representação substitui o fine-tuning completo do modelo

A capacidade de generalização entre tarefas de grandes modelos de linguagem sempre foi um problema “importante de falar, difícil de implementar”. As soluções dominantes atuais utilizam roteamento dinâmico por token — cada token, ao ser processado, precisa escolher entre vários adaptadores LoRA para determinar qual caminho seguir. Esse mecanismo é eficaz, mas o custo é alto: o consumo de computação e memória GPU permanece elevado, tornando o modelo lento e exigente em termos de memória.

Uma abordagem alternativa — o Fine-Tuning por Representação (ReFT) — não altera os parâmetros do modelo, mas apenas edita as representações dos tokens de prefixo e sufixo para adaptar-se a uma única tarefa, sendo significativamente mais eficiente que o LoRA. No entanto, possui duas limitações: primeiro, os próprios tokens têm ambiguidade semântica, e modificar apenas os extremos não é suficientemente preciso; segundo, falta um mecanismo de “auto-guia”, de modo que o modelo, ao enfrentar uma nova tarefa desconhecida, não sabe qual camada alterar nem qual representação modificar.

A equipe da Huawei Cloud colaborou com várias universidades para propor o framework RaMod (Modularidade Consciente de Representação), estendendo com sucesso a abordagem do ReFT para cenários de generalização entre tarefas.

A abordagem principal pode ser dividida em duas partes:

A primeira parte é a representação de módulos duplos e o fine-tuning de parâmetros. O ReFT só pode modificar os extremos, enquanto o RaMod é muito mais refinado — seleciona um subconjunto filtrado por estratégia a partir das representações ocultas das camadas intermediárias para realizar intervenções modularizadas. Onde e como modificar é feito de forma seletiva e estratégica. Isso permite guiar com mais precisão o modelo para resolver tarefas não vistas anteriormente.

A segunda parte é o agendador assíncrono. O maior medo na generalização entre tarefas é a falta de memória de vídeo; o RaMod projetou um mecanismo de agendamento ativo: aloca memória de vídeo apenas conforme necessário e a libera ativamente quando não está mais em uso. Dessa forma, o custo de armazenamento é reduzido ao mínimo.

Os resultados são imediatos. Experimentos demonstram que o RaMod não apenas generaliza melhor entre tarefas, mas também reduz significativamente os custos: em comparação com os LLMs originais, o tempo de pré-carregamento adicional foi reduzido em 83%, a latência de geração diminuiu 100% e o uso de memória GPU caiu 79%.

Em outras palavras, o RaMod transformou a adaptação de tarefas de “modificar o modelo” para “ajustar representações” — mantendo a estrutura principal do modelo inalterada e realizando edições pontuais apenas nos estados ocultos das camadas-chave. Se essa abordagem for válida, a economia de implantação de grandes modelos pode ser reescrita: um modelo base, combinado com vários módulos de intervenção leves, poderá atender a cenários de tarefas totalmente diferentes com baixo custo, sem a necessidade de treinar ou carregar cópias completas separadas para cada cenário.

No entanto, antes da “reescrita”, esse método de ajuste de representação ainda apresenta algumas questões-chave a serem respondidas, como se, em cenários de alta complexidade, como raciocínio complexo, ainda é possível manter a precisão enquanto reduz significativamente os custos de computação.

04 Dados rompendo barreiras: especialistas em linguagem atuando em suas funções, treinamento progressivo passo a passo

Os três primeiros artigos abordam como usar modelos de forma mais eficiente. Mas muitas tarefas enfrentam um desafio prático ainda mais fundamental: e se os dados de treinamento não forem suficientes?

A tarefa de tradução de fala de code-switching (CS) requer a tradução de fala contendo múltiplos idiomas para um idioma de destino. Essa tarefa não apenas apresenta modelagem semântica complexa, mas a escassez de dados de CS é um grande problema.

Estudos anteriores dependiam principalmente de dois caminhos: ou deixar o modelo descobrir sozinho a representação semântica, com resultados imprevisíveis; ou gastar grandes quantias em anotação manual, o que resultava em custos excessivos e escala limitada.

A equipe do Centro de Tradução da Huawei, em colaboração com a Universidade de Xiamen e a Universidade de Macau, propôs neste artigo uma nova abordagem: em vez de deixar o modelo descobrir sozinho as representações semânticas de diferentes idiomas, é melhor alinhar ativamente essas representações — criando uma “equipe de especialistas” separada para cada idioma, responsáveis por modelar semanticamente seu próprio idioma, e depois alinhando-as uniformemente.

Endereço do artigo: https://arxiv.org/pdf/2511.10670

Existem dois design-chave na implementação específica:

O primeiro é o projetor de voz MoE (Mistura de Especialistas). Projetores tradicionais tratam todos os idiomas de forma igual, o que naturalmente não produz bons resultados. A versão MoE atribui um conjunto especializado de “especialistas” a cada idioma, com cada grupo de especialistas responsável apenas pela modelagem de características de voz finas para um único idioma. O mecanismo de roteamento envia automaticamente as características de voz para o grupo de especialistas correspondente ao idioma.

Para garantir que o roteamento não se desvie, o artigo também introduziu duas perdas auxiliares: a perda específica da linguagem garante que cada especialista realmente aprenda as características da linguagem correspondente, e a perda de balanceamento de carga intra-grupo impede que todos os tokens se acumulem no mesmo especialista.

O segundo é um paradigma de treinamento em múltiplas etapas. Se os dados forem insuficientes, use estratégias para compensar. Todo o treinamento é dividido em quatro etapas: primeiro, use dados de reconhecimento automático de fala (ASR) para pré-treinar separadamente o projetor de cada idioma, estabelecendo uma base de alinhamento voz-texto; em seguida, monte os projetores de cada idioma em uma estrutura MoE e otimize-os conjuntamente com perdas específicas de idioma e perdas de balanceamento de carga; depois, transite gradualmente dos dados ASR para dados de tradução automática de fala (ST) monolíngues, usando uma perda de transição para suavizar a migração; por fim, adapte-se dos dados ST aos dados de tradução automática de fala cruzada (CS).

A beleza deste design progressivo está em não fazer o modelo enfrentar diretamente os dados escassos de CS, mas antes consolidar as habilidades básicas com dados abundantes de ASR e ST, e só então avançar gradualmente para a tarefa alvo.

Foram comparados experimentalmente vários modelos de base fortes, incluindo Whisper, SeamlessM4T e LLaST. Em quatro conjuntos de teste do Fisher e NTUML2021, o método superou o SeamlessM4T, o melhor desempenho entre os outros modelos, alcançando um BLEU máximo de 39,52 e um COMET máximo de 81,33.

A mensagem transmitida por este trabalho é clara: em cenários multilíngues com escassez de dados, um design de arquitetura refinado e estratégias de treinamento progressivas podem ser mais eficazes do que simplesmente aumentar a quantidade de dados.

Observe-se que este método é uma “solução eficaz” em cenários com número limitado de idiomas e qualidade de dados controlável; no entanto, sua escalabilidade em um sistema de tradução multilíngue geral que cubra dezenas de idiomas ainda precisa ser demonstrada.

05 Conclusão: Trocar a densidade de design pelo custo de hash

A ViT hierárquica de 30B reestruturou a arquitetura do modelo, permitindo que 6,7 bilhões de parâmetros ativos superassem seus concorrentes de 18 bilhões no ImageNet;

LFS fez uma subtração na entrada, bloqueando grande parte do overhead de codificação de quadros sem sentido antes do cálculo;

RaMod compactou o fine-tuning completo em edições pontuais na camada de representação, reduzindo simultaneamente o uso de memória e a latência para adaptação entre tarefas;

A tradução de voz com troca de código utiliza divisão MoE e treinamento progressivo, provando em uma das áreas com menos dados que a inteligência da arquitetura às vezes pode compensar a escassez de dados.

Quatro artigos, quatro direções, todos apontando para o mesmo núcleo: a Huawei está substituindo a “densidade de escala” pela “densidade de design”. Os quatro artigos provêm de pesquisa básica, dados de IA, serviços em nuvem e centro de tradução, indicando que a priorização da eficiência não é mais apenas uma preferência de uma equipe específica — esse raciocínio foi incorporado nas escolhas tecnológicas em todos os estágios.

Se a competição de IA nos últimos dois anos fosse comparada a uma “corrida de mineração”, 2026 está revelando um ponto de inflexão: a era da corrida por “tecnologias de refino” já começou. Ativação esparsa, filtragem inteligente, adaptação modular, treinamento progressivo — essas abordagens não dependem de mais chips e poder de processamento, mas de uma compreensão mais profunda do próprio problema.

Seja grandes empresas ou startups, já passaram pela corrida armamentista de parâmetros; a segunda metade da IA, o entendimento dos problemas de implementação real e a capacidade de engenharia para resolver esses problemas de forma sistematizada são os verdadeiros pontos decisivos.