No primeiro semestre de 2026, o total de financiamento na corrida de modelos mundiais da IA na China atingiu aproximadamente 90 bilhões de yuans, com um crescimento superior a cinco vezes.

Autor e fonte do artigo: Leifeng.com

No primeiro semestre de 2026, dinheiro e talentos do setor de IA na China fluíram na mesma direção: modelos mundiais.

Apenas nos primeiros seis meses, o valor total de financiamento divulgado na área de modelos mundiais domésticos foi de aproximadamente 30 bilhões de yuans; se a área de fusão entre “inteligência embodiada + modelos mundiais” for incluída, esse número aumenta para mais de 90 bilhões.

O crescimento do financiamento superou cinco vezes em comparação com o mesmo período do ano passado.

Cem bilhões em capital e uma quantidade massiva de talentos estão entrando como uma maré.

Uma questão que não pode ser ignorada: quantas dessas pessoas realmente compreenderam o que isso realmente é?

Profissionais estão buscando direção, investidores estão procurando pessoas, recrutadores estão mapeando organizações e departamentos estratégicos de grandes empresas estão analisando quem sobreviverá.

Uma coisa estranha é que todos estão fazendo a mesma pergunta: alguém consegue explicar o que é um modelo mundial?

Sim.

Hoje realizamos uma entrevista aprofundada com o cientista sênior do Instituto IDEA e fundador da ShiQi WeiLai, Zhang Lei, para esclarecer este assunto.

Ele é Fellow da IEEE, com mais de 77.000 citações no Google Scholar. Sua série DINO dominou o COCO por cinco meses, e o Grounding DINO, juntamente com o posterior DINO-X, superaram Google e Meta, sendo adotados como padrão por diversas instituições globais de ponta, como a equipe de Li Fei-Fei, NVIDIA e Galaxy General.

Em 2025, ele, junto com sua equipe, fundou ShiQi Future a partir da incubadora IDEA, e recebeu quase 100 milhões de yuan na rodada anjo em apenas um mês.

Atrás dele estão dois gigantes da IA: o mentor acadêmico, Acadêmico Zhang Bo (um dos fundadores da inteligência artificial na China), e o mentor industrial, Acadêmico Shen Xiangyang (ex-vice-presidente executivo global da Microsoft e ex-diretor do Microsoft Research Asia).

Mas isso não é a principal razão pela qual o procuramos.

A razão pela qual o procuramos é simples: em 2026, quando todos estavam discutindo "o que é um modelo mundial", Zhang Lei foi um dos poucos a fornecer uma resposta clara, operacional e que não cedia a nenhuma corrente dominante.

Da pesquisadora-chefe do Microsoft Research, à cientista titular do IDEA Research, e depois ao empreendedor — sua trajetória profissional passou por várias mudanças, mas sua questão de pesquisa nunca mudou: “fazer com que a IA entenda objetos”.

O modelo do mundo é a resposta fundamental para esta questão que vem sendo explorada por mais de vinte anos no mundo físico.

Se você está observando a corrida dos modelos mundiais, quer entender se isso realmente é uma bolha, deseja saber quem vencerá a disputa de rotas e quer avaliar quais equipes valem a pena acompanhar — esta conversa vale a pena ser lida até o fim. Porque, It's totally worth your time.

Aqui está o registro da conversa, com edições realizadas pela AI Tech Review sem alterar o significado original.

Dr. Zhang Lei, IEEE Fellow, founder and CEO of ShiQi WeiLai, is currently a Distinguished Scientist at the Center for Computer Vision and Robotics (CVR) of IDEA Institute and an adjunct professor at Hong Kong University of Science and Technology (Guangzhou). He was previously a Chief Researcher at Microsoft Research Asia and Microsoft Headquarters Research, having published over 200 papers in computer vision and related fields, with more than 77,000 citations on Google Scholar, an H-Index of 107, and over 60 granted U.S. patents. He was elected as an IEEE Fellow for his outstanding contributions to large-scale image recognition and multimedia information retrieval.

O maior gargalo da inteligência embodiada não é o corpo, mas o cérebro

Comentário sobre tecnologia de IA: Desde o ano passado, a inteligência embodiada explodiu, e as empresas de robótica têm se destacado cada vez mais no controle de movimento — os robôs da Unitree correm em maratonas, e os robôs da AgiBot conseguem fazer cambalhotas. No entanto, observamos que ainda falta um impulso para a aplicação prática. Quais desafios ainda precisam ser superados para que a inteligência embodiada realmente se torne realidade?

Zhang Lei: Os dois aspectos centrais que os robôs precisam resolver são: taxa de sucesso e capacidade de generalização. A taxa de sucesso refere-se à capacidade de realizar uma tarefa de forma confiável; a generalização refere-se à capacidade de realizar confiavelmente a mesma tarefa em ambientes ou corpos diferentes.

Há quatro desafios específicos:

Primeiro, a generalização em cenários únicos é insuficiente. Muitas equipes hoje conseguem alcançar taxas de sucesso de 70% ou até 80% em cenários únicos, o que parece uma grande conquista. Mas o que significa 80% em aplicações reais? Significa que a cada cinco operações, uma falha ocorre, exigindo ainda grande quantidade de mão de obra para suporte, tornando totalmente inviável a implantação independente.

Em segundo lugar, a generalidade dos cenários de expansão horizontal é insuficiente. Deve-se primeiro empurrar a capacidade pontual até seu limite máximo, e só depois expandir horizontalmente a amplitude das aplicações de cenário, permitindo que ele realize mais tarefas, mais complexas, em ambientes mais complexos. Esse é o maior fosso que impede os robôs de passarem de “demonstrações de laboratório” para “aplicações reais”.

Terceiro, a falta de capacidades profundas do “cérebro”. Atualmente, o aprendizado profundo concentra-se mais em aprender o “comportamento” da inteligência, e não seu “mecanismo” (os princípios subjacentes à inteligência). Um cérebro corporificado precisa possuir verdadeira inferência causal sobre o mundo físico (não apenas correlações estatísticas, mas compreensão da cadeia lógica “porque A, então B”), compreensão de senso comum e capacidade de adaptação — e nesse aspecto, mal começamos.

Quarto, longe de atingir o nível de aplicativo "terminal". Atualmente, a maioria dos robôs ainda depende de grande poder de processamento externo; é necessário resolver a questão fundamental de "não precisar de suporte humano" para que possam ser amplamente implementados em inúmeros cenários e formar um ciclo positivo de "aplicativo-dados-iteração".

Comentário sobre tecnologia de IA: Para ser sincero, a indústria está dividida sobre essa questão. A equipe de hardware acredita que a vantagem da cadeia de suprimentos chinesa é clara e que o foco deve ser reduzir primeiro o custo do hardware; já a equipe de algoritmos acha que o cérebro é realmente o gargalo. Qual é a sua opinião?

Zhang Lei: O cérebro é mais difícil, mas também mais importante.

Em termos de hardware, a iteração chinesa é motivo de orgulho. Empresas como Unitree e Zhiyuan aprimoram o controle por meio de aprendizado por reforço por simulação (treinando algoritmos de controle em ambientes virtuais antes de transferi-los para robôs reais), refinando continuamente componentes-chave como motores e mecanismos de transmissão, otimizando significativamente custos e confiabilidade, trilhando um caminho muito sólido. No entanto, as capacidades demonstradas pelo hardware em maratonas e apresentações ainda são apenas basicamente equivalentes às habilidades básicas dos animais; o hardware ainda não alcançou as reações instintivas, saltos, desvios e interação com o ambiente dos animais.

Comentário sobre tecnologia de IA: Você disse que o “cérebro” é mais difícil; em que aspecto é mais difícil? É por falta de dados ou porque nossa compreensão do próprio inteligência ainda é muito superficial?

Zhang Lei: A dificuldade reside no fato de que não compreendemos verdadeiramente os mecanismos por trás disso. O cérebro humano tem a maior distinção e o maior nível de inteligência em comparação com outros animais. Atualmente, todas as conquistas no aprendizado profundo são baseadas na observação superficial do nível de inteligência do cérebro humano e na implementação de algoritmos para replicá-lo. A IA está, na verdade, aprendendo o comportamento humano, e não a inteligência humana em si. Como o professor Zhang Bo costuma dizer, os grandes modelos de linguagem conseguem falar como humanos, mas compreendem a linguagem de forma completamente diferente dos seres humanos.

Por que o modelo mundial foi ignorado por vinte anos e repentinamente se tornou popular hoje?

Comentário sobre tecnologia de IA: Com o surgimento do agente embutido, o conceito de "modelo do mundo" repentinamente se tornou popular. Mas todos na indústria sabem que isso não é um termo novo — acadêmicos já o mencionavam nos anos 90. Estamos curiosos: por que esse conceito permaneceu em silêncio por duas décadas e agora, de repente, se tornou uma tendência?

Zhang Lei: Essa é uma boa pergunta. Modelos mundiais não são um conceito novo. Nos anos 90, pesquisadores já tentavam modelar o ambiente necessário para a interação de agentes (sistemas de IA capazes de perceber o ambiente e tomar ações para atingir objetivos), a fim de melhorar algoritmos de aprendizado por reforço, mas naquela época o deep learning ainda não havia surgido, e era difícil validar o conceito após sua proposta.

Esse conceito foi realmente validado por volta de 2018-2019, com a aparição de artigos verdadeiramente intitulados "World Models" e sua aplicação em cenários de jogos, pois os jogos são o melhor ambiente para validar o aprendizado por reforço.

Após vários anos de desenvolvimento do aprendizado por reforço, a IA já conseguia derrotar jogadores humanos em jogos. Nesse momento, os pesquisadores começaram a refletir: seria possível fazer com que agentes de IA, ao interagirem continuamente com o ambiente do jogo, aprendessem autonomamente um modelo do mundo, incorporando o processo de evolução do ambiente nesse modelo? Essa ideia foi plenamente validada entre 2018 e 2020.

Comentário sobre tecnologia de IA: Então, qual é a relação disso com a inteligência embodiada de hoje? Parece que, ao que ouvimos, é realmente a inteligência embodiada que acendeu a mecha para o sucesso dos modelos do mundo?

Zhang Lei: Essa associação precisa ser entendida a partir dos modelos de linguagem. A indústria primeiro desenvolveu o VLA (Vision-Language-Action, ou modelo visão-linguagem-ação, em que robôs observam imagens e preveem o próximo movimento), adotando o paradigma de aprendizado por imitação dos modelos de linguagem: modelos de linguagem realizam previsão do próximo token; o VLA embutido é quando o robô observa a cena atual e prevê qual deve ser o próximo movimento.

Mas esse método rapidamente atingiu um limite. Esse limite não está apenas nos dados; acho que os dados são apenas um aspecto, e o outro é que o aprendizado por reforço ainda não é suficientemente aplicado. Tenho uma metáfora: o aprendizado por imitação ensina modelos de linguagem a falar, enquanto o aprendizado por reforço ensina modelos de linguagem a dizer coisas corretas.

A inteligência do robô e a taxa de sucesso das ações também requerem aprendizado por reforço.

Mas o aprendizado por reforço aplicado a sistemas embutidos enfrenta dois obstáculos fatais: primeiro, a eficiência na coleta de dados é extremamente baixa, muito inferior à dos modelos de linguagem, pois os robôs devem executar cada ação no ambiente real e aguardar o feedback físico; segundo, o custo da falha é insuportável — ao aprender a lavar louça, pode-se quebrar pratos; ao aprender a evitar acidentes em veículos autônomos, pode ser necessário passar por muitos acidentes reais antes de aprender. Isso é totalmente diferente dos modelos de linguagem, que podem testar e errar no mundo digital com custo mínimo.

O ambiente virtual fornecido pelo modelo mundial é exatamente a saída para resolver esses problemas. Se um modelo puder prever “o que acontecerá com o ambiente se eu fizer esse movimento”, o robô poderá “imaginar” inúmeras tentativas e erros no mundo virtual, sem precisar realmente quebrar dez mil pratos.

(Nota do autor: Entenda simplesmente a cadeia lógica deste trecho. Primeiro, um robô precisa de muitas tentativas e erros para aprender a fazer algo. Segundo, tentar e errar no mundo real é muito caro e perigoso. Terceiro, um modelo do mundo é como criar um “campo de treinamento virtual” para o robô, permitindo que ele simule mentalmente as consequências de todos os seus movimentos. Quarto, basta aplicar no mundo real apenas a melhor solução. É por isso que os modelos do mundo se tornaram repentinamente o foco de atenção de toda a indústria neste momento.)

Sem a ação como condição de entrada, não se chama modelo do mundo

Comentário sobre tecnologia de IA: Atualmente, a definição de "modelo do mundo" na indústria é bastante confusa. Modelos de geração de vídeo são chamados de modelo do mundo, modelagem de espaço 3D é chamada de modelo do mundo, e até o JEPA (Arquitetura de Embedding Conjunto de Previsão) de LeCun também é chamado de modelo do mundo. Então, o que você acha que um modelo precisa ter, no mínimo, para merecer essas quatro palavras?

Zhang Lei: Acredito que os modelos mundiais devem necessariamente ter dependência de ação, ou seja, Action Conditioned (com a ação como entrada, o modelo deve ser capaz de responder: "Se um determinado movimento for executado, como o ambiente mudará?").

Os agentes conseguem interagir com o ambiente por meio de ações: as ações do agente causam mudanças no ambiente, e após essas mudanças, um novo estado é gerado e retornado ao agente, informando-o se a ação realizada o aproximou um passo do objetivo. Trata-se de um ciclo completo, em que cada transição de estado do ambiente depende da ação específica executada no passo anterior.

Muitas pessoas dizem que modelos mundiais consistem em transformar a previsão do próximo token de modelos de linguagem em previsão do próximo estado, mas acho que essa definição não é rigorosa o suficiente, pois falta uma condição essencial. A formulação correta deveria ser: Previsão do Próximo Estado Condicionada por Ação. Somente ao incluir a ação como condição prévia, a previsão do estado ganha significado e realmente atende às necessidades do aprendizado por reforço.

Comentário sobre tecnologia de IA: Para ser honesto, muitas pessoas, incluindo alguns investidores em planos de negócios, têm o hábito de chamar modelos de geração de vídeo como o Sora de modelos do mundo. Mas, segundo o padrão que você acabou de apresentar, eles claramente faltam a dimensão de ação. Gostaríamos de ouvir como você desmonta esse problema?

Zhang Lei: O modelo do mundo discutido aqui deriva dos métodos baseados em modelo do campo do aprendizado por reforço, visando ajudar agentes a interagirem de forma mais eficaz com o ambiente. Embora haja muitas aplicações para modelos do mundo, a inteligência embodiada é atualmente a aplicação mais clara e valiosa.

Nesse sentido, modelos puramente de geração de vídeo, como o Sora inicial, não podem ser chamados de modelos do mundo. A razão principal é que eles não modelam “ações”; eles basicamente geram uma sequência de vídeo coerente, prevendo como os pixels mudam, mas não modelam de forma alguma as ações de interação entre robôs e o ambiente. Será que eles podem ajudar indiretamente os robôs? Podem aprender algumas leis de mudança do mundo, mas é difícil ajudar os robôs a interagirem melhor com o ambiente.

Comentário sobre tecnologia de IA: E o recentemente popular World Action Model? Ouvi dizer que ele também fala sobre ações—é outro tipo de modelo de mundo?

Zhang Lei: O WAM também não é um modelo do mundo no sentido do aprendizado por reforço. Ele utiliza supervisão em nível de pixel fornecida pela previsão de imagens futuras para ajudar a melhorar a previsão de ações, demonstrando desempenho superior ao da VLA em algumas tarefas. No entanto, sua modelagem é causa-efeito invertida: gera primeiro as imagens futuras e depois retroage para inferir as ações, não podendo ser usado em aprendizado por reforço, portanto, não atende à definição de modelo do mundo discutida aqui.

PixelPunks vs.隐空间: ambos estão na verdade fazendo a mesma coisa

Comentário sobre tecnologia de IA: Ao falar sobre a disputa de abordagens, este é atualmente o tópico mais quente no campo dos modelos mundiais. LeCun é a figura-chave da escola do espaço latente, enquanto o Sora representa a escola dos pixels. As duas abordagens parecem incompatíveis; qual é a sua opinião?

Zhang Lei: Primeiro, devemos reconhecer que ambas as linhas têm pontos em comum.

Na verdade, atualmente todos sentem que elas são muito opostas, possivelmente porque LeCun é bastante claro e firme em suas posições; às vezes, um acadêmico precisa expressar suas ideias de forma bem clara para ser lembrado fora do meio acadêmico.

Mas a rota do pixel também depende do espaço latente para operar. Stable Diffusion e Sora primeiro comprimem imagens ou vídeos para um espaço de representação de baixa dimensão antes de processá-los. Portanto, o espaço de representação é a questão mais fundamental. A verdadeira divergência entre as duas abordagens não está em usar ou não o espaço latente, mas em o que manter e o que descartar após entrar no espaço latente.

A diferença está em: a abordagem do espaço latente busca excluir detalhes de pixels como iluminação e textura, que não são impulsionados por leis físicas, ajudando o modelo a aprender as leis mais fundamentais por trás das mudanças de estado; no entanto, ela enfrenta o risco de colapso de representação — se dez mil imagens diferentes forem mapeadas para a mesma representação, a representação colapsa, significando que o modelo perde a capacidade de distinguir entre diferentes estados. A abordagem de pixels busca cada detalhe minucioso, essencialmente tentando agradar aos olhos humanos, pois os seres humanos são muito sensíveis aos detalhes visuais.

Comentário sobre tecnologia de IA: Até aqui, temos uma intuição. Será que o cérebro humano também faz inferências no espaço latente? Quando você fecha os olhos e imagina as consequências de um movimento, quem está renderizando pixel a pixel na mente?

Zhang Lei: Correto. Se o cérebro humano possui um modelo do mundo, quando imaginamos como um movimento altera o ambiente, na verdade estamos operando no espaço latente, sem passar por cada pixel da imagem mentalmente. Portanto, usar a percepção humana da qualidade da imagem como critério de avaliação para o modelo do mundo é insuficiente. Se a abordagem de pixels for usada para criar um modelo do mundo, o verdadeiro objetivo não deve ser a realidade dos pixels, mas sim garantir que a sequência de vídeo gerada seja fisicamente plausível.

(Observação do autor: Esta conversa aborda a disputa entre duas abordagens para modelos de IA do mundo. A escola de pixels, representada pelo Sora, foca apenas na realidade visual, frequentemente gerando bugs que violam o senso comum físico, como copos flutuando, objetos atravessando-se e velas que não apagam. Já a abordagem do espaço latente, defendida por LeCun e Zhang Lei, primeiro abstrai a cena em padrões e depois a simula, compreendendo melhor a causalidade física. A inovação-chave de Zhang Lei foi introduzir “estrutura de objetos” no espaço latente, permitindo que a IA distinga primeiro objetos independentes — como copos, mesas e pessoas — e depois aprenda as regras de interação entre eles. Isso evita os erros visuais típicos do Sora e torna o modelo mais adequado para robôs realizarem tarefas no mundo real, como evitar obstáculos, agarrar objetos e planejar movimentos.

Comentário sobre tecnologia de IA: Você segue a mesma rota de espaço latente que LeCun. Mas ouvimos dizer que há uma diferença fundamental na sua abordagem: você enfatiza a necessidade de “introduzir estrutura de objetos”. Qual é a diferença central?

Zhang Lei: Nossa abordagem compartilha o mesmo princípio fundamental de LeCun: o cérebro humano realiza raciocínio contrafactual ("e se eu fizer isso?") de forma condicionada a ações, realizando inferências em representações abstratas, não reexecutando em pixels.

LeCun validou este axioma nos últimos anos com I-JEPA, V-JEPA e LeJEPA: a previsão deve ocorrer no espaço de representação. No entanto, a complexidade do espaço físico na abordagem corporal é extremamente alta, e acreditamos que, para aplicar esse método em grandes ambientes reais, ainda é necessário introduzir estrutura necessária no espaço latente.

Essa perspectiva vem da nossa capacidade já verificada. O DINO-X, desenvolvido sob a liderança da nossa equipe central, já resolveu o problema de “ver objetos” em mundos abertos. Portanto, agora tornamos os objetos a unidade básica para previsão e planejamento do modelo do mundo. Intuitivamente, as leis da física atuam sobre os objetos; compreender os objetos por meio de representações no espaço latente permite aprender as leis da física de forma mais eficaz.

Comentário sobre tecnologia de IA: Espere um momento, queremos fazer uma pergunta adicional. O AMI Labs de LeCun também recebeu bilhões de dólares em financiamento e está se esforçando intensamente nessa direção. Por que vocês acreditam que sua melhoria de “introdução da estrutura do objeto” conseguirá avançar mais do que o grande framework dele?

Zhang Lei: Porque anteriormente desenvolvemos o DINO-X, um modelo geral de percepção de objetos aberto, que já alcançou o melhor desempenho global na tarefa de "compreender objetos". Nossa compreensão dos mecanismos dos modelos visuais e por que esses modelos conseguem produzir resultados fisicamente plausíveis está altamente alinhada com a linha de pesquisa original de compreensão geral de objetos.

Em resumo, a abordagem de LeCun é um framework básico; sobre esse framework, introduzimos a estrutura dos objetos e permitimos que ele opere em闭环 em ambientes reais. Essa capacidade de “闭环” foi desenvolvida por nós nos últimos anos.

Por que a série DINO consegue superar o Google e o Meta?

Comentário sobre tecnologia de IA: Sua equipe obteve resultados excessivamente notáveis na fase de grandes modelos visuais. O Grounding DINO e o posterior DINO-X superaram Google e Meta, sendo adotados como padrão por instituições globais de ponta, como a equipe de Li Fei-Fei, NVIDIA e Galaxy General. Discutimos isso internamente e todos achamos algo “anormal”: normalmente, equipes chinesas seguem o ritmo das estrangeiras. Como vocês conseguiram inverter essa dinâmica, fazendo equipes estrangeiras perseguirem vocês?

Zhang Lei: Dois aspectos se destacam.

Em termos de paradigma, somos a primeira equipe a alcançar o SOTA (State of the Art, melhor nível do campo) em detecção visual utilizando o Transformer (uma arquitetura de aprendizado profundo baseada em atenção automática, que também serve como base para modelos de linguagem de grande porte). O Grounding DINO introduziu o paradigma de modelos de linguagem, expandindo pela primeira vez a detecção de objetos para domínios abertos: o modelo já não está limitado a reconhecer apenas categorias de objetos já treinadas, mas pode detectar qualquer objeto nunca visto antes. Até hoje, continua sendo o modelo de código aberto mais referenciado e baixado, o que pode ser considerado uma ruptura paradigmática.

Em termos de dados e estratégia de engenharia, após o Grounding DINO, mudamos para uma abordagem fechada, impulsionando ideias validadas na direção do Scaling. Ao mesmo tempo, tenho altos padrões para a qualidade do trabalho. Embora a equipe fosse jovem e não tivesse realizado trabalhos tão avançados anteriormente, mantive firmemente os critérios de entrada, enfatizando que só lançaríamos se alcançássemos uma ruptura de nível versão maior. Por isso, levamos cerca de um ano para lançar o Grounding DINO 1.5 e mais seis meses para lançar o DINO-X. Na prática, as versões refinadas durante esse período de mais de um ano obtiveram alto reconhecimento da indústria.

Comentário sobre tecnologia de IA: Qual é a relação entre os grandes modelos visuais que vocês desenvolveram e os modelos do mundo atuais?

Zhang Lei: Nosso trabalho é contínuo. Anteriormente, ao trabalhar com percepção de objetos, nosso objetivo principal era fornecer uma base de percepção para robôs; posteriormente, muitas equipes utilizaram nosso Grounding DINO para resolver problemas de compreensão de ambientes embutidos.

Na linha técnica, os modelos mundiais são mais nativamente visuais do que linguísticos, e quase todos os trabalhos com modelos mundiais não são baseados na arquitetura puramente linguística como o GPT.

Em termos de experiência da equipe, nossa compreensão dos mecanismos dos modelos visuais se alinha muito bem com a linha de tecnologia original de compreensão geral de objetos. É por isso que temos confiança para continuar iterando o modelo do mundo.

A equipe, composta por mais de 20 pessoas originadas do IDEA, é muito estável. Enquanto desenvolvíamos modelos proprietários, continuamos a atrair profissionais externos com forte expertise em algoritmos e engenharia. Essas mais de 20 pessoas são hoje as “sementes” da ShiQi Future.

Evolução da série de modelos DINO para modelos mundiais

Como fazer com que a IA realmente "veja" objetos?

Comentário sobre tecnologia de IA: Você disse que as soluções de espaço latente existentes “não compreendem verdadeiramente os objetos”, pois não sabem quais são os objetos independentes na cena ou qual é a relação entre eles. Ficamos curiosos: como se determina isso? Como saber se o modelo realmente “compreende” os objetos ou apenas “finge” compreendê-los?

Zhang Lei: Compreender por si só é difícil de verificar diretamente. Ninguém consegue explicar claramente como os modelos de linguagem realmente compreendem a linguagem; só podemos julgar por meio de comportamentos aparentes. Se ele produz texto contínuo e você acha que não há diferença em relação ao que uma pessoa diz, então diz-se que ele compreende.

Modelos mundiais enfrentam dilemas semelhantes. É difícil explicar diretamente se o modelo realmente compreende as leis da física ou se realmente capturou a estrutura dos objetos. Analisaremos por meio da visualização dos passos intermediários; se os resultados forem coerentes com a intuição humana, isso indica que ele provavelmente capturou a estrutura dos objetos.

Comentário sobre tecnologia de IA: Existem métodos de teste específicos? É possível realizar um experimento para verificar?

Zhang Lei: Sim. O teste contrafactual é um bom método, permitindo que o modelo tente diferentes ações para ver se consegue produzir resultados fisicamente plausíveis. Se o modelo conseguir acertar mesmo com uma pequena desvio na trajetória, isso indica que ele aprendeu as regras; se não conseguir, provavelmente ainda está aprendendo apenas correlações estatísticas.

Isso exige muita perspicácia. Como o professor Richard Sutton disse, os pesquisadores sempre têm a tentação de ajudar os modelos, inserindo suas próprias experiências. Os pesquisadores de modelos de linguagem já tentaram desvendar estruturas sintáticas, dividir palavras e frases para alimentá-las ao modelo, mas acabaram sendo superados pelo simples paradigma de “prever o próximo token”.

Eu acredito fortemente na força dessa abordagem simples de evoluir. Muitos designs artificiais são eficazes a curto prazo, mas impedem a evolução a longo prazo.

Comentário sobre tecnologia de IA: Existem ainda alguns objetos muito desafiadores no mundo físico, como areia movediça, água, fumaça e tecidos, que não possuem fronteiras claras. Nossa preocupação é se seu framework "centrado em objetos" não acabará sendo limitado pelo próprio conceito de "objeto".

Zhang Lei: Nós mesmos também estamos refletindo sobre essa questão. Do ponto de vista técnico, a abordagem mais simples é o Mask, que segmenta os pixels da região do objeto. Nos últimos anos, o campo de visão computacional já se tornou muito maduro em compreensão semântica de objetos e previsão de Mask, conseguindo lidar com objetos não rígidos como areia movediça e águas.

Portanto, começar com o Mask é um ponto de partida prático. E nossa experiência em percepção de objetos gerais é mais profunda do que a de qualquer outra equipe externa.

EgoTwin: Ensinar a mão do robô com a mão humana

Comentário sobre tecnologia de IA: Em seu framework técnico, há um conceito muito importante chamado "alinhamento de ações", que mapeia ações de diferentes configurações — como a mão humana, pinça de dois dedos e mão delicada de múltiplos dedos — para o mesmo espaço latente. Nós entendemos isso como algo semelhante a fazer uma tradução para robôs, permitindo que eles compreendam ações em diferentes "idiomas", correto?

Zhang Lei: As entradas principais do modelo mundial são duas: imagem (estado) e ação, portanto, compreender a ação é fundamental.

O alinhamento de ações é uma necessidade básica para problemas de múltiplos ontologias. Alinhar a mão humana com um braço robótico é ainda mais difícil: as posições das articulações do braço robótico nos eixos XYZ do espaço físico são precisamente conhecidas, mas os dados da mão humana geralmente vêm de vídeos 2D — ao gravar um vídeo de alguém cozinhando, por exemplo, há apenas imagens bidimensionais, sem coordenadas tridimensionais. Usá-los diretamente juntos é ineficiente.

Nossa abordagem consiste em extrair pontos-chave 3D, convertendo vídeos 2D das mãos humanas em sequências de operações no espaço 3D, alinhando-as aos dados do braço robótico no mesmo espaço físico. Isso é o que a indústria atualmente chama de coleta e processamento de dados Ego (dados de operações humanas coletados em perspectiva de primeira pessoa).

Anteriormente, lançamos o EgoTwin, que resolve precisamente esse tipo de problema de coleta de dados, e atualmente estamos colaborando com a equipe de coleta de dados do Baidu Cloud.

Comentário sobre tecnologia de IA: EgoTwin resolve o problema de dados “como as mãos se movem”. Mas gostaríamos de perguntar: nos vídeos humanos, ainda há informações mais elevadas implícitas — qual é a intenção por trás “por que as mãos se movem assim”? Como lidar com isso?

Zhang Lei: A compreensão das intenções por trás das ações de nível superior será deixada para modelos de mundo ou modelos VLA resolverem. Mas o pressuposto é que a qualidade dos dados em si seja suficientemente alta. A matéria-prima dos dados é extremamente crucial. A indústria investiu grande quantidade de mão de obra e custos na coleta de dados, mas, em muitos casos, a eficiência de utilização desses dados não é ideal. A experiência central que acumulamos nos trabalhos Grounding DINO e DINO-X é encontrar pessoas que entendam algoritmos para se envolver profundamente na preparação dos dados; caso contrário, os dados coletados podem não ser utilizáveis durante o treinamento. É necessário iterar em paralelo as linhas de algoritmos e de dados.

Zhang Bo e Shen Xiangyang: Dois mentores, uma mesma base

Comentário sobre tecnologia de IA: Nós notamos que, atrás de você, estão duas pessoas que tiveram grande influência: o acadêmico Zhang Bo (um dos fundadores da inteligência artificial na China) e o acadêmico Shen Xiangyang (ex-vice-presidente executivo global da Microsoft e ex-diretor do Microsoft Research Asia). Um focado na academia, o outro na indústria. Gostaríamos de saber o que cada um deles lhe ofereceu.

Zhang Lei: O acadêmico Zhang Bo sempre foi meu orientador e modelo. Conheci o professor Zhang pela primeira vez quando entrei no laboratório da Tsinghua como graduando; ele era o diretor do laboratório. Na época, eu estava trabalhando com AGV (veículos guiados automaticamente) e passava grande parte do meu tempo livre no laboratório ajustando hardware e realizando experimentos, e sempre via o professor Zhang orientando doutorandos em trabalhos relacionados a robótica. Mais tarde, tive a sorte de me tornar seu aluno de doutorado. O que mais me marcou foi sua extrema sensibilidade a novas tecnologias e sua forte curiosidade. Sempre que ia mostrar a ele os resultados dos experimentos e discutir, ele se sentava animado ao lado e dizia: “Tente modificar isso e veja o que acontece.” Ele também aprofundava sua própria compreensão por meio dessa abordagem. É possível ver como a compreensão de um acadêmico sobre algoritmos e problemas é inteiramente impulsionada pela curiosidade.

Outro ponto que ainda me serve hoje é sua ênfase em “entender as coisas profundamente”; se não entender totalmente, será enganado; só ao entender completamente é que se descobre como funcionam os princípios fundamentais. Essa frase tornou-se posteriormente meu princípio ao orientar meus alunos: compreenda plenamente, busque o melhor.

O acadêmico Shen Xiangyang também teve um grande impacto em mim. Durante meu tempo na Microsoft, ele foi sempre meu chefe direto e influenciou toda a minha trajetória profissional: foi ele quem me contratou para vir da China para os Estados Unidos e quem me convenceu a retornar a Shenzhen. Além disso, ele possui uma visão muito aguçada sobre direções industriais e me forneceu muitos conselhos práticos e compartilhamentos de experiência, desde a construção da equipe até a captação de recursos.

Comentário sobre tecnologia de IA: Ouvi dizer que o professor Zhang Bo, aos 90 anos de idade, ainda visitou sua equipe para trocar ideias? Isso nos toca profundamente só de ouvir.

Zhang Lei: Sim. Em novembro do ano passado, a pós-graduação da Universidade Tsinghua o convidou para ministrar palestras em Shenzhen. Após terminar a aula pela manhã, ele dedicou a tarde inteira à nossa equipe. Passamos toda a tarde trocando ideias e jantamos juntos à noite. Ele tem uma visão muito ampla e ofereceu muitas sugestões sobre nossas áreas de compreensão visual geral e robótica. Apesar da idade avançada, sua mente é extremamente clara; sua lógica e profundidade de compreensão dos problemas são, de forma alguma, inferiores às dos jovens.

Cada onda supera a imaginação, mas a onda virá até você

Comentário sobre tecnologia de IA: Nos últimos anos, você participou profundamente de cada onda, desde o aprendizado profundo até modelos grandes e, posteriormente, modelos corporais e de mundo. Gostaríamos de saber: houve algum momento em que você sentiu “Este é o que eu quero fazer”?

Zhang Lei: O trabalho de detecção de objetos está muito próximo do estado que você mencionou. Este trabalho me deixa muito orgulhoso, pois consigo ver um avanço significativo em todo o campo.

O próximo modelo do mundo também é uma direção que me entusiasma e para a qual estou disposto a me dedicar totalmente. Os processos de desenvolvimento alternado entre aprendizado por reforço e modelos do mundo nas últimas décadas, bem como o paradigma de sucesso dos modelos de linguagem, podem ser adotados. Acredito que essa direção terá um grande impacto em toda a indústria de IA.

Comentário sobre tecnologia de IA: Os momentos de destaque dos pesquisadores são frequentemente mencionados, mas os baixos parecem raramente ser abordados. Você já passou por um período de baixa técnica?

Zhang Lei: Sim. Por volta de 2018, tentei usar dados de supervisão fraca para detecção de objetos, conseguindo realizar a detecção apenas com rótulos de categoria de imagem, evitando a necessidade de rotular caixas para cada objeto. Esse método parecia muito atraente; dediquei um bom tempo a ele, mas nunca consegui resolvê-lo completamente.

Depois, no IDEA, realizamos o Grounding DINO, combinando a compreensão da linguagem com a capacidade de detecção, resolvendo o problema de outro ângulo. Essa ruptura se deve, por um lado, à base sólida estabelecida por nossas inovações no modelo de detecção DINO, e, por outro lado, em grande medida, ao avanço dos modelos de linguagem. A ruptura do Grounding DINO ocorreu no final de 2022 e início de 2023, justamente no momento em que o ChatGPT foi lançado. Existe um dito: “Quando os dados são suficientemente grandes, a inteligência surge naturalmente”; com dados suficientemente grandes, os algoritmos podem ser suficientemente simples.

Acho normal enfrentar obstáculos; o essencial é ter a determinação de enfrentar problemas difíceis até resolvê-los. Se não conseguir resolver desta vez, mude de perspectiva, pense nele enquanto come e dorme, gire em torno dele sem parar. Problemas verdadeiramente bons fazem você refletir por muitos anos, e em algum momento, talvez surja naturalmente uma ruptura qualitativa.

Comentário sobre tecnologia de IA: Muitos jovens hoje estão empreendendo em modelos mundiais, como Chen Boyuan e Ji Jiaming da Nizhen Matrix, e Bai Yinqi da Baize Technology — e eles ainda são estudantes universitários. Achamos isso muito interessante. Qual é a sua opinião sobre esses “novos ventos”?

Zhang Lei: Isso indica que a barreira de entrada para a pesquisa realmente diminuiu. Antes do surgimento do aprendizado profundo, novos entrantes precisavam gastar anos construindo uma base sólida. Agora, as tecnologias de código aberto simplificaram o campo — entender o Transformer já é suficiente para entrar nesse domínio. A vantagem dos jovens é que não carregam preconceitos e, partindo dos princípios fundamentais, conseguem adotar novos paradigmas mais facilmente. Mas os verdadeiros problemas difíceis também exigem pesquisadores experientes com visão, compreensão e capacidade de orientar o rumo.

As tendências sociais sempre mudam, mas se você apenas perseguir tendências por perseguir, acabará não conseguindo alcançá-las. O essencial é: não importa para onde a direção mude, cada equipe sempre precisará das pessoas mais capazes. Basta você manter-se curioso e com uma base sólida — as direções mais avançadas virão até você.

Uma revelação

O que mais nos tocou nesta entrevista não foram as realizações técnicas brilhantes de Zhang Lei, nem mesmo os jovens talentos que ele orientou — os estagiários Huang Zheng, Li Xuelong, e os membros da equipe do primeiro projeto de detecção facial da Microsoft, Zhu Long, Xiao Rong e Yan Shuicheng.

O que mais nos tocou foi uma palavra que ele mencionou repetidamente: "compreender completamente".

Esta palavra, Zhang Lei anotou por trinta anos.

No início dos anos 1990, no campus de Tsinghua, a inteligência artificial era uma disciplina tão pouco conhecida que ninguém prestava atenção; Zhang Lei era ainda um graduando do departamento de ciência da computação brincando com veículos AGV no laboratório. O diretor do laboratório orientava doutorandos em trabalhos relacionados a robótica, o que o impressionou profundamente, e posteriormente ele se tornou seu aluno.

O diretor do laboratório se chama Zhang Bo, um dos fundadores da inteligência artificial na China. Sempre que Zhang Lei o convidava para analisar os resultados dos experimentos, ele se sentava animadamente ao lado de Zhang Lei, olhava para a tela por um momento e estendia o dedo: “Mude isso aqui e veja como fica.” Não era uma revisão de lição de casa — ele realmente queria saber o que aconteceria após a alteração dos parâmetros.

O que Zhang Bo ensinou a Zhang Lei foi posteriormente resumido em três palavras: "compreender profundamente".

Quem não entende é enganado; quem entende bem sabe como funcionam os princípios fundamentais.

A精神 da geração chinesa de pesquisadores é transmitida por meio desses pequenos detalhes.

Em 2018, Zhang Lei trabalhou em detecção de objetos com supervisão fraca na Microsoft, mas não conseguiu; ele não mudou de tema.

Se não conseguir fazer isso desta vez, mude de perspectiva; pense nisso enquanto come e dorme, girando em torno dele sem parar.

Isso não é retórica, é o dia a dia dele.

Mais tarde, no IDEA, ele resolveu o problema sob outro ângulo com o Grounding DINO. O momento de ruptura ocorreu no final de 2022, com o lançamento do ChatGPT — as capacidades dos modelos de linguagem melhoraram e os dados se tornaram suficientemente grandes.

Zhang Lei usou uma descrição: "surgir naturalmente".

Da alteração dos parâmetros dos veículos AGV à resolução do modelo mundial, passaram-se trinta anos. Durante essas três décadas, ele passou da busca em larga escala de imagens à compreensão visual geral, buscando sempre entender profundamente e fazer o melhor possível em cada problema, até retornar à direção de “construir modelos mundiais para robôs”. Assim como Steve Jobs disse: “connect the dots” — cada coisa feita com seriedade nunca é em vão.

No final de 2025, Zhang Bo, aos 90 anos, viajou até Shenzhen para ministrar uma palestra. Após terminar a aula pela manhã, passou a tarde inteira no escritório da ShiQi Weilai. Oito ou nove jovens o cercaram, e ele falou durante toda a tarde; à noite, jantaram juntos, contando histórias sobre seus tempos de estudante e suas análises sobre essa área. Seu raciocínio era claro, sua lógica rigorosa — nada inferior ao dos jovens. Zhang Lei também contou ao professor sobre o que ele está realizando atualmente.

O acadêmico Zhang Bo apresenta o futuro da visão; Zhang Lei relata ao professor o progresso da pesquisa

Trinta anos atrás, no campus de Tsinghua, o professor sentava ao lado do estudante e dizia: "Mude isto um pouco e veja como fica."

Trinta anos depois, no escritório de Shenzhen, um estudante conta ao seu professor de 90 anos sobre o modelo mundial que ele está desenvolvendo.

Que cena recriada tão comovente.

As pessoas envelhecem, as marés recuam, e as tendências esfriam, mas a determinação dos pesquisadores chineses em compreender profundamente cada desafio mundial nunca mudou. Leifeng.com