O Pioneiro Tong Xin se junta à Meshy para avançar a IA para diversão

O próximo grande avanço na inovação de IA está se concentrando na geração 3D.

Da geração multimodal, modelos mundiais, até inteligência espacial, robôs de inteligência embodiada...

3D está se tornando o motor central da próxima geração de IA.

E agora, a lenda do campo da gráfica e a empresa mais quente da trilha AI 3D se uniram.

Últimas notícias:

Tong Xin juntou oficialmente à Meshy, fundada por Hu Yuanming.

Segundo as últimas notícias, Tong Xin assumirá o cargo de Cientista-Chefe da empresa de IA 3D Meshy, responsável por elaborar a estratégia de pesquisa a longo prazo da Meshy.

Isso pode significar que as duas gerações mais representativas da comunidade chinesa de gráficos computacionais — Hu Yuanming, fundador da Meshy, e Tong Xin — trabalharão juntos para impulsionar avanços em modelos mundiais multimodais e sistemas de interação em tempo real.

Tong Xin trabalhou por 25 anos no Microsoft Research Asia, onde liderou o grupo de gráficos de rede e atuou como parceiro de pesquisa global.

Sua área de pesquisa abrange gráficos computacionais e visão computacional tridimensional, especificamente, incluindo, mas não se limitando a, captura e modelagem de materiais, síntese de texturas, processamento e modelagem geométrica tridimensional, análise e simulação de transmissão de luz, renderização realista e animação tridimensional de rostos.

△

Gráficos computacionais, simplesmente falando, concentram-se em "como criar, manipular e apresentar mundos tridimensionais em computadores".

Este campo tem um papel fundamental em jogos, filmes e simulações industriais, e atualmente está se tornando cada vez mais a infraestrutura de percepção e expressão da IA.

Após tudo, sem compreender a terceira dimensão, a IA dificilmente poderá compreender e entrar verdadeiramente no mundo físico.

E Tong Xin é um dos acadêmicos que mais se aprofundou e acumulou experiência nessa direção.

Em 1999, Tong Xin acabara de se formar em doutorado pela Universidade Tsinghua e entrou no Instituto de Pesquisa da Microsoft na China, recém-criado há menos de um ano, que mais tarde seria conhecido como o "Colégio Militar da Ciência e Tecnologia da China" — o Microsoft Asia Institute.

Ao longo de mais de vinte anos, muitas figuras centrais que influenciaram o cenário da pesquisa em computação na China e no mundo todo saíram deste lugar—mas essa é outra história.

Como um dos primeiros pesquisadores do Instituto de Pesquisa da Ásia, Tong Xin permaneceu aqui por 25 anos, avançando de pesquisador a parceiro global de pesquisa e líder do grupo de gráficos de rede.

Quase presenciou todos os momentos importantes da computação gráfica na China.

△

Durante esse período, Tong Xin publicou numerosos artigos em periódicos e conferências de alto nível, com mais de 21.000 citações no Google Scholar.

Esses estudos técnicos deixaram muitos bons recursos para a Microsoft, incluindo APIs de desenvolvimento de jogos Xbox, software compatível com Xbox, drivers de impressão 3D do Windows e o kit de desenvolvimento gráfico Direct3D, entre outros.

Além disso, Tong Xin também deixou outra “herança” para o Grupo de Gráficos da Academia de Pesquisa Yayan: um grupo de profissionais suficientemente forte para sustentar a força central da comunidade gráfica chinesa atual.

Durante 25 anos, ele colaborou, trocou ideias e orientou uma série de pesquisadores excelentes aqui.

Zhou Kun, da Universidade Zhejiang, Fellow da ACM e Fellow do IEEE, diretor do Laboratório Nacional-Chave de CAD&CG, colaborou por muitos anos com Tong Xin, explorando desde a impressão 3D e o design computacional até NeRF e renderização neural;

Xu Kun, da Tsinghua, professor titular do Departamento de Ciência da Computação da Universidade Tsinghua, ganhador do Prêmio Nacional de Jovens Pesquisadores Excepcionais, colaborou diversas vezes com Tong Xin durante seu doutorado para publicar artigos no SIGGRAPH;

Wang Pengshuai, da Universidade de Pequim, professor assistente do Instituto Wang Xuan, sempre trabalhou sob a liderança de Tong Xin, desde estagiário até pesquisador sênior, e hoje é um dos principais estudiosos no campo do aprendizado de geometria tridimensional.

As pessoas que trabalharam com ele geralmente têm avaliações surpreendentemente consistentes sobre Tong Xin:

Acessível, sempre atuando na linha de frente, capaz de discutir rigorosamente questões técnicas extremamente detalhadas e explicar problemas técnicos complexos de forma simples e clara.

Porque, para Tong Xin, a gráfica computacional é uma disciplina de aplicação de computação, e por isso, todos os problemas de pesquisa surgem das necessidades práticas e da aparição de novos dispositivos e novos dados.

Além disso, Tong Xin também é muito engraçado e divertido; por exemplo, ele descreveu seu próprio estudo assim:

Minha família, além de reconhecer um pouco a comida que eu preparo, costuma brincar que eu me divirto demais olhando para chaleiras e coelhos tridimensionais na tela todos os dias, mas parece que o que eu faço não consegue mudar nem o cenário mundial nem melhorar a vida das pessoas — realmente não entendo de onde vem minha sensação de realização.

△

Esta é a "Tonglao", amplamente conhecida em círculos gráficos, com profundo domínio acadêmico, mas com a ternura e curiosidade de uma criança.

Também é apropriado.

Pode-se dizer que, até este ponto, na comunidade de gráficos, apenas estrelas unicórnios como Meshy podem ser comparadas a Tong Xin.

Meshy é a primeira empresa fundada por Hu Yuanming após concluir seu doutorado no MIT, com o objetivo simples de transformar texto e imagens em modelos 3D.

Atualmente, a Meshy reúne 12 milhões de usuários, com clientes que abrangem metade das dez empresas com maior capitalização de mercado e avaliação global.

Em julho deste ano, a Meshy concluiu uma rodada de financiamento B de quase 400 milhões de dólares, com avaliação pós-investimento superior a 10 bilhões de yuans.

Estabeleceu recorde mundial em valorização e montante de financiamento em uma única rodada no campo global de IA 3D, tornando-se a empresa mais valorizada nesse setor.

No entanto, seja um crescimento mais rápido ou uma avaliação mais alta, ainda são muito específicos em comparação com a visão da Meshy.

Hu Yuanming, fundador da Meshy.ai, campeão dos 400 metros nos jogos esportivos do Colégio Médio de Yangzhou, segundo lugar no concurso de canto da turma Yao da Tsinghua, doutor em gráficos computacionais do MIT, nomeado para o melhor doutorado do SIGGRAPH, autor da linguagem e compilador Taichi.

△

Ele propôs um objetivo que soa um pouco peculiar:

IA para diversão.

A cadeia lógica dele é assim.

No futuro, quando a AGI resolver uma grande quantidade de problemas de produtividade, a humanidade terá apenas um problema central.

Como criamos, expressamos e nos conectamos? Mais importante, como encontraremos significado?

Ler livros, viajar, jogar jogos, assistir a curtas séries... Essas atividades realmente nos trazem alegria, mas em uma era em que o tempo livre é tão abundante, "certamente buscaremos formas mais novas e eficazes de gerar alegria e sentido."

Este método será inevitavelmente impulsionado por IA.

Portanto, "usar a IA para trazer felicidade e sentido à humanidade será uma das questões mais importantes dos próximos cinco anos".

E a Meshy quer se tornar o pedaço mais essencial desse quebra-cabeça.

Em palavras de Hu Yuanming, o que eles pretendem fazer é “redefinir a gráfica com base na IA generativa, encontrando a solução global ótima para tornar o imaginário concreto.”

O que isso significa?

Em outras palavras, hoje em dia, o AI 3D não se limita a fazer com que a IA realize modelagem, texturização e renderização de forma mais eficiente sob a orientação da gráfica.

A long term, o fim último da IA 3D pode ser a materialização da imaginação.

Essa perspectiva proativa se alinha muito bem com a filosofia de Tong Xin.

Em 2016, Tong Xin propôs resolver os problemas de everyone e everywhere na produção de conteúdo gráfico, permitindo que qualquer pessoa, em qualquer lugar, criasse conteúdo de mídia visual.

Hoje, dez anos depois, “everyone everywhere criar conteúdo de mídia visual” tornou-se “permitir que qualquer pessoa transforme sua imaginação em um mundo imersivo e interativo com apenas uma frase”.

This is certainly a grand aspiration.

Para alcançá-lo, a Meshy está atualmente realizando pesquisas tecnológicas fundamentais em três níveis:

Primeiro e mais importante — reinventar a gráfica.

Para isso, é necessário sair da solução ótima local da pipeline de renderização gráfica da gráfica de rede passada e usar IA para criar uma solução global otimizada que não dependa do "triângulo", onde o "triângulo" é a unidade mínima de renderização de objetos tridimensionais pela GPU.

△

Em segundo lugar, é necessário implementar o sistema de direção.

Se a nova gráfica for mais como uma equipe de produção, então será necessário um sistema de direção correspondente para realizar o AI for Fun.

Este sistema de direção é responsável por definir os mecanismos de funcionamento do mundo e o esqueleto 3D, permitindo a escrita em tempo real do roteiro.

Por fim, a infraestrutura.

Uma infraestrutura de geração e renderização 3D com baixa latência, alta qualidade e baixo custo é necessária, pois até mesmo uma pequena travada na experiência AI for Fun é amplificada em centenas de vezes.

Para isso, é necessário redesenhar uma infraestrutura de alto desempenho, algo que está diretamente ligado à tese de doutorado de Hu Yuanming e à base da linguagem de programação Taichi desenvolvida no início da Meshy.

Além dessas pesquisas básicas, o novo modelo da Meshy também está abordando os pontos específicos de dificuldade no campo atual da IA 3D.

Por exemplo, o problema de “controle”, ou seja, se os resultados gerados são fiéis à imagem de entrada, manifestado na precisão das proporções gerais, na racionalidade da distribuição espacial e na fidelidade dos detalhes superficiais.

Em 10 de agosto deste ano, a Meshy lançou o Meshy-7, dando um grande passo na direção do alinhamento geométrico (geometry alignment), especificamente:

Em termos de personagens orgânicos, o modelo consegue reproduzir detalhes como expressões faciais, estrutura anatômica e vincos da pele;

Em superfícies rígidas e peças mecânicas, cada componente cai com precisão na posição especificada na imagem, sem aderir aos componentes adjacentes;

Em termos de texto e padrões, o texto em baixo-relevo e os motivos em alto-relevo são nítidos e limpos, podendo ser usados diretamente em cenários industriais como gravação a laser.

Deve-se dizer que a exploração da Meshy nesses aspectos se alinha com os interesses de Tong Xin, cujas linhas de pesquisa recentes estão no cruzamento entre 3D e geração de vídeo.

Como ele propôs em 2024, a clássica pergunta: “O 3D é apenas um caso especial da geração de vídeo?”

Ou seja, se um vídeo já permitir “ver” um objeto de qualquer ângulo, ainda é necessário construir explicitamente seu modelo tridimensional?

A resposta ainda não está clara.

Mas o ponto certo atualmente é que a pesquisa de ponta e a experiência técnica de Tong Xin em treinamento multimodal de IA podem levar as explorações da Meshy ainda mais longe.

No momento em que este artigo foi finalizado, Hu Yuanming publicou novamente, em seu próprio公众号, o novo trabalho da equipe Meshy, o Mora.

Mora é a abreviação de "Multimodal Open-world Real-time Architecture", que significa "Arquitetura em Tempo Real de Mundo Aberto Multimodal".

Isso é bem interessante; todos podem experimentar a demonstração do jogo interativo gerado com ele.

Em poucas palavras, é composto por três peças de quebra-cabeça:

Agente de codificação, usado para gerar a estrutura do mundo do jogo e o código de execução;

Geração 3D, que é o pedaço mais importante do Meshy, pode ser usada para enriquecer o esqueleto e gerar sinais de controle para modelos de vídeo;

Modelo de vídeo, recebe sinais de cena 3D e gera a imagem final e os efeitos sonoros.

Hu Yuanming described this as a technology "beyond world models."

Que audácia, como pretende superar?

Lembre-se de janeiro deste ano, quando o Google Genie 3 lançou uma demonstração interativa, afirmando ser "um modelo universal de mundo que permite aos usuários gerar ambientes reais exploráveis por meio de texto".

Por isso, a Unity caiu 24% em um dia, o Roblox caiu 27%, o mercado está muito entusiasmado: no futuro, não será mais necessário usar motores de jogo para desenvolver jogos, um único modelo de vídeo será suficiente.

No entanto, após mais de oito meses brincando com todas as demos de modelos de mundo disponíveis no mercado, Hu Yuanming apontou oito deficiências em quase todos os modelos de vídeo interativo atuais.

Inclui baixa consistência, interação simples, baixa capacidade de cálculo físico, duração curta da experiência, incapacidade de suportar enredo e lógica complexa, foco principal em jogo individual, incapacidade de utilizar a capacidade de geração de mecanismos de Coding e alta latência.

Em uma palavra, é difícil de jogar.

However, this is likely not a problem that can be solved by optimization alone.

Os modelos de vídeo atuais não possuem inteligência real; eles são, essencialmente, apenas renderizadores, e seguir por esse caminho levará apenas a simuladores de caminhada.

A abordagem de Mora é o oposto: como os modelos de vídeo não conseguem resolver a consistência espacial 3D, deixe-os fazer bem o que lhes cabe.

Deixe o agente de codificação criar a estrutura, o Meshy gerar o 3D e, por fim, o modelo de vídeo produzir as cenas — assim, o espaço é estável, refinado e divertido de usar.

É evidente que o Sr. Hu é um jogador experiente realmente entusiasmado.

No entanto, o Mora 1 ainda está em uma fase muito inicial.

É usado apenas para validar um quadro. Em seguida, dentro desse quadro, aproxima-se progressivamente do objetivo por meio de escalonamento.

Voltando à pergunta de Tong Xin, o 3D é apenas um caso especial de geração de vídeo?

Mora forneceu uma resposta preliminar: pelo menos no momento atual, ambos não precisam ser substitutos um do outro e podem desempenhar suas funções respectivas por meio da conexão de agentes de codificação.

Esta resposta, é claro, ainda está longe de ser precisa, mas até aqui, a questão já se tornou nebulosa.

Essa sensação não é estranha para Tong Xin.

Ao longo de duas ou três décadas, ele presenciou uma série de ondas de impacto tecnológico: antigamente, criar 3D dependia inteiramente de regras escritas à mão; depois, veio a renderização neural, e a IA aprendeu a luz e sombra a partir de fotos; chegou a IA generativa, e imagens realistas deixaram de depender da pipeline 3D; surgiram modelos de vídeo, capazes de fazer o mundo dinâmico emergir do nada...

Novas tecnologias repetidamente desafiam os limites da gráfica tradicional: como a gráfica deve continuar existindo?

Diante dessa questão cada vez mais urgente, Tong Xin partiu novamente.

Ele quer criar uma nova gráfica junto com os jovens mais imaginativos desta geração.

Este artigo é do número de assinantes do WeChat "Quantum Bit", autor: Cheng Qian