O Laboratório Noah's Ark da Huawei lançou o sistema RoboHarness, que coordena estratégias heterogêneas como VLA, WAM, RL e TAMP por meio de um Coding Agent, permitindo a conclusão de tarefas de longa sequência sem amostras. O sistema inclui três tipos de habilidades: compreensão, memória e evolução; o módulo Memory Bridge resolve o problema de desajuste de distribuição de estado durante a troca de estratégias, alcançando uma taxa de sucesso de 86% nos experimentos. Este trabalho representa a evolução da inteligência embutida da abordagem de modelos únicos para a coordenação sistematizada.Autor e fonte do artigo: Leifeng.com
Imaginem uma tarefa: abrir a porta do armário, encontrar os blocos de construção escondidos dentro e construir uma ponte com eles.
Para os seres humanos, isso é algo muito simples, com alguns movimentos que se conectam naturalmente, até crianças de creche conseguem realizar com facilidade.
Mas para um robô, essa tarefa abrange várias habilidades completamente diferentes: encontrar os blocos, que exige compreensão visual e seguimento de instruções de linguagem; abrir a porta do armário, que exige interação complexa com o ambiente; e montar os blocos, que exige planejamento geométrico e manipulação precisa, além de prever mudanças no ambiente.
Mais complicado ainda, essas habilidades pertencem a modelos de vários “estilos” distintos — VLA (modelos visuais-linguísticos-de-ação), WAM (modelos mundo-ação), políticas de RL (aprendizado por reforço) e TAMP (planejamento de tarefas e movimentos). Cada um tem suas próprias forças, mas estão desconectados entre si, com diferentes métodos de treinamento, formatos de entrada e espaços de estado.
Hoje no campo dos robôs, a capacidade não falta, mas a colaboração está ausente.
O Laboratório Ark of Huawei lançou recentemente um artigo apresentando o sistema RoboHarness, projetado especificamente para resolver o problema da falta de colaboração entre diferentes estratégias. Em torno deste trabalho, os autores do artigo conversaram conosco (LeiFengNet).
Artigo: https://arxiv.org/abs/2607.18060
Página inicial do projeto: https://www.robo-harness.com/
01 A lacuna entre ilusões e realidade do modelo universal
Este verão, vários trabalhos centrados no Harness surgiram intensamente na área de pesquisa de robôs, apontando coletivamente para o entendimento de que depender apenas de modelos maiores para resolver tudo暂时 não funciona — robôs precisam de um sistema de organização de execução.
A equipe do professor Yu Chao da Universidade Tsinghua lançou o Harness VLA em julho, introduzindo a Harness Layer, amplamente utilizada na inteligência digital, na inteligência embutida, permitindo que um VLA congelado se concentre na manipulação intensiva em contato, ao mesmo tempo em que uma camada Harness aprende quando e como invocá-lo, bem como como redefinir e tentar novamente após a falha do VLA. No teste de perturbação LIBERO-Pro, o sistema aumentou a taxa de sucesso de 50% para 82,4%.
Do ponto de vista conceitual, o Harness VLA aborda como um modelo pode manter desempenho estável sob perturbações fora da distribuição. Seu foco é a estabilidade de uma única estratégia.
O RoboHarness do Laboratório Noah's Ark da Huawei enfrenta outro nível de problema: o que fazer quando a tarefa ultrapassa os limites de capacidade de qualquer modelo?
Ambos são chamados de Harness e usam o Coding Agent como camada de organização, mas resolvem desafios em dimensões diferentes. O primeiro torna um especialista mais estável, enquanto o segundo permite que um grupo de especialistas com habilidades diversas trabalhe em conjunto. À medida que a complexidade das tarefas dos robôs continua aumentando, esse último problema está se tornando cada vez mais inevitável.
A raiz dessa questão precisa ser abordada a partir dos limites de capacidade dos diversos modelos.
A vantagem do modelo VLA está em compreender instruções de linguagem aberta e generalizar em novos ambientes, mas sua abordagem de geração end-to-end de ações dificilmente mantém consistência em tarefas de longo prazo; estratégias de aprendizado por reforço podem produzir comportamentos de闭环 estáveis em cenários de treinamento específicos, mas essa estabilidade depende fortemente da distribuição de treinamento e pode falhar com pequenas mudanças no ambiente; TAMP é excelente em raciocínio simbólico e restrições geométricas, mas exige a definição prévia de primitivas de ação e rapidamente se esforça diante de cenários abertos e objetivos vagos; WAM pode auxiliar na tomada de decisões de longo prazo prevendo estados futuros, mas é suscetível ao acúmulo de erros à medida que o horizonte de previsão aumenta.
Tarefas reais complexas exigem simultaneamente compreensão semântica, planejamento geométrico, controle em malha fechada, raciocínio de longo prazo e previsão de mudanças no ambiente—habilidades cujos objetivos de treinamento são diferentes e, às vezes, até conflitantes. Existe uma lacuna ainda não superada entre o avanço individual de cada habilidade e um único modelo capaz de manter de forma estável e duradoura todas essas capacidades em ambientes abertos.
O ponto de partida do RoboHarness é exatamente: em vez de esperar que essa lacuna seja preenchida, é melhor fazer com que os modelos já existentes, cada um com suas próprias forças, trabalhem realmente em conjunto. O autor acredita que, até que um único modelo consiga dominar completamente todos os outros e demonstrar uma autoridade absoluta, essa arquitetura de coordenação será muito significativa.
Este trabalho não surgiu do nada. O autor nos informa (LeiFeng.com) que a versão inicial do RoboHarness nasceu da experiência de participar do BEHAVIOR Challenge, um concurso global de robótica no ano passado. A tarefa do concurso era longa e difícil, e a equipe descobriu que nem o treinamento end-to-end de VLA nem modelos como imitação de comportamento conseguiam cobrir a complexidade da tarefa. Esse revés acabou ajudando a equipe a identificar claramente o problema real.
02 Como o cérebro de agendamento decide quem entrará em campo
A ideia central do RoboHarness é encapsular sistemas de controle desenvolvidos independentemente, como VLA, WAM, estratégias de RL e TAMP, como habilidades agênticas passíveis de agendamento unificado, com o Coding Agent responsável pela tomada de decisão de alto nível.
Este design tem uma premissa importante: não alterar nem re-treinar nenhuma estratégia subjacente. Cada estratégia mantém sua implementação original, sem necessidade de compartilhar estrutura de modelo, espaço de ações ou dados de treinamento. O RoboHarness adiciona apenas uma camada de organização sobre elas.
Escolher a estratégia certa não é tão fácil.
Para um agente de codificação, é difícil determinar de forma confiável a quem atribuir essa tarefa com base apenas na entrada de imagem bruta, pois essa decisão envolve muitas questões quantitativas que os modelos de linguagem não conseguem responder por meio de compreensão semântica. Ele pode entender colocar um copo sobre um prato, mas não consegue calcular a similaridade entre a cena atual e a distribuição de treinamento de uma estratégia a partir de uma imagem RGB, nem avaliar a confiabilidade dos dados dos sensores neste momento.
Para resolver esse problema, o sistema foi projetado com três tipos de habilidades auxiliares, especificamente para extrair as informações necessárias para a avaliação pelo Coding Agent.
Compreensão de Habilidades, responsável por transformar entradas brutas em sinais quantificáveis, como: similaridade entre embeddings de imagem e dados de treinamento de cada estratégia, estabilidade da pose do objeto dentro de uma janela temporal, e se a iluminação atual e a qualidade da imagem atendem aos padrões exigidos. Esses indicadores são a verdadeira base para o roteamento das estratégias. O autor considera que a essência deste módulo é medir, em múltiplas dimensões, se cada estratégia é realmente adequada para a tarefa atual.
Memory Skills, recupera experiências de execução anteriores para servir como referência na seleção de estratégias e utiliza o Memory Bridge para lidar com descompensações na distribuição de estados entre estratégias — este é o design mais central do sistema, detalhado separadamente a seguir.
Evolution Skills, atualiza continuamente os metadados e a lógica de orquestração da estratégia com base em feedback online, permitindo que o sistema aprenda com cada execução, em vez de julgar cada nova situação do zero.
As informações das três categorias de habilidades interagem entre si, apoiando conjuntamente a tomada de decisão do Coding Agent. Na execução prática, esse mecanismo desempenha principalmente duas funções: primeiro, a decomposição da tarefa, dividindo instruções longas em subtarefas adequadas para diferentes estratégias; segundo, a troca dinâmica, quando a estratégia atual se aproxima de seus limites de capacidade, o sistema altera oportunamente para uma estratégia mais apropriada, realizando complementaridade de capacidades entre diferentes estratégias.
O artigo apresenta um conjunto de experimentos de ablação para ilustrar a contribuição individual dessas duas camadas: apenas usar o modelo de linguagem para decompor a tarefa e enviá-la ao pi0.5 já aumentou significativamente a taxa de sucesso; ao adicionar múltiplas estratégias heterogêneas a esse ponto, a taxa de sucesso aumentou ainda mais. Decompor corretamente é o primeiro passo; atribuir com precisão é o segundo passo; ambos são indispensáveis.
Mas há um terceiro problema, o mais difícil, que não pode ser resolvido apenas escolhendo uma estratégia.
03 O momento da troca decide a vitória na prova de revezamento
Duas estratégias treinadas independentemente geralmente vivem em seus próprios mundos de dados. Seus formatos de entrada diferem e suas distribuições empíricas de estados do robô também são diferentes. A posição em que a operação TAMP termina e para pode facilmente cair em um espaço de estados que a VLA nunca processou e não consegue iniciar de forma estável.
Este é um desafio exclusivo da orquestração de estratégias heterogêneas.
Portanto, o Memory Bridge, responsável por garantir a transição estável entre duas estratégias, foi listado pelo autor como o módulo mais importante do RoboHarness. Ele admite que, se no futuro um modelo geral conseguir cobrir perfeitamente todo o espaço de estados, o Memory Bridge talvez não seja mais necessário; mas, no cenário atual, qualquer modelo容易 cair fora da distribuição de capacidades no momento da transição.
O funcionamento do Memory Bridge ocorre em três etapas.
Pesquisar: com base na próxima subtarefa e na observação atual, identificar as Top-K trajetórias semelhantes nas quais a estratégia-alvo foi executada com sucesso, utilizando similaridade textual e visual a partir da memória multimodal, e extrair o estado do robô, incluindo pose do efetuador final e ângulos das juntas.
Modelagem: Atribuir sinais de supervisão com base no progresso relativo de cada estado na trajetória, ajustando em tempo real, por meio de regressão online, a faixa de estados da estratégia alvo que “assumem a iniciativa”.
Conexão: amostrar e avaliar estados candidatos, considerando conjuntamente a confiança de entrar na zona de conforto da estratégia-alvo e o custo de movimento, para selecionar o destino de conexão mais adequado e gerar a trajetória de transição; após o robô alcançar esse estado, o controle é entregue à próxima estratégia.
Este mecanismo depende totalmente do aprendizado online com base em dados históricos de execução, sendo compatível com qualquer estratégia de plug and play, sem necessidade de modificar a implementação subjacente nem exigir treinamento conjunto.
No experimento de ablação, ao remover o Memory Bridge, o progresso da tarefa não diminuiu significativamente, indicando que a escolha da estratégia ainda era basicamente correta; no entanto, a taxa de sucesso total caiu abruptamente de 86,0% para 60,4%. Muitas tarefas chegaram à última etapa, mas falharam devido à incompatibilidade do estado de transferência, comprovando assim o valor do Memory Bridge.
04 Duas linhagens técnicas, um encontro silencioso
Ao afastar o foco deste artigo, desejamos descrever um quadro mais amplo das tecnologias corporais.
O autor do RoboHarness observou que, no contexto do rápido desenvolvimento da VLA nos últimos três anos, os tradicionais TAMP e planejamento hierárquico, devido à sua clara inferioridade em generalização em cenários abertos em comparação com VLA end-to-end, acabaram perdendo atenção da comunidade. Contudo, com os rápidos avanços este ano em sistemas agênticos e agentes de codificação, a arquitetura hierárquica recuperou nova vitalidade: agentes de alto nível podem realizar decomposição de tarefas, chamada de ferramentas e planejamento dinâmico por meio de habilidades compostas, aumentando significativamente a generalização e adaptabilidade dos métodos hierárquicos tradicionais. Consequentemente, a comunidade acadêmica está redirecionando seu foco e começando a explorar como combinar raciocínio de alto nível com forte generalização com estratégias heterogêneas de baixo nível.
O autor deste artigo provém de várias universidades e instituições de pesquisa do leste do Canadá. O autor observa que a pesquisa em robótica na América do Norte tem historicamente seguido duas linhas técnicas com clara origem acadêmica: na costa oeste dos Estados Unidos, representada por Stanford, Berkeley e outras, enfatiza-se mais o aprendizado e a escala, com foco em aprendizado end-to-end, volume de dados e generalização de modelos; já na costa leste dos Estados Unidos e no Canadá, representada por MIT, Universidade de Toronto, MILA e outras, tem-se valorizado historicamente arquiteturas hierárquicas, raciocínio simbólico, planejamento lógico e tomada de decisão estruturada.
Os autores do RoboHarness estão na extensão deste último ramo.
A diferenciação nas linhas técnicas deixou uma marca clara na indústria da inteligência embodiada. Nas últimas anos, equipes de rápido desenvolvimento formaram gradualmente uma espectro técnico que vai do scaling de modelos fundamentais até a hierarquia agente: uma abordagem que enfatiza modelos fundamentais embodiados gerais, VLA e modelos de mundo, expandindo continuamente os limites de generalização por meio da unificação de modelos, escala de dados e aumento da capacidade do modelo; outra abordagem que enfatiza habilidades operacionais reutilizáveis e arquiteturas hierárquicas, realizando tarefas complexas por meio de planejamento de tarefas, combinação de habilidades e coordenação de controle de baixo nível. No interior da China, equipes representadas pelo Baidu Institute se aproximam mais da primeira abordagem, enquanto SuDu Technology e Magic Atom destacam-se mais na segunda; no exterior, a série pi da Physical Intelligence tem sido historicamente sinônimo da linha de scaling, enquanto o Gemini Robotics mantém a tradição hierárquica de “raciocínio e planejamento de alto nível + execução de habilidades de baixo nível”.
Interessantemente, a divisão dessa linhagem tecnológica não é uma oposição estática, mas sim um processo em constante evolução que forma complementaridade. Nos últimos meses, essas duas linhas tecnológicas começaram a apresentar um claro fenômeno de convergência. Por exemplo, o Physical Intelligence elevou a controlabilidade e a combinação de habilidades a um papel mais central no pi0.7; ao mesmo tempo, equipes como a da NVIDIA continuam a lançar sistemas robot agentic com características mais hierárquicas, integrando as capacidades de compreensão e raciocínio dos modelos fundamentais com VLA. Em geral, o scaling de modelos fundamentais e a hierarquia agente estão evoluindo de duas trajetórias tecnológicas relativamente independentes para se tornarem capacidades complementares dentro de um mesmo sistema robótico.
05 Com orquestração como caminho, rumo a uma inteligência mais universal
O RoboHarness tem limitações claras: ele pode agendar apenas estratégias já existentes e não consegue resolver coisas que nenhuma estratégia consiga fazer. A confiabilidade do Memory Bridge depende de dados históricos suficientes de execução; a avaliação da capacidade de novas estratégias integradas nos estágios iniciais apresenta grande incerteza.
O ponto central do artigo não é negar a necessidade de um modelo unificado.
O autor enfatiza que o orquestramento de tarefas de longo prazo não é apenas uma combinação das capacidades existentes, mas também gera continuamente dados de execução transversais a múltiplas capacidades e cenários, que modelos individuais dificilmente conseguem obter sozinhos. Esses dados registram processos de troca, transição, recuperação de falhas e cooperação entre diferentes estratégias, podendo justamente se tornar uma importante fonte para treinar os próximos modelos de robôs gerais. Com base nessa ideia, a equipe RoboHarness também está explorando a reutilização dos dados gerados durante o orquestramento e execução híbridos para treinar novamente as estratégias subjacentes, onde as experiências de orquestração heterogênea retroalimentam ainda mais o aprimoramento das capacidades fundamentais do modelo.
Da busca pelo modelo mais poderoso à organização das capacidades mais adequadas, a competição em inteligência embodied está se estendendo silenciosamente ao nível do design do sistema. Orquestração de estratégias heterogêneas e grandes modelos unificados são como duas expedições seguindo cristas diferentes, mas ambas apontam para o mesmo horizonte: dotar os robôs com inteligência mais geral e confiável.