[10 reais: 0/20 toques no objeto. Adicione 50 simulações → 17/20] @KaitoAI X @axisrobotics Link de participação no Axis (referral): https://t.co/hUbWSVsBVR Treinar robôs com novas tarefas exige muito tempo e custo para coletar dados de demonstrações reais em equipamentos físicos. É necessário preparar o robô, ajustar o espaço de trabalho e registrar dezenas ou centenas de execuções manualmente por um operador humano; e se o objeto ou o ambiente mudar, novos dados são necessários. Axis e @boosterobotics realizaram recentemente um experimento para avaliar como os resultados de aprendizado mudam quando se combina demonstrações reais com trajetórias de simulação da Axis, utilizando o robô de braços duplos da Booster. As tarefas utilizadas foram pegar uma caneta e pegar uma caixa de fones de ouvido. Avaliamos separadamente se o robô tocou no objeto, se o gripper o segurou e se realmente o levantou; todas as políticas começaram do mesmo ponto de verificação do modelo Pi0.5. No Axis Suite, é possível gravar brevemente o espaço de trabalho real e usar um modelo pré-treinado 2D-to-3D para criar um gêmeo digital adaptado à tarefa. Essa cena é implantada no Axis Hub, permitindo que vários colaboradores — mesmo sem acesso a robôs físicos — gerem trajetórias de simulação para a mesma tarefa. É possível variar a posição do objeto, a perspectiva da câmera, a iluminação, os materiais, o fundo e os objetos ao redor para executar a mesma tarefa sob múltiplas condições. No experimento de baixo volume de dados com a caixa de fones de ouvido, foram usadas 10 demonstrações reais. A política treinada com esses dados não conseguiu tocar no objeto em nenhuma das 20 execuções no robô físico Booster. Mantendo as 10 demonstrações reais e adicionando 50 trajetórias de simulação da Axis, a nova política tocou no objeto em 17 das 20 execuções. Em seis delas, o processo chegou até a fase de agarre, e em duas delas foi bem-sucedido ao levantar a caixa de fones de ouvido. Em avaliações adicionais com mais dados em robôs físicos, foram testadas várias combinações. A política apenas real para a tarefa da caneta obteve uma taxa de levantamento de 35%, enquanto com 67% de simulação atingiu 40%. Para a caixa de fones de ouvido, a política apenas real obteve 30%, e com 50% de simulação atingiu 40%. Cada condição foi executada 20 vezes no robô físico, totalizando 240 rollouts na avaliação geral. Na simulação, é possível alterar rapidamente condições como posição do objeto, perspectiva e fundo para gerar dados repetitivos. As demonstrações reais contêm informações provenientes do equipamento físico — como características da câmera, resposta dos atuadores, temporização do gripper, erros de contato e execução. Nas duas tarefas, a maior taxa de levantamento foi alcançada quando se combinaram demonstrações reais com dados de simulação adaptados à tarefa. Axis e Booster também treinaram um modelo inicial adaptado ao Booster usando dados coletados em múltiplas tarefas. Esse modelo foi pré-treinado para aprender previamente a configuração da câmera do Booster, os dois braços de 7-DoF, o gripper, a representação das ações e movimentos básicos antes de aprender novas tarefas. A base original de simulação continha 44.039 episódios distribuídos em 95 repositórios e 76 comandos linguísticos. Após remover episódios com trajetórias estáticas ou dificuldade em distinguir os braços utilizados, restaram 42.046 episódios e 3.249.835 quadros — aproximadamente 180,55 horas em 5 Hz. Demonstrações reais do Booster com metadados de sucesso, telemetria e observações também foram usadas no treinamento. Após esse treinamento contínuo em parâmetros completos do Pi0.5, adaptamos o modelo às tarefas da caneta e da caixa de fones de ouvido. Com 30 demonstrações por tarefa, o modelo específico do Booster realizou corretamente a sequência de ações — aproximação, fechamento do gripper e movimento para cima — em 14 das 16 tentativas. O modelo original Pi0.5 alcançou apenas 6/16 sob as mesmas 30 demonstrações e 10/16 quando aumentadas para 60. Mesmo antes do treinamento adicional por tarefa, no zero-shot simulation, a distância média do punho até o alvo caiu de 17,27 cm para 5,78 cm, e o movimento do braço não comandado reduziu de 5,04 rad para 0,25 rad. Esses números são resultados da colaboração entre Axis e Booster. Nenhuma replicação independente desses resultados foi ainda publicada. A avaliação de baixo volume de dados — 10 demonstrações reais + 50 simulações — foi realizada no robô físico Booster; as comparações com 30 e 60 demonstrações do modelo específico do Booster ocorreram no Isaac Sim. Os números dessas duas avaliações não podem ser combinados como um único indicador de desempenho em robô físico. As trajetórias de simulação geradas no Axis Hub foram usadas para variar a disposição dos objetos e as condições visuais; as demonstrações reais do Booster incorporaram ao treinamento as características físicas do robô — contato e execução. Os dados consolidados de múltiplas tarefas também foram usados para criar um modelo inicial familiarizado com o corpo e o sistema de controle do Booster.O Trajectory coletado no navegador foi realmente utilizado na avaliação do robô físico do Booster e no treinamento inicial do modelo. #PhysicalAI #RobotLearning