[Axis divulga 100 horas de dados egocêntricos: como transformar ações humanas em dados de treinamento para robôs] @KaitoAI X @axisrobotics Link de participação no Axis (referral): https://t.co/hUbWSVsBVR Quando uma pessoa pega uma xícara, ela não calcula os ângulos dos dedos nem a trajetória do punho. Ela simplesmente pega naturalmente a xícara à sua frente e a coloca em outro lugar. Ensinar a mesma tarefa a um robô é diferente. É necessário dividir o comportamento em etapas: quando a mão se aproxima do objeto, o momento exato do contato, o trajeto após levantar, e o momento de colocar de volta. Para uma pessoa, é um único movimento contínuo; mas para um robô aprender, é preciso desagregar esses eventos em dados. O axis-ego-samples, atualizado pela Axis no início de setembro, mostra esse processo de transformar ações humanas em dados de treinamento para robôs, por meio de arquivos reais. Os vídeos egocêntricos atualmente disponíveis somam 100 horas. São gravações em primeira pessoa, capturadas do ponto de vista do operador, classificadas por cenários reais como educação, hospedagem, varejo, armazém, artesanato, catering, escritório, produção e logística. Os dados estão organizados no formato LeRobot e incluem anotações densas de ação de primeira ordem no mesmo pacote. Os comportamentos apresentados nos vídeos não são especiais. São coisas como pegar um objeto e colocá-lo em outro lugar, usar ferramentas ou organizar uma mesa de trabalho. Cenas comuns que vemos diariamente no lar ou no trabalho. Mesmo esses comportamentos comuns precisam ser muito mais detalhados para se tornarem dados de treinamento para robôs. A revisão das anotações contém 101 clipes, e as anotações linguísticas frame-a-frame estão divididas em 80.090 segmentos. Em vez de atribuir apenas um nome de tarefa a todo o vídeo longo, os segmentos são divididos nos momentos exatos em que o comportamento muda, registrando exatamente qual ação ocorreu em cada instante. Mesmo o ato de mover uma xícara é dividido da mesma forma. A fase em que a mão se aproxima da xícara é distinta do momento exato em que é agarrada; o estado durante o movimento e o momento de colocá-la novamente também são separados. O que aos olhos humanos parece um único movimento natural é dividido em várias etapas nos dados. Isso é necessário porque os corpos humanos e robóticos não são iguais. A mão humana usa múltiplas articulações e dedos livremente, enquanto robôs variam em estrutura e alcance de movimento. Alguns usam apenas um gripper simples, e outros têm câmeras em posições diferentes. Não é possível copiar diretamente os movimentos da mão humana como ações robóticas. É necessário primeiro identificar os segmentos de comportamento e o estado dos objetos nos vídeos, depois mapeá-los para representações de ação que o robô específico possa realmente executar. Os equipamentos de captura também variam. O axis-ego-samples inclui amostras obtidas de dispositivos diferentes: dual fisheye, seis câmeras RGB+SLAM, MEgo, Gen DAS Ego, FEAGINE EGO, GI Labs etc. Mesmo capturando a mesma tarefa, a configuração da câmera pode alterar drasticamente o vídeo: o campo de visão muda, a posição da mão na tela varia e os métodos para obter informações de posição diferem entre dispositivos. É difícil evitar essas variações ao coletar grandes volumes de dados em ambientes reais. É necessário não apenas assumir um único tipo de equipamento ou condição de gravação, mas também organizar os dados para que possam aprender com entradas diversas. Na pasta separada sample-150h-10cat, são disponibilizados 10 episódios selecionados por categoria de um corpus de 150 horas de entrega. Apenas esses 10 samples estão no repositório público; o corpus completo de 150 horas ainda não foi liberado. O tamanho total dos arquivos do repositório axis-ego-samples atualmente é de aproximadamente 770 GB. Também é possível ver como esses dados se conectam aos outros produtos da Axis. O Mobile Egocentric App está sendo desenvolvido para rastrear em tempo real a pose da mão enquanto a pessoa se move e transformar esses movimentos em movimentos robóticos. Na simulação por navegador, as pessoas manipulam diretamente um robô virtual para gerar estados e ações. Na captura egocêntrica, primeiro registram-se as tarefas realizadas por pessoas no mundo real e depois identificam-se dentro desses registros os comportamentos úteis para o treinamento robótico. Um método envolve criar dados ao mover diretamente um robô; o outro transforma comportamentos já realizados por pessoas em dados. Aqui surge um ponto interessante: Para ensinar experiência a um robô, não é necessário movê-lo continuamente. As pessoas já manipulam inúmeros objetos todos os dias: pegam xícaras, abrem portas, organizam caixas e usam ferramentas — comportamentos que ocorrem repetidamente por toda parte. Se esses comportamentos forem registrados com precisão suficiente e conectados adequadamente aos movimentos robóticos, então as ações cotidianas das próprias pessoas podem se tornar fonte primária de dados para treinamento robótico. Como essa ideia é aplicada na pesquisa robótica real pode ser observado também no estudo EgoScale, independente da Axis.EgoScale, lançado em fevereiro de 2026, foi inicialmente pré-treinado com mais de 20.854 horas de vídeos egocêntricos humanos rotulados com ações, seguido por treinamento adicional com dados alinhados humano-robô. Na avaliação da mão robótica dexterosa de 22 DOF, a taxa média de sucesso da política final foi 54% maior do que a baseline sem pré-treinamento. EgoScale não é um estudo independente do Axis, nem significa que simplesmente inserir muitos vídeos humanos faz com que robôs se movam imediatamente bem. Trata-se de um caso em que o desempenho melhora após primeiro aprender amplas experiências a partir de ações humanas e, em seguida, adicionar dados específicos ao embodiment e às ações reais do robô. O Axis também está conectando esses dados a aplicações práticas de colaboração. Na divulgação de 28 de agosto, em parceria com o Dexmal, o Axis anunciou que será responsável pela produção em larga escala de dados egocêntricos, de simulação e do mundo real para uso no VLA e no modelo mundial do Dexmal. Ainda existem partes não divulgadas. A escala exata dos dados transmitidos ao Dexmal e como esses dados impactaram o desempenho do modelo ainda não foram reveladas. Mesmo com apenas os dados atualmente disponíveis, é possível compreender claramente o tipo de trabalho que o Axis está realizando. Já foram publicados 100 horas de dados do LeRobot, com anotações frame-a-frame divididas em até 80.090 segmentos. Também foram disponibilizados exemplos coletados por diversos dispositivos de captura. Trata-se do processo de gravar ações curtas realizadas naturalmente por humanos no mundo real, delimitar os limites das ações dentro dessas gravações, organizar os movimentos dos objetos e das mãos, e transformar tudo em um formato adequado para aprendizado robótico. O que para humanos é apenas alguns segundos sem significado especial torna-se uma única experiência de aprendizado para um robô. O que o Axis está divulgando agora é o resultado desse processo convertido em dados reais. #PhysicalAI #RobotLearning