Este é um pipeline de fluxo de trabalho de @axisrobotics para construir conjuntos de dados e treinar robôs ou IA física. Há 5 etapas principais: 1. Geração de Tarefa e Normalização de Ativos Criar uma tarefa a partir de um prompt de texto e preparar ativos, como modelos 3D, para que possam ser usados no simulador. 2. Teleoperação Baseada na Web Humanos controlam robôs virtualmente pela web para realizar tarefas. Esses movimentos são gravados como dados de demonstração/trajetórias. 3. Limpeza e Refinamento Offline de Dados Os dados coletados são limpos, por exemplo: - Filtragem de qualidade - Remoção de hesitações - Suavização de trajetórias O resultado são trajetórias refinadas. 4. Augmentação Realista Os dados limpos são multiplicados com variações: - Variação visual - Variação de pose - Injeção de ruído - Variação dinâmica O objetivo é tornar o robô mais robusto e capaz de generalizar. 5. Aprendizado de Política e Validação no Mundo Real O conjunto de dados é usado para o aprendizado de política, depois realizamos a transferência sim para real e testamos em um robô no mundo real. Portanto, este fluxo de trabalho é bastante importante para explicar como a Axis constrói um motor de dados para IA física. A Axis está tentando construir um pipeline completo, desde a geração da tarefa até o robô realmente ser capaz de executar a tarefa no mundo real. Fonte: 🔗https://t.co/nYmkIWawKY