[100 Jam Data Egocentric yang Dibuka oleh Axis, Cara Mengorganisasi Perilaku Manusia sebagai Data Pembelajaran Robot] @KaitoAI X @axisrobotics Tautan partisipasi Axis (referral): https://t.co/hUbWSVsBVR Saat manusia mengambil cangkir, mereka tidak menghitung sudut jari atau lintasan pergelangan tangan. Mereka hanya mengambil cangkir di depan mata secara alami dan meletakkannya di tempat lain. Namun, cara mengajarkan hal yang sama kepada robot berbeda. Perilaku harus dibagi menjadi titik saat tangan mendekati objek, momen kontak aktual, lintasan pergerakan setelah diangkat, dan waktu meletakkannya kembali. Meskipun bagi manusia ini adalah gerakan yang berkelanjutan, robot perlu mengekstrak data tentang apa yang terjadi di dalamnya untuk belajar. Axis-ego-samples yang diperbarui Axis pada awal September menunjukkan proses mengubah perilaku manusia menjadi data pembelajaran robot melalui file nyata. Video egocentric yang saat ini dirilis berjumlah 100 jam. Video sudut pandang orang pertama ini dikategorikan berdasarkan scene category seperti pendidikan, akomodasi, ritel, gudang, kerajinan, katering, kantor, produksi, dan logistik. Data ini telah diorganisasi dalam format LeRobot dan mencakup annotation aksi dense tahap pertama dalam satu paket yang sama. Perilaku yang muncul dalam video tidak istimewa. Mengambil barang dan meletakkannya di tempat lain, menggunakan alat, atau merapikan meja kerja—semuanya adalah adegan yang sering kita lihat dalam kehidupan sehari-hari atau di tempat kerja. Namun, agar perilaku biasa ini menjadi data pembelajaran robot, ia harus jauh lebih rinci. Dalam review annotation terdapat 101 clip, dan annotation bahasa frame-by-frame dibagi menjadi 80.090 segment. Alih-alih memberi satu nama tugas untuk seluruh video panjang, segmen dibagi sesuai titik perubahan perilaku untuk mencatat dengan tepat gerakan apa yang terjadi pada momen tertentu. Adegan memindahkan satu cangkir pun dipisahkan dengan cara yang sama. Rentang saat tangan mendekati cangkir berbeda dari momen saat benar-benar meraihnya, dan keadaan selama pergerakan serta waktu meletakkannya kembali juga dipisahkan secara terpisah. Apa yang tampak sebagai satu perilaku alami bagi mata manusia, dalam data dibagi menjadi beberapa tahap. Alasan proses ini diperlukan adalah karena tubuh manusia dan robot tidak sama. Tangan manusia dapat menggunakan banyak sendi dan jari secara bebas, sedangkan robot memiliki rentang gerak yang berbeda tergantung strukturnya. Beberapa robot menggunakan gripper sederhana, sementara posisi kameranya pun berbeda-beda. Cara menyalin gerakan tangan manusia secara langsung menjadi aksi robot tidak dapat menyelesaikan masalah ini. Diperlukan proses untuk terlebih dahulu mengidentifikasi rentang perilaku dan status objek dalam video, lalu menghubungkannya kembali ke representasi aksi yang dapat dieksekusi oleh robot tersebut. Perangkat perekaman juga beragam. Axis-ego-samples memuat sampel dari berbagai perangkat perekam berbeda seperti dual fisheye, six-camera RGB+SLAM, MEgo, Gen DAS Ego, FEAGINE EGO, dan GI Labs. Meskipun merekam tugas yang sama, video bisa berbeda tergantung konfigurasi kamera. Sudut pandang berubah, posisi tangan dalam frame berbeda, dan cara memperoleh informasi posisi pun bervariasi antar perangkat. Saat mengumpulkan data dalam skala besar di lingkungan nyata, perbedaan ini sulit dihindari. Diperlukan proses untuk mengorganisasi input yang berbeda-beda agar dapat digunakan dalam pembelajaran, bukan hanya mengasumsikan satu jenis perangkat dan satu kondisi perekaman saja. Di folder sample-150h-10cat terpisah, 10 episode dari corpus pengiriman 150 jam telah dirilis per kategori. Namun, yang dipublikasikan di repositori publik hanyalah 10 sampel ini—bukan seluruh corpus 150 jam. Total ukuran file seluruh repositori axis-ego-samples saat ini sekitar 770 GB. Anda juga dapat melihat bagaimana data ini terhubung dengan produk Axis lainnya. Mobile Egocentric App dikembangkan untuk melacak pose tangan secara real-time saat manusia bergerak dan mengubah gerakan tersebut menjadi gerakan robotik. Dalam simulasi browser, manusia secara langsung mengendalikan robot virtual untuk menciptakan state dan action. Dalam egocentric capture, pekerjaan yang dilakukan manusia di ruang nyata direkam terlebih dahulu, lalu perilaku yang diperlukan untuk pembelajaran robot ditemukan di dalamnya. Satu pendekatan membuat data dengan menggerakkan robot secara langsung; pendekatan lain mengubah perilaku manusia yang sudah ada menjadi data. Di sini muncul satu hal menarik. Untuk memberi pengalaman kepada robot, tidak perlu terus-menerus menggerakkan robot itu sendiri. Manusia sudah setiap hari menangani banyak objek—mengambil cangkir, membuka pintu, merapikan kotak, menggunakan alat—perilaku ini terulang di mana-mana di kehidupan nyata. Jika perilaku-perilaku ini dapat direkam dengan cukup akurat dan dihubungkan ke gerakan robot, maka perilaku sehari-hari yang diciptakan manusia sendiri bisa menjadi sumber data pembelajaran robot. Cara ide ini diterapkan dalam penelitian robot nyata juga bisa dilihat dalam penelitian EgoScale yang terpisah dari Axis.EgoScale, yang dirilis pada Februari 2026, pertama-tama melakukan pre-training VLA menggunakan lebih dari 20.854 jam video egosentrik manusia yang dilabeli aksi, lalu melanjutkan pelatihan dengan data selaras manusia-robot. Pada evaluasi tangan robot 22-DoF yang lincah, rata-rata tingkat keberhasilan kebijakan akhir 54% lebih tinggi dibandingkan baseline tanpa pre-training. EgoScale bukan penelitian yang terkait dengan Axis, dan tidak berarti bahwa hanya dengan memasukkan banyak video manusia, robot langsung dapat bergerak dengan baik. Ini adalah contoh peningkatan kinerja yang terjadi ketika pengalaman luas dari perilaku manusia dipelajari terlebih dahulu, lalu ditambahkan data yang sesuai dengan embodiment dan aksi robot aktual. Axis juga sedang menghubungkan data ini dengan penerapan kolaboratif nyata. Dalam kolaborasi dengan Dexmal yang diumumkan pada 28 Agustus, Axis menyatakan akan bertanggung jawab atas produksi data egosentrik, simulasi, dan dunia nyata berskala besar yang akan digunakan oleh VLA dan world model Dexmal. Masih ada bagian yang belum diumumkan. Skala data yang benar-benar disampaikan ke Dexmal, serta bagaimana data tersebut memengaruhi kinerja model, belum diungkapkan. Namun, dari informasi yang saat ini telah dipublikasikan saja, sudah cukup jelas apa yang sedang Axis lakukan. Data LeRobot sebesar 100 jam telah benar-benar diunggah, dan anotasi frame-per-frame dibagi menjadi hingga 80.090 segmen. Sampel dari berbagai perangkat pengambilan juga dirilis bersamaan. Proses ini melibatkan perekaman perilaku singkat yang dilakukan manusia secara alami di dunia nyata, membagi batas-batas aksi di dalamnya, mengorganisasi gerakan tangan dan objek, lalu mengubahnya menjadi format yang dapat dipelajari oleh robot. Beberapa detik yang dianggap biasa oleh manusia menjadi satu pengalaman pembelajaran bagi robot. Apa yang Axis publikasikan saat ini adalah hasil nyata dari proses tersebut. #PhysicalAI #RobotLearning