[Axis memperkenalkan 100 jam Data Egocentric: Cara menyusun tindakan manusia sebagai data pembelajaran robot] @KaitoAI X @axisrobotics Tautan penyertaan Axis (referral): https://t.co/hUbWSVsBVR Manusia tidak menghitung sudut jari atau lintasan pergelangan tangan ketika mengambil cangkir. Mereka hanya mengambil cangkir di depan mata secara alami dan meletakkannya di tempat lain. Namun, cara mengajarkan hal yang sama kepada robot berbeda. Tindakan harus dibagi menjadi: saat tangan mendekati objek, momen benar-benar menyentuh, lintasan setelah diangkat, dan saat diletakkan kembali. Meskipun bagi manusia ini merupakan gerakan yang berkelanjutan, robot perlu memecahnya menjadi data untuk memahami apa yang terjadi di dalamnya. Axis-ego-samples yang diperbarui Axis pada awal September menunjukkan proses mengubah tindakan manusia menjadi data pembelajaran robot melalui file nyata. Video egocentric yang saat ini dipublikasikan berjumlah 100 jam. Video sudut pandang orang pertama ini dikategorikan berdasarkan scene category seperti pendidikan, akomodasi, ritel, gudang, kerajinan, katering, kantor, produksi, dan logistik. Data ini disusun dalam format LeRobot dan mencakup annotation aksi dense tahap pertama dalam satu paket yang sama. Tindakan yang muncul dalam video tidak istimewa. Mengambil benda dan meletakkannya di tempat lain, menggunakan alat, atau merapikan meja kerja—semua ini adalah adegan sehari-hari yang sering kita lihat. Namun, agar tindakan biasa ini menjadi data pembelajaran robot, ia harus sangat rinci. Dalam tinjauan annotation, terdapat 101 clip yang terdiri dari 80.090 segment annotation bahasa frame-per-frame. Alih-alih memberi satu nama tugas untuk seluruh video panjang, segmen dibagi sesuai titik perubahan tindakan, mencatat dengan tepat gerakan apa yang terjadi pada momen tertentu. Adegan memindahkan satu cangkir pun dipisahkan dengan cara yang sama. Rentang ketika tangan mendekati cangkir berbeda dari momen benar-benar memegangnya; status selama pergerakan dan saat meletakkannya juga dipisahkan secara terpisah. Apa yang tampak sebagai satu tindakan alami bagi mata manusia, dalam data dibagi menjadi beberapa tahap. Proses ini diperlukan karena tubuh manusia dan robot tidak identik. Tangan manusia dapat menggunakan banyak sendi dan jari secara bebas, sedangkan robot memiliki rentang gerak yang berbeda tergantung strukturnya. Beberapa robot menggunakan gripper sederhana, sementara posisi kameranya pun bervariasi. Tidak mungkin menyalin gerakan tangan manusia secara langsung sebagai robot action. Pertama, perlu mengidentifikasi rentang tindakan dan status objek dalam video, lalu menghubungkannya kembali ke representasi aksi yang dapat dieksekusi oleh robot tersebut. Perangkat perekaman juga beragam. Axis-ego-samples memuat sampel dari berbagai perangkat perekam berbeda: dual fisheye, six-camera RGB+SLAM, MEgo, Gen DAS Ego, FEAGINE EGO, GI Labs, dsb. Meskipun merekam tugas yang sama, konfigurasi kamera dapat menghasilkan video yang berbeda. Sudut pandang berubah, posisi tangan dalam frame berbeda, dan cara mendapatkan informasi posisi pun bervariasi antar perangkat. Sulit menghindari perbedaan ini saat mengumpulkan data dalam skala besar di lingkungan nyata. Proses ini memerlukan penyusunan data agar dapat belajar dari input yang beragam, bukan hanya asumsi satu jenis perangkat dan satu kondisi perekaman. Folder sample-150h-10cat secara terpisah mempublikasikan 10 episode dari corpus pengiriman 150 jam, masing-masing diambil dari kategori berbeda. Namun, yang dipublikasikan di repositori publik hanyalah 10 sampel ini—bukan seluruh corpus 150 jam. Ukuran total file repositori axis-ego-samples saat ini sekitar 770 GB. Anda juga dapat melihat bagaimana data ini terhubung dengan produk Axis lainnya. Mobile Egocentric App dikembangkan untuk melacak pose tangan secara real-time saat manusia bergerak dan mengubah gerakan tersebut menjadi gerakan robotik. Dalam simulasi browser, manusia secara langsung mengendalikan robot virtual untuk menciptakan state dan action. Dalam egocentric capture, tugas yang dilakukan manusia di ruang nyata direkam terlebih dahulu, lalu tindakan yang relevan untuk pembelajaran robot ditemukan di dalamnya. Satu pendekatan membuat data dengan menggerakkan robot secara langsung; pendekatan lain mengubah tindakan manusia yang sudah ada menjadi data. Di sini muncul satu hal menarik: Untuk memberi pengalaman kepada robot, tidak perlu terus-menerus menggerakkan robot itu sendiri. Manusia sudah setiap hari menangani banyak objek—mengambil cangkir, membuka pintu, merapikan kotak, menggunakan alat—tindakan ini terjadi berulang-ulang di mana-mana. Jika tindakan-tindakan ini dapat direkam dengan cukup akurat dan dihubungkan ke gerakan robot, maka tindakan sehari-hari yang dihasilkan manusia dalam kehidupannya sendiri dapat menjadi sumber data pembelajaran robot. Cara ide ini diterapkan dalam penelitian robot nyata juga dapat dilihat dalam penelitian EgoScale yang terpisah dari Axis.EgoScale, yang dilancarkan pada Februari 2026, terlebih dahulu melakukan pre-training VLA menggunakan lebih dari 20.854 jam video egosentrik manusia yang dilabeli tindakan, kemudian melanjutkan pembelajaran dengan data selaras manusia-robot. Pada penilaian tangan robot lincah 22-DoF, rata-rata tingkat keberhasilan kebijakan akhir 54% lebih tinggi daripada baseline tanpa pre-training. EgoScale bukanlah penelitian yang bergantung pada Axis, dan tidak bermaksud menyiratkan bahwa robot akan langsung bergerak dengan baik hanya dengan memasukkan banyak video manusia. Ini adalah contoh di mana kinerja ditingkatkan setelah terlebih dahulu mempelajari pengalaman luas dari tindakan manusia, lalu menambahkan data yang sesuai dengan embodiment dan tindakan robot nyata. Axis juga sedang menghubungkan data ini ke aplikasi kolaboratif nyata. Dalam kolaborasi dengan Dexmal yang diumumkan pada 28 Agustus, Axis menyatakan akan bertanggung jawab atas produksi data egosentrik, simulasi, dan dunia nyata berskala besar yang akan digunakan oleh VLA dan world model Dexmal. Masih ada bagian yang belum diumumkan. Skala data yang benar-benar disampaikan ke Dexmal, serta bagaimana data tersebut memengaruhi kinerja model, belum diungkapkan. Namun, dari informasi yang telah dirilis saja, kita sudah cukup dapat memahami apa yang sedang Axis lakukan. Data LeRobot selama 100 jam telah benar-benar dipublikasikan, dan anotasi frame-per-frame dibagi menjadi hingga 80.090 segmen. Sampel dari berbagai perangkat perekam juga dirilis bersamaan. Proses ini melibatkan perekaman tindakan singkat yang dilakukan manusia secara alami di dunia nyata, membagi batas-batas tindakan di dalamnya, mengorganisasi gerakan objek dan tangan, lalu mengubahnya menjadi format yang dapat dipelajari oleh robot. Beberapa detik yang dianggap biasa oleh manusia menjadi satu pengalaman pembelajaran bagi robot. Apa yang Axis publikasikan saat ini adalah hasil nyata dari proses tersebut. #PhysicalAI #RobotLearning