[10 contoh sebenar: 0/20 sentuh objek. Tambahkan 50 simulasi lagi → 17/20] @KaitoAI X @axisrobotics Pautan penyertaan Axis (rujukan): https://t.co/hUbWSVsBVR Mengajar robot tugas baru memerlukan masa dan kos yang besar untuk mengumpul data demonstrasi secara sebenar. Anda perlu menyiapkan robot, menyesuaikan ruang tugas, kemudian merekam puluhan hingga ratusan tindakan secara manual, dan jika objek atau persekitaran berubah, data baru diperlukan. Axis dan @boosterobotics baru-baru ini menjalankan eksperimen untuk melihat bagaimana hasil pembelajaran berubah apabila trajektori simulasi Axis digabungkan dengan demonstrasi sebenar menggunakan robot dual-arm Booster. Tugas yang digunakan ialah mengambil pen dan mengambil kes earbud. Setiap tindakan dinilai berdasarkan sama ada robot menyentuh objek, menggenggam dengan gripper, atau mengangkatnya secara sebenar. Semua polisi bermula daripada checkpoint model Pi0.5 yang sama. Dalam Axis Suite, ruang tugas sebenar direkam dalam masa singkat dan model 2D-to-3D pra-dilatih digunakan untuk mencipta digital twin yang sesuai dengan tugas. Adegan yang dihasilkan dideploy ke Axis Hub, membolehkan pelbagai penyumbang mencipta trajektori simulasi untuk tugas yang sama tanpa memerlukan robot fizikal. Lokasi objek, sudut kamera, pencahayaan, bahan, latar belakang, dan objek sekeliling boleh diubah-ubah untuk menjalankan tugas yang sama dalam pelbagai keadaan. Eksperimen data rendah menggunakan kes earbud melibatkan 10 demonstrasi sebenar. Polisi yang dilatih dengan data ini gagal menyentuh objek sama sekali dalam 20 percubaan pada robot Booster sebenar. Apabila 50 trajektori simulasi Axis ditambahkan kepada 10 demonstrasi sebenar yang sama, polisi tersebut berjaya menyentuh objek 17 daripada 20 kali. Enam kali berjaya mencapai peringkat grasp, dan dua daripadanya berjaya mengangkat kes earbud. Dalam penilaian robot sebenar dengan lebih banyak data, pelbagai kombinasi diuji. Polisi real-only untuk tugas pen mencatatkan kadar angkat 35%, manakala pada keadaan dengan 67% simulasi, kadar angkat ialah 40%. Untuk kes earbud, real-only mencatat 30%, manakala pada keadaan 50% simulasi, kadar angkat ialah 40%. Setiap keadaan diuji sebanyak 20 kali pada robot sebenar, dengan keseluruhan penilaian terdiri daripada 240 rollout. Dalam simulasi, keadaan seperti lokasi objek, sudut pandang, dan latar belakang boleh diubah dengan pantas untuk menghasilkan data berulang. Demonstrasi sebenar membawa maklumat daripada peralatan fizikal seperti ciri kamera, respons aktuator, ketepatan gripper, serta ralat sentuhan dan pelaksanaan. Kadar angkat tertinggi untuk kedua-dua tugas ini dicapai apabila data simulasi yang disesuaikan dengan tugas digabungkan dengan demonstrasi sebenar. Axis dan Booster juga mencipta model awal yang disesuaikan dengan Booster menggunakan data yang dikumpulkan daripada pelbagai tugas. Model ini dilatih terlebih dahulu untuk memahami susunan kamera Booster, dua lengan 7-DoF, gripper, representasi tindakan, dan pergerakan asas sebelum belajar tugas baru. Sumber simulasi asal terdiri daripada 44,039 episod dari 95 repositori dan 76 arahan bahasa. Selepas menyingkirkan trajektori statik dan rekod yang sukar dibezakan dari lengan yang digunakan, baki ialah 42,046 episod dan 3,249,835 frame — setara dengan kira-kira 180.55 jam pada kadar 5Hz. Demonstrasi sebenar Booster dengan label kejayaan, telemetry, dan pengamatan juga digunakan dalam latihan. Selepas melatih Pi0.5 secara continued pretraining penuh menggunakan data ini, model tersebut disesuaikan dengan tugas pen dan kes earbud. Dengan 30 demonstrasi setiap tugas, model khas Booster berjaya menjalankan urutan tindakan: mendekati → menutup gripper → mengangkat ke atas sebanyak 14 daripada 16 kali. Model Pi0.5 asal hanya berjaya 6/16 dalam keadaan yang sama, dan meningkat kepada 10/16 apabila demonstrasi ditingkatkan kepada 60. Dalam simulasi zero-shot sebelum latihan tambahan setiap tugas, jarak purata pergelangan tangan ke sasaran berkurang dari 17.27cm kepada 5.78cm, dan jarak pergerakan lengan yang tidak diperintahkan berkurang dari 5.04 rad kepada 0.25 rad. Nombor-nombor ini adalah hasil eksperimen kolaborasi Axis dan Booster. Belum ada penyelidikan bebas yang dapat meniru hasil ini secara independen. Penilaian data rendah menggunakan 10 demonstrasi sebenar dan 50 simulasi dijalankan pada robot fisikal Booster; perbandingan 30 dan 60 demonstrasi model khas Booster dijalankan di Isaac Sim. Nombor-nombor dari dua penilaian ini tidak boleh digabungkan sebagai satu ukuran prestasi robot sebenar. Trajektori simulasi yang dihasilkan di Axis Hub digunakan untuk mencipta pelbagai susunan objek dan keadaan visual; demonstrasi sebenar Booster memasukkan ciri-ciri sentuhan dan pelaksanaan robot fizikal ke dalam latihan. Data yang disusun daripada pelbagai tugas juga digunakan untuk mencipta model awal yang mahir dengan tubuh dan cara kawalan Booster.Trajectory yang dikumpulkan di peranti pelayar benar-benar digunakan dalam penilaian robot fizikal Booster dan pembelajaran model awal. #PhysicalAI #RobotLearning