[10 contoh demonstrasi nyata: 0/20 kontak objek. Tambahkan 50 simulasi lagi → 17/20] @KaitoAI X @axisrobotics Tautan partisipasi Axis (referral): https://t.co/hUbWSVsBVR Mengajarkan tugas baru kepada robot memerlukan banyak waktu dan biaya untuk mengumpulkan data demonstrasi nyata pada peralatan fisik. Anda harus menyiapkan robot, menyesuaikan ruang kerja, lalu merekam puluhan hingga ratusan tindakan secara manual sambil mengendalikan robot secara langsung; jika objek atau lingkungan berubah, Anda memerlukan data baru lagi. Axis dan @boosterobotics baru-baru ini melakukan eksperimen untuk melihat bagaimana hasil pembelajaran berubah ketika trajektori simulasi Axis digabungkan dengan demonstrasi nyata menggunakan robot dual-arm Booster. Tugas yang digunakan adalah mengambil pena dan mengambil kotak earbud. Evaluasi dilakukan secara terpisah: apakah robot menyentuh objek, menggenggamnya dengan gripper, dan benar-benar mengangkatnya. Semua kebijakan (policy) dimulai dari checkpoint model Pi0.5 yang sama. Dalam Axis Suite, ruang kerja nyata direkam dalam waktu singkat, lalu model 2D-ke-3D yang sudah dilatih sebelumnya digunakan untuk membuat digital twin yang sesuai dengan tugas. Adegan yang dihasilkan didistribusikan di Axis Hub, memungkinkan banyak kontributor yang tidak memiliki robot fisik untuk menghasilkan trajektori simulasi untuk tugas yang sama. Posisi objek, sudut kamera, pencahayaan, material, latar belakang, dan objek sekitar dapat diubah untuk menjalankan tugas yang sama dalam berbagai kondisi. Eksperimen low-data menggunakan kotak earbud melibatkan 10 demonstrasi nyata. Kebijakan yang dilatih dengan data ini gagal menyentuh objek target sama sekali dalam 20 eksekusi pada robot Booster nyata. Saat 10 demonstrasi nyata tetap dipertahankan dan ditambahkan 50 trajektori simulasi Axis, kebijakan tersebut berhasil menyentuh objek dalam 17 dari 20 percobaan. Enam kali berhasil mencapai tahap grasp, dan dua di antaranya berhasil mengangkat kotak earbud. Dalam evaluasi robot fisik dengan lebih banyak data, berbagai kombinasi diuji. Kebijakan real-only untuk tugas pena mencatat tingkat angkat (lift rate) 35%, sedangkan pada kondisi dengan 67% simulasi mencapai 40%. Untuk kotak earbud, real-only mencapai 30%, sedangkan pada kondisi 50% simulasi mencapai 40%. Setiap kondisi dijalankan sebanyak 20 kali pada robot fisik, dengan total evaluasi terdiri dari 240 rollout. Dalam simulasi, kondisi seperti posisi objek, sudut pandang, dan latar belakang dapat diubah dengan cepat untuk menghasilkan data berulang. Demonstrasi nyata mencakup informasi dari peralatan fisik seperti karakteristik kamera, respons aktuator, timing gripper, serta kesalahan kontak dan eksekusi. Tingkat angkat tertinggi untuk kedua tugas ini dicapai ketika data simulasi yang disesuaikan dengan tugas digabungkan dengan demonstrasi nyata. Axis dan Booster juga membuat model awal yang disesuaikan untuk Booster menggunakan data yang dikumpulkan dari berbagai tugas. Model ini dilatih terlebih dahulu untuk memahami penempatan kamera Booster, dua lengan 7-DoF, gripper, representasi aksi, dan gerakan dasar sebelum belajar tugas baru. Sumber simulasi awal terdiri dari 44.039 episode dari 95 repositori dan 76 perintah bahasa. Setelah menghapus episode yang tidak jelas membedakan trajektori statis dan lengan yang digunakan, tersisa 42.046 episode dan 3.249.835 frame, setara dengan sekitar 180,55 jam pada frekuensi 5 Hz. Demonstrasi nyata Booster yang mencakup keberhasilan, telemetry, dan observasi juga digunakan dalam pelatihan. Setelah melakukan continued pretraining parameter penuh pada Pi0.5 menggunakan data ini, model tersebut disesuaikan untuk tugas pena dan kotak earbud. Dengan 30 demonstrasi per tugas, model khusus Booster berhasil menjalankan urutan tindakan: mendekati - menutup gripper - bergerak ke atas sebanyak 14 dari 16 kali. Model Pi0.5 asli hanya berhasil 6/16 dalam kondisi yang sama, dan meningkat menjadi 10/16 ketika jumlah demonstrasi ditingkatkan menjadi 60. Dalam simulasi zero-shot sebelum pelatihan tambahan per tugas, jarak rata-rata pergelangan tangan ke target berkurang dari 17,27 cm menjadi 5,78 cm, dan jarak gerakan lengan yang tidak diperintahkan berkurang dari 5,04 rad menjadi 0,25 rad. Angka-angka ini berasal dari eksperimen kolaborasi Axis dan Booster. Belum ada penelitian independen yang berhasil mereplikasi hasil ini. Evaluasi low-data menggunakan 10 demonstrasi nyata dan 50 simulasi dilakukan pada robot fisik Booster; perbandingan 30 dan 60 demonstrasi untuk model khusus Booster dilakukan di Isaac Sim. Angka-angka dari dua evaluasi ini tidak dapat digabungkan menjadi satu indikator kinerja robot fisik. Trajektori simulasi yang dihasilkan di Axis Hub digunakan untuk memvariasikan penempatan objek dan kondisi visual; demonstrasi nyata Booster memasukkan informasi kontak dan karakteristik eksekusi robot fisik ke dalam pelatihan. Data yang disusun dari berbagai tugas juga digunakan untuk membangun model awal yang familiar dengan tubuh dan cara kendali Booster.Trajectory yang dikumpulkan di browser benar-benar digunakan untuk evaluasi robot fisik Booster dan pembelajaran model awal. #PhysicalAI #RobotLearning