[Pengantar] Model VLA sudah dapat melakukan tugas, tetapi robot nyata masih lambat! PolicyTrim adalah metode untuk mengoptimalkan efisiensi eksekusi robot VLA tanpa perlu pelatihan ulang. Dengan memperluas urutan tindakan yang andal dan mengurangi langkah-langkah yang berlebihan, PolicyTrim membantu robot menyelesaikan tugas lebih langsung, meningkatkan kecepatan keseluruhan.
Model Vision-Language-Action (VLA) menggabungkan pengamatan visual, instruksi bahasa, dan tindakan robot ke dalam satu model strategi, memungkinkan robot untuk menyelesaikan tugas operasi kompleks berdasarkan bahasa alami.
Dari OpenVLA, OpenVLA-OFT hingga π0.5 dan GR00T, model-model semacam ini sedang menjadi jalur teknis penting dalam kecerdasan tubuh.
Namun, ketika model VLA benar-benar dideploy ke robot, sebuah bottleneck kunci akan segera muncul: waktu total yang dibutuhkan robot untuk menyelesaikan tugas tidak hanya bergantung pada seberapa cepat setiap inferensi, tetapi juga pada berapa banyak inferensi yang perlu dijalankan dan berapa banyak tindakan fisik nyata yang diperlukan oleh strategi tersebut.
Dalam beberapa rollout tugas yang sama, jumlah langkah eksekusi model VLA bervariasi signifikan, menunjukkan bahwa jalur sukses yang lebih pendek dan lebih langsung dapat dicapai, tetapi strategi saat ini sering hanya menemukannya secara kebetulan.
Bagian akhir chunk tindakan tidak andal: model memprediksi beberapa tindakan sekaligus, tetapi tindakan yang semakin ke belakang cenderung mengakumulasi kesalahan, sehingga sistem harus sering merencanakan ulang. Memaksakan perpanjangan durasi eksekusi akan menurunkan tingkat keberhasilan dan menambah jumlah langkah fisik.
Terlalu banyak gerakan fisik yang berlebihan: bahkan jika tugas berhasil, trajektori mungkin masih mengandung banyak tindakan koreksi, mundur, dan pengulangan.
Oleh karena itu, efisiensi penerapan VLA tidak hanya dilihat dari latensi inferensi setiap langkah, tetapi juga dari efisiensi kebijakan (policy efficiency): berapa banyak tindakan yang dapat dieksekusi dengan percaya diri dalam satu prediksi? Berapa banyak langkah fisik nyata yang diperlukan untuk menyelesaikan tugas?
Metode yang sudah ada sebagian besar berfokus pada sisi komputasi, misalnya pemangkasan token visual, kuantisasi, pemanfaatan ulang KV-cache, distilasi, atau optimasi mesin inferensi. Metode-metode ini dapat mengurangi latensi inferensi tunggal, tetapi jika strateginya masih memerlukan banyak langkah fisik yang berlebihan, waktu nyata untuk tugas tersebut tetap lama.
Secara langsung menetapkan chunk aksi yang lebih panjang juga tidak dapat diandalkan.
Eksperimen dalam makalah menunjukkan bahwa dengan memperpanjang panjang tindakan secara paksa, tingkat keberhasilan mungkin menurun, sementara jumlah langkah fisik justru meningkat. Ini menunjukkan bahwa prediksi ekor berkualitas rendah akan membawa kesalahan ke dunia fisik, sehingga robot memerlukan lebih banyak tindakan koreksi.
Masalah utama: Apakah mungkin melalui pelatihan lanjutan, membuat strategi VLA yang sudah ada secara otomatis belajar untuk "menghindari jalan memutar" dan menyelesaikan tugas dengan lebih sedikit langkah fisik, tanpa mengorbankan tingkat keberhasilan tugas?
Tim yang dipimpin oleh Profesor Lei Yinjie dari Sichuan University mengusulkan PolicyTrim—sebuah kerangka kerja pelatihan ulang reinforcement learning dua tahap yang berfokus pada “efisiensi strategi.” Framework ini tidak mengubah arsitektur VLA maupun mengumpulkan ulang data ahli, tetapi terus mengoptimalkan perilaku eksekusi nyata robot berdasarkan strategi pra-latih yang sudah ada.
Halaman proyek: https://inceptionwang.github.io/PolicyTrim/
Tautan makalah: https://arxiv.org/abs/2606.22540
Tautan kode: https://github.com/INCEPTIONwang/PolicyTrim
Tautan model: https://huggingface.co/INCEPTIONwang/PolicyTrim
Metode baru telah diimplementasikan:
- Penggunaan chunk aksi 3×, eksekusi andal dengan horizon lebih panjang;
- 51,4% pengurangan langkah fisik, kompres tindakan koreksi yang berlebihan;
- 5,83× akselerasi tertinggi end-to-end, LIBERO Object/π0.5;
Dari "Menghitung Lebih Cepat" ke "Melakukan Lebih Cepat"
Tujuan utama PolicyTrim bukanlah menggantikan akselerasi sisi komputasi, tetapi mengisi dimensi lain yang diabaikan: mengurangi jumlah inferensi maju yang diperlukan untuk menyelesaikan tugas. Ia membagi efisiensi strategi menjadi dua tujuan yang dapat dioptimalkan: terlebih dahulu memperluas chunk tindakan yang andal, lalu memampatkan langkah fisik yang berlebihan.
1. Ekstensi Chunk Tindakan Andal (Reliable Action Chunk Extension)
Saat ini, banyak strategi VLA menghasilkan urutan tindakan dalam bentuk action chunk, tetapi saat dideploy, sering kali hanya berani menjalankan beberapa langkah pertama. Tahap pertama PolicyTrim menggunakan dynamic execution horizon exploration: memberikan rasio penerimaan yang berbeda pada rollout yang sama, sehingga model dapat secara paralel mengeksplorasi batas keandalan pada jendela pendek, menengah, dan panjang.
Trajektori yang menyelesaikan tugas dengan sukses dan memiliki jendela eksekusi lebih lama akan mendapatkan reward lebih tinggi, mendorong model untuk membuat tindakan di bagian akhir chunk yang sebelumnya tidak dapat diandalkan menjadi lebih dapat digunakan.
Hadiah horizon hanya diaktifkan ketika terdapat jalur sukses dalam kelompok, untuk mencegah model secara sembarangan mengejar panjang chunk yang lebih panjang dalam kondisi gagal.
2. Kompresi langkah yang menyadari redundansi (Redundancy-Aware Step Reduction)
Setelah horizon yang andal diperluas, tahap kedua lebih lanjut mengurangi jumlah total langkah fisik. PolicyTrim memperkenalkan reward penghematan langkah: semakin sedikit langkah yang digunakan untuk menyelesaikan tugas pada trajektori yang berhasil, semakin tinggi rewardnya.
Hadiah penghematan langkah: tulis langsung "jalur keberhasilan yang lebih pendek dan lebih langsung" ke dalam tujuan optimasi.
Regularisasi yang berbasis grup menekan jalan spekulatif yang tidak dapat direproduksi, mencegah model hanya mengejar jalur singkat namun merugikan tingkat keberhasilan.
Optimasi urutan dua tahap dapat menghindari gangguan antara tujuan "memperpanjang chunk" dan "memperpendek langkah", sehingga secara akhir mengurangi jumlah inferensi maju yang diperlukan untuk menyelesaikan tugas.
Hasil eksperimen
PolicyTrim telah diverifikasi pada tugas LIBERO, ManiSkill, Meta-World, dan tugas robot nyata, mencakup berbagai arsitektur VLA seperti π0.5, OpenVLA-OFT, dan GR00T. Hasil keseluruhan menunjukkan bahwa PolicyTrim secara signifikan meningkatkan efisiensi eksekusi sambil menjaga keberhasilan tugas tetap stabil.
Di LIBERO, π0.5 mencapai percepatan end-to-end hingga 5,83 kali, sambil mempertahankan tingkat keberhasilan di atas 98%.
Hasil lintas benchmark menunjukkan bahwa PolicyTrim mencapai percepatan hingga 2,36 kali di ManiSkill dan 2,52 kali di Meta-World.
Hasil lintas arsitektur menunjukkan bahwa OpenVLA-OFT yang dilatih ulang dengan menggunakan proses dua tahap penuh mencapai percepatan 2,97 kali; OpenVLA yang hanya menggunakan tahap kedua juga mencapai percepatan 1,41 kali.
Perbandingan kualitatif: Lebih sedikit jalan buntu, jalur lebih langsung
Dalam tugas LIBERO yang diambil secara acak, Baseline sering menunjukkan tindakan koreksi berlebihan dan keraguan/getaran di dekat target; trajektori PolicyTrim lebih halus dan langsung, mampu menyelesaikan tugas yang sama dengan lebih sedikit langkah fisik, biasanya mengurangi jumlah langkah fisik menjadi sekitar setengahnya.
Real robot deployment: Efficiency gains from simulation can be transferred to the physical world
Paper juga diverifikasi pada lengan robot Agilex Piper yang dilengkapi dua kamera Intel RealSense D435i untuk tugas robot nyata, termasuk tiga jenis tugas: FlipMug, HangMug, dan TapeBox. Eksperimen mencakup pengaturan standar dengan posisi target tetap, serta pengaturan dinamis dengan gangguan acak pada target selama proses pengambilan.
PolicyTrim mempertahankan atau meningkatkan tingkat keberhasilan baik dalam pengaturan standar maupun pengaturan gangguan dinamis, sekaligus secara signifikan memperpendek waktu eksekusi nyata. Dalam pengaturan robot nyata standar, rata-rata mencapai percepatan end-to-end sebesar 1,86 kali.
Dari hasil eksperimen, PolicyTrim tidak hanya mengoptimalkan metrik benchmark: waktu penyelesaian tugas pada robot fisik juga dapat dipersingkat menjadi sekitar setengah dari baseline, serta tetap robust dalam skenario gangguan dinamis.
Mengapa PolicyTrim efektif?
• Meningkatkan efisiensi strategi itu sendiri: mengurangi tindakan berulang dan perencanaan ulang yang tidak perlu, bukan hanya menurunkan latensi inferensi tunggal.
• Tidak perlu dilatih dari awal: Sebagai kerangka kerja pasca-pelatihan, dapat terus dioptimalkan berdasarkan model VLA yang sudah ada, mengurangi biaya pengumpulan data dan pelatihan.
• Menyeimbangkan kecepatan dan tingkat keberhasilan: ekspansi horizon yang andal menghindari memperpanjang chunk secara sembarangan, sedangkan batasan stabilitas mencegah spekulasi jalur pendek.
• Dapat digabungkan dengan akselerasi sisi komputasi: PolicyTrim mengoptimalkan jumlah inferensi maju, sementara metode seperti VLA-Cache mengoptimalkan waktu setiap inferensi; kedua jalur ini ortogonal dan dapat menghasilkan akselerasi komposit.
Poin utama PolicyTrim adalah: bagi robot VLA, efisiensi deployasi tidak hanya berasal dari inferensi model yang lebih cepat, tetapi juga dari perilaku strategis yang lebih efisien. Membuat robot "tidak berjalan melewati jalan yang salah" juga dapat memberikan percepatan signifikan.
Referensi: https://arxiv.org/abs/2606.22540
Artikel ini berasal dari akun WeChat "Sinzhiyuan", penulis: Sinzhiyuan; editor: LRST