Laboratorium Noah's Ark Huawei meluncurkan sistem RoboHarness, yang mengkoordinasikan strategi heterogen seperti VLA, WAM, RL, dan TAMP melalui Coding Agent untuk menyelesaikan tugas urutan panjang tanpa sampel. Sistem ini mencakup tiga jenis keterampilan: pemahaman, memori, dan evolusi; modul Memory Bridge menyelesaikan masalah ketidakcocokan distribusi status saat beralih strategi, dengan tingkat keberhasilan 86% dalam eksperimen. Karya ini mewakili evolusi kecerdasan tubuh dari model tunggal menuju pengaturan sistematis.Penulis artikel, sumber: Leifengwang
Bayangkan tugas seperti ini: buka pintu lemari, temukan balok-balok yang disembunyikan di dalamnya, lalu susun menjadi sebuah jembatan.
Bagi manusia, ini adalah hal yang sangat sederhana, beberapa gerakan berlangsung secara alami, bahkan anak TK pun bisa menyelesaikannya.
Namun bagi robot, tugas ini mencakup berbagai kemampuan yang sama sekali berbeda: mencari balok, memerlukan pemahaman visual dan pengikutan perintah bahasa; membuka pintu lemari, memerlukan interaksi kompleks dengan lingkungan; menyusun balok, memerlukan perencanaan geometris dan kendali presisi serta perkiraan perubahan lingkungan.
Yang lebih rumit lagi, kemampuan-kemampuan ini termasuk dalam beberapa model berbeda dari “sekte” yang berbeda—VLA (Visual-Linguistic-Action Model), WAM (World-Action Model), RL Policy (Reinforcement Learning), dan TAMP (Task and Motion Planning). Masing-masing memiliki keunggulan tersendiri, tetapi saling terpisah, dengan cara pelatihan, format input, dan ruang status yang berbeda.
Hari ini di bidang robotika, kemampuan tidak kurang, tetapi kolaborasi belum ada.
Laboratorium Noah's Ark dari Huawei baru-baru ini menerbitkan sebuah paper yang memperkenalkan sistem bernama RoboHarness, yang secara khusus menyelesaikan masalah ketidakmampuan berbagai strategi untuk berkolaborasi. Terkait pekerjaan ini, para penulis paper berdiskusi dengan kami (LeiFengNet).
Paper: https://arxiv.org/abs/2607.18060
Halaman proyek: https://www.robo-harness.com/
01 Jurang antara ilusi dan realitas model serba bisa
Pada musim panas ini, beberapa pekerjaan yang berfokus pada Harness muncul secara padat di bidang penelitian robotika, semuanya menuju pada pemahaman bahwa mengandalkan model yang lebih besar untuk menyelesaikan segala hal belum bisa dilakukan saat ini; robot memerlukan satu lapisan sistem organisasi eksekusi.
Tim Profesor Yu Chao dari Universitas Tsinghua merilis Harness VLA pada Juli, memperkenalkan Harness Layer yang secara luas digunakan dalam kecerdasan digital ke dalam kecerdasan tubuh, memungkinkan VLA yang dibekukan untuk fokus pada manipulasi intensif kontak yang paling dikuasainya, sambil menggunakan satu lapisan Harness untuk belajar kapan dan bagaimana memanggilnya, serta cara mereset dan mencoba ulang setelah VLA gagal. Dalam evaluasi gangguan LIBERO-Pro, sistem ini meningkatkan tingkat keberhasilan dari 50% menjadi 82,4%.
Secara konseptual, Harness VLA menyelesaikan bagaimana sebuah model dapat berfungsi stabil di bawah gangguan out-of-distribution. Masalahnya adalah stabilitas strategi tunggal.
RoboHarness dari Huawei Noah's Ark Lab menghadapi masalah lain: apa yang harus dilakukan ketika tugas melebihi batas kemampuan model mana pun?
Keduanya disebut Harness, keduanya menggunakan Coding Agent sebagai lapisan organisasi, tetapi menyelesaikan tantangan pada dimensi yang berbeda. Yang pertama membuat seorang spesialis menjadi lebih stabil, sementara yang kedua memungkinkan sekelompok spesialis dengan keahlian berbeda bekerja sama. Seiring dengan meningkatnya kompleksitas tugas robot, masalah yang kedua ini menjadi semakin tak terhindarkan.
Akar masalah ini harus dibahas dari batasan kemampuan berbagai model.
Keunggulan model VLA terletak pada pemahaman instruksi bahasa terbuka dan generalisasi di lingkungan baru, tetapi cara generasi aksi end-to-end-nya sulit mempertahankan konsistensi dalam tugas jangka panjang; strategi reinforcement learning mampu menghasilkan perilaku闭环 yang stabil dalam skenario pelatihan tertentu, tetapi stabilitas ini sangat bergantung pada distribusi pelatihan, dan akan gagal jika lingkungan sedikit berubah; TAMP unggul dalam penalaran simbolik dan kendala geometris, tetapi memerlukan definisi awal primitif aksi, sehingga perencana cepat kesulitan menghadapi skenario terbuka dan tujuan ambigu; WAM mampu membantu keputusan jangka panjang dengan memprediksi status masa depan, tetapi rentan terhadap akumulasi kesalahan seiring bertambahnya horizon prediksi.
Tugas nyata yang kompleks secara bersamaan memerlukan pemahaman semantik, perencanaan geometris, kontrol tertutup, penalaran jangka panjang, dan perkiraan perubahan lingkungan, di mana tujuan pelatihan untuk setiap kemampuan ini berbeda, dan terkadang bahkan saling bertentangan. Ada jurang yang belum benar-benar dilalui antara pencapaian terobosan pada masing-masing kemampuan dan penerapan model tunggal yang secara stabil dan berkelanjutan dapat menggabungkan semua kemampuan tersebut dalam lingkungan terbuka.
Titik awal RoboHarness adalah: alih-alih menunggu kesenjangan ini terisi, lebih baik terlebih dahulu membuat model-model yang sudah ada dan masing-masing memiliki keunggulan berkolaborasi secara nyata. Penulis berpendapat bahwa hingga ada satu model yang benar-benar mengungguli semua model lain dan menunjukkan dominasi mutlak, arsitektur pengaturan semacam ini tetap sangat bermakna.
Pekerjaan ini bukan muncul dari ruang hampa. Penulis memberi tahu kami (LeiFeng.com), bahwa bentuk awal RoboHarness lahir dari pengalaman berpartisipasi dalam BEHAVIOR Challenge, kompetisi robot global tahun lalu. Tugas kompetisi tersebut panjang dan sulit, dan tim menyadari bahwa baik pelatihan end-to-end VLA maupun model seperti behavior cloning tidak mampu menangani tingkat kesulitan tugas itu sendiri. Kegagalan ini justru membantu tim memahami masalah sejati yang ada.
02 Bagaimana otak pengaturan memutuskan siapa yang akan bermain
Gagasan inti RoboHarness adalah mengemas sistem kontrol independen seperti VLA, WAM, strategi RL, dan TAMP menjadi keterampilan agen yang dapat dijadwalkan secara terpusat, dengan Coding Agent bertanggung jawab atas keputusan tingkat tinggi.
Desain ini memiliki asumsi penting: tidak mengubah atau melatih ulang strategi dasar apa pun. Setiap strategi mempertahankan implementasi aslinya, tanpa perlu berbagi struktur model, ruang tindakan, atau data pelatihan. RoboHarness hanya menambahkan lapisan kemampuan organisasi di atasnya.
Memilih strategi yang tepat tidak semudah itu.
Bagi sebuah Coding Agent, hanya mengandalkan input gambar mentah sangat sulit untuk secara andal menentukan tugas ini harus dialokasikan kepada siapa. Karena keputusan ini menyimpan banyak pertanyaan kuantitatif yang tidak bisa dijawab oleh kemampuan pemahaman semantik model bahasa. Ia bisa memahami meletakkan cangkir di atas piring, tetapi tidak bisa menghitung tingkat kesamaan antara adegan saat ini dengan distribusi pelatihan strategi tertentu dari gambar RGB, apalagi mengevaluasi tingkat keandalan data sensor saat ini.
Untuk menyelesaikan masalah ini, sistem merancang tiga jenis keterampilan bantu yang secara khusus membantu Coding Agent dalam mengekstrak informasi yang diperlukan untuk penilaian.
Memahami Keterampilan, bertanggung jawab untuk mengubah input asli menjadi sinyal yang dapat diukur, seperti: kesamaan embedding gambar dengan data pelatihan berbagai strategi, stabilitas pose objek dalam jendela waktu, serta apakah pencahayaan dan kualitas gambar saat ini memenuhi standar. Indikator-indikator ini merupakan dasar sebenarnya untuk routing strategi. Penulis berpendapat, esensi modul ini adalah mengukur dari berbagai dimensi seberapa cocok setiap strategi untuk tugas saat ini.
Memory Skills, mengambil pengalaman eksekusi historis sebagai acuan untuk memilih strategi, serta menangani ketidaksesuaian distribusi status antar strategi melalui Memory Bridge—ini adalah desain paling inti dari sistem, yang akan dijelaskan secara terpisah di bawah ini.
Evolution Skills, memperbarui metadata dan logika orkestrasi secara berkelanjutan berdasarkan umpan balik online, sehingga sistem belajar dari setiap eksekusi, bukan memutuskan dari awal setiap kali menghadapi situasi baru.
Aliran informasi dari tiga jenis keterampilan saling berinteraksi dan bersama-sama mendukung keputusan Coding Agent. Dalam pelaksanaan nyata, mekanisme ini memiliki dua fungsi utama: pertama, dekomposisi tugas, membagi instruksi panjang menjadi sub-tugas yang sesuai untuk diterima oleh strategi yang berbeda; kedua, switching dinamis, ketika strategi saat ini mendekati batas kemampuannya, sistem akan segera beralih ke strategi yang lebih sesuai, menciptakan saling melengkapi kemampuan antar strategi.
Kertas tersebut menggunakan serangkaian eksperimen ablasi untuk menjelaskan kontribusi masing-masing lapisan: hanya dengan menggunakan model bahasa untuk membantu pi0.5 memecah tugas dan mengirimkannya kembali, tingkat keberhasilan sudah meningkat secara signifikan; dengan menambahkan beberapa strategi heterogen di atasnya, tingkat keberhasilan meningkat lebih jauh. Memecah dengan benar adalah langkah pertama, dan mengirimkan dengan tepat adalah langkah kedua; keduanya sama-sama penting dan tak bisa dipisahkan.
Tetapi masih ada masalah ketiga, yang paling sulit, dan tidak bisa diselesaikan hanya dengan memilih strategi.
03 Keputusan siapa yang menang dalam lari estafet ditentukan pada saat pergantian tongkat.
Dua strategi yang dilatih secara terpisah biasanya hidup di dunia data masing-masing. Format input mereka berbeda, dan distribusi pengalaman status robot juga berbeda. Posisi di mana operasi TAMP berhenti kemungkinan besar jatuh tepat di ruang status yang belum pernah ditangani oleh VLA dan tidak dapat diaktifkan secara stabil.
Ini adalah tantangan unik dari orkestrasi strategi hibrida.
Oleh karena itu, Memory Bridge yang bertanggung jawab atas transisi stabil antara dua strategi dianggap oleh penulis sebagai modul paling penting dalam RoboHarness. Ia mengakui bahwa jika suatu hari nanti model umum mampu mencakup seluruh ruang status secara sempurna, Memory Bridge mungkin tidak lagi diperlukan; namun dalam kondisi saat ini, setiap model sangat mudah jatuh di luar distribusi kemampuan pada momen transisi.
Pekerjaan Memory Bridge terdiri dari tiga langkah.
Cari: Berdasarkan sub-tugas berikutnya dan pengamatan saat ini, temukan Top-K jejak serupa yang pernah berhasil dieksekusi oleh strategi target dari memori multimodal berdasarkan kesamaan teks dan visual, lalu ekstrak posisi end-effector, sudut sendi, dan status robot lainnya.
Modeling: Memberikan sinyal pengawasan berdasarkan kemajuan relatif setiap status dalam trajektori, serta melakukan fitting real-time melalui regresi online untuk menentukan rentang status dari strategi target yang "secara alami mengambil alih".
Jembatan: Mengambil sampel dan menilai keadaan kandidat dengan mempertimbangkan tingkat kepercayaan memasuki zona nyaman strategi tujuan dan biaya gerak, memilih target jembatan paling tepat, lalu menghasilkan trajektori transisi; setelah robot mencapai keadaan ini, kendali diserahkan ke strategi berikutnya.
Mekanisme ini sepenuhnya bergantung pada pembelajaran daring dari data eksekusi historis, kompatibel secara plug-and-play dengan strategi apa pun, tanpa perlu mengubah implementasi dasar atau pelatihan kolaboratif.
Dalam eksperimen ablasi, ketika Memory Bridge dihapus, kemajuan tugas tidak menurun terlalu signifikan, menunjukkan bahwa pemilihan strategi masih pada dasarnya benar, namun tingkat keberhasilan penuh turun drastis dari 86,0% menjadi 60,4%. Banyak tugas mencapai langkah terakhir tetapi gagal karena ketidakcocokan status serah terima, yang membuktikan nilai dari Memory Bridge.
04 Dua garis teknis, sebuah aliran yang terjadi diam-diam
Dengan memperluas pandangan dari makalah ini, kami lebih ingin menggambarkan peta besar teknologi tubuh.
Pengembang RoboHarness mencatat bahwa dalam konteks perkembangan pesat VLA selama tiga tahun terakhir, TAMP tradisional dan perencanaan berlapis sempat kehilangan perhatian komunitas karena kemampuan generalisasi mereka dalam skenario terbuka jauh lebih lemah dibandingkan VLA end-to-end. Namun, seiring kemajuan pesat dalam sistem agen dan agen pemrograman tahun ini, arsitektur berlapis kembali memperoleh kehidupan baru: agen tingkat tinggi dapat memanfaatkan keterampilan yang dapat dikombinasikan untuk memecah tugas, memanggil alat, dan merencanakan secara dinamis, sehingga secara signifikan meningkatkan kemampuan generalisasi dan adaptabilitas metode berlapis tradisional. Akibatnya, komunitas akademik kembali tertarik dan mulai mengeksplorasi cara menggabungkan penalaran tingkat tinggi yang kuat secara generalisasi dengan strategi bawah yang heterogen.
Penulis artikel ini berasal dari berbagai universitas dan lembaga penelitian di timur Kanada. Penulis mengamati bahwa penelitian robotika di Amerika Utara telah lama mengikuti dua jalur teknis dengan akar akademis yang jelas: Pantai Barat Amerika, yang diwakili oleh Stanford, Berkeley, dan lainnya, lebih menekankan learning dan scaling, dengan fokus pada pembelajaran end-to-end, skala data, dan generalisasi model; sementara wilayah timur laut Amerika dan Kanada, yang diwakili oleh MIT, Universitas Toronto, MILA, dan lainnya, secara konsisten lebih mengutamakan arsitektur hierarkis, penalaran simbolik, perencanaan logis, dan keputusan terstruktur.
Pencipta RoboHarness berada pada perpanjangan dari spektrum yang terakhir.
Perbedaan jalur teknis telah meninggalkan jejak jelas di industri kecerdasan tubuh. Dalam beberapa tahun terakhir, tim-tim yang berkembang pesat secara bertahap membentuk spektrum teknis dari scaling model fondasi hingga hierarki agen: satu kelompok lebih menekankan model fondasi tubuh umum, VLA, dan world model, terus memperluas batas generalisasi melalui peningkatan model seragam, skala data, dan kemampuan model; sementara kelompok lain lebih menekankan keterampilan operasional yang dapat digunakan kembali dan arsitektur berlapis, menyelesaikan tugas kompleks melalui perencanaan tugas, kombinasi keterampilan, serta koordinasi kontrol tingkat bawah. Tim-tim di Tiongkok, seperti Baidu AI Studio, cenderung mendekati kelompok pertama, sementara Suduo Technology dan Magic Atom lebih menonjolkan kelompok kedua; di luar negeri, seri pi dari Physical Intelligence secara konsisten mewakili jalur scaling, sementara Gemini Robotics melanjutkan tradisi berlapis “penalaran dan perencanaan tingkat tinggi + eksekusi keterampilan tingkat bawah”.
Yang menarik, divergensi dalam silsilah teknologi ini bukanlah对立 statis, melainkan berkembang secara dinamis menjadi saling melengkapi. Dalam beberapa bulan terakhir, dua jalur teknologi ini mulai menunjukkan fenomena konvergensi yang jelas. Misalnya, Physical Intelligence dalam pi0.7 meningkatkan kontrol dan kombinasi keterampilan ke posisi yang lebih sentral; sementara itu, tim seperti NVIDIA juga terus meluncurkan sistem robot agentic yang lebih berhirarki, menggabungkan kemampuan pemahaman dan penalaran model dasar dengan VLA. Secara keseluruhan, scaling model fondasi dan hirarki agentic sedang bertransformasi dari dua jalur teknologi yang relatif terpisah menjadi kemampuan saling melengkapi dalam satu sistem robot yang sama.
05 Dengan orkestrasi sebagai jalan menuju kecerdasan yang lebih umum
RoboHarness memiliki batasan yang jelas: ia hanya dapat menjadwalkan strategi yang sudah ada, dan tidak dapat menyelesaikan hal-hal yang tidak bisa dilakukan oleh semua strategi. Keandalan Memory Bridge bergantung pada data eksekusi historis yang cukup; penilaian kemampuan strategi baru yang baru terhubung pada tahap awal akan memiliki ketidakpastian yang besar.
Argumen utama makalah bukanlah menyangkal kebutuhan akan model besar terpadu.
Penulis menekankan bahwa orkestrasi tugas jangka panjang bukan hanya kombinasi dari kemampuan yang ada, tetapi juga terus menghasilkan data eksekusi lintas-kemampuan dan lintas-skenario yang sulit diperoleh oleh model tunggal secara mandiri. Data semacam ini mencatat proses peralihan, transisi, pemulihan kegagalan, dan kolaborasi antar strategi, yang justru berpotensi menjadi sumber penting untuk melatih model robot generasi mendatang. Berdasarkan pemikiran ini, tim RoboHarness juga sedang mengeksplorasi penggunaan kembali data yang dihasilkan selama orkestrasi hibrida dan eksekusi untuk melatih strategi dasar, di mana pengalaman eksekusi orkestrasi heterogen semakin memperkuat peningkatan kemampuan dasar model.
Dari mencari model terkuat hingga mengorganisasi kemampuan yang paling tepat, persaingan dalam kecerdasan tubuh sedang secara diam-diam meluas ke tingkat desain sistem. Orkestrasi strategi heterogen dan model besar terpadu seperti dua perjalanan yang berjalan di punggung gunung berbeda, namun keduanya menuju tujuan yang sama: memberikan kecerdasan yang lebih umum dan andal pada robot.