Ipinahayag ng Huawei Noah's Ark Lab ang RoboHarness system, na gumagamit ng Coding Agent upang mag-coordinate sa mga heterogenous na estratehiya tulad ng VLA, WAM, RL, at TAMP upang makamit ang pagkumpleto ng mahabang sequence ng mga gawain nang walang sample. Ang system ay naglalaman ng tatlong uri ng kasanayan: pag-unawa, memorya, at pag-unlad; ang Memory Bridge module ay naglutas ng problema sa mismatch ng state distribution habang nagpapalit ng estratehiya, at nakamit ang 86% na tagumpay sa mga eksperimento. Ang trabahong ito ay nagpapakita ng pag-unlad ng embodied intelligence mula sa isang solong model patungo sa sistematisadong pag-ayos.May-akda ng artikulo, pinagkukunan: Leifengwang
Isipin ang ganitong gawain: buksan ang pinto ng kabinet, hanapin ang mga bloke na nakatago sa loob, at pagkatapos ay itayo ang mga ito bilang isong tulay.
Para sa mga tao, simpleng simpleng bagay ito, ilang galaw ay natural na nag-uugnay, kaya kahit ang mga bata sa kindergarten ay makakapagtapos nito.
Ngunit para sa isang robot, ang gawain na ito ay sumasaklaw sa maraming magkakaibang kakayahan: ang paghahanap ng mga bloke, kailangan ng pag-unawa sa biswal at pagsunod sa mga utos sa wika; ang pagbukas ng pinto ng kabinet, kailangan ng komplikadong interaksyon sa kapaligiran; ang pagpapatayo ng mga bloke, kailangan ng heometrikong plano at masinsinang kontrol at paghuhula sa pagbabago ng kapaligiran.
Mas kumplikado pa, ang mga kakayahan na ito ay nanggagaling sa iba’t ibang “pangkat” ng mga modelo—VLA (Visual-Language-Action Models), WAM (World-Action Models), RL Policies (Reinforcement Learning), at TAMP (Task and Motion Planning). May sariling kalakasan bawat isa, ngunit hiwalay sila isa’t isa, may iba’t ibang paraan ng pagtuturo, iba’t ibang format ng input, at iba’t ibang state space.
Ngayon sa larangan ng robotics, ang kakayahan ay hindi kulang, ngunit kulang ang pakikipag-ugnayan.
Ipinahayag ng Huawei Noah's Ark Lab ang isang papel na naglalayong lutasin ang problema ng pagkakawala ng kooperasyon sa pagitan ng iba’t ibang estratehiya, na tinatawag na RoboHarness. Tungkol sa gawaing ito, ang mga may-akda ng papel ay nagsalita sa amin (LeiFeng.com).
Papel: https://arxiv.org/abs/2607.18060
Pahina ng proyekto: https://www.robo-harness.com/
01 Ang pagkakamali at katotohanan ng unibersal na modelo
Sa tag-init ng taong ito, may ilang malalaking pag-aaral tungkol sa Harness na lumabas sa larangan ng robotik, at lahat ay nagtatapos sa isang pag-unawa: ang paggamit ng mas malalaking modelo upang lutasin ang lahat ay hindi pa nagkakaroon ng epekto sa kasalukuyan; kailangan ng robot isang sistema ng pagpapatakbo.
Ang koponan ni Prof. Yu Chao mula sa Tsinghua University ay naglabas ng Harness VLA noong Hulyo, na nagdadala ng Harness Layer, na karaniwang ginagamit sa digital intelligence, sa embodied intelligence upang pagsilbihan ang isang frozen VLA na nakatuon sa pinakamalakas na contact-intensive manipulation, habang gumagamit ng isang Harness layer upang matutunan kung kailan at paano i-trigger ito, at kung paano i-reset at i-repeat pagkatapos ng pagkabigo ng VLA. Sa LIBERO-Pro perturbation evaluation, inahon ng sistema na ito ang tagumpay na rate mula sa 50% patungo sa 82.4%.
Sa pananaw, tinutugon ng Harness VLA kung paano magiging stable ang isang modelo sa ilalim ng out-of-distribution disturbances. Ang problema nito ay ang stability ng iisang estratehiya.
Ang RoboHarness mula sa Huawei Noah's Ark Lab ay nakaharap sa isang iba pang antas ng problema: Ano ang gagawin kapag ang task ay lumalampas sa anumang kapasidad ng model?
parehong tawagin Harness, parehong gumagamit ng Coding Agent bilang organizational layer, ngunit tinutugon ang iba’t ibang dimensyon ng mga hamon. Ang unang isa ay nagpapalakas ng isang espesyalista, habang ang pangalawa ay nagpapahintulot sa isang grupo ng mga espesyalista na may iba’t ibang kakayahan na magtrabaho nang sama-sama. Habang lumalala ang kumplikadong kalikasan ng mga gawain ng robot, ang pangalawang problema ay nagsisiguro na higit na hindi maiiwasan.
Ang ugat ng tanong na ito ay mula sa mga hangganan ng kakayahan ng iba’t ibang modelo.
Ang mga kahusayan ng VLA model ay ang pag-unawa sa mga open-ended language instructions at ang pag-generalize sa mga bagong kaligiran, ngunit ang paraan nito sa end-to-end generation ng mga aksyon ay mahirap panatilihin ang konsistensya sa mahabang panahon na mga gawain; ang mga patakaran sa reinforcement learning ay makakapagpaunlad ng matatag na closed-loop behavior sa mga partikular na training scenario, ngunit ang katatagan na ito ay mataas na nakadepende sa training distribution, at maaaring mabigo kung may kaunting pagbabago sa kaligiran; ang TAMP ay nakakapag-eksperto sa symbolic reasoning at geometric constraints, ngunit nangangailangan ng mga predefined action primitives, at mabilis na makakaranas ng hirap kapag nakakatok sa open-ended scenarios at ambigong layunin; ang WAM ay makakatulong sa paggawa ng desisyon sa mahabang panahon sa pamamagitan ng paghuhula ng mga hinaharap na estado, ngunit madaling magkakaroon ng akumulasyon ng error habang tumutumbok ang panahon ng paghuhula.
Ang mga komplikadong totoong gawain ay nangangailangan ng pag-unawa sa kahulugan, pagpaplano sa heometriya, pagsasagawa ng sariling kontrol, pag-iisip sa mahabang panahon, at paghula sa pagbabago ng kapaligiran—ang mga kakayahang ito ay may iba’t ibang layunin sa pagtuturo, at minsan ay magkakasalungat. Ang pagkakaroon ng pagbabago sa bawat kakayahan patungo sa isang magkakaparehong modelo na nakakapagpapanatili nang matatag ang lahat ng mga kakayahang ito sa isang bukas na kapaligiran ay isang malaking pagkakaiba na hindi pa talaga nalalampasan.
Ang pangunahang layunin ng RoboHarness ay: sa halip na maghintay na mabuo ang pagkakaiba, mas mabuting pagsamahin nang talagang epektibo ang mga modelo na nasa ilalim na may sariling mga kalakasan. Naniniwala ang may-akda na hanggang sa isang modelo ay makapagpapalabas ng ganap na dominasyon sa lahat ng iba pang mga modelo, ang ganitong uri ng pagkakaayos ay lubos na may kahalagahan.
Hindi ito galing sa wala. Sinabi ng may-akda (Lei Feng Net) na ang unang bersyon ng RoboHarness ay nabuo noong nakilahok sila sa Global Robotics Challenge na BEHAVIOR Challenge noong nakaraan. Ang mga gawain sa paligsahan ay mahaba at mahirap, at natuklasan ng koponan na hindi kayang sakop ng end-to-end training ng VLA o ng mga modelo tulad ng behavior cloning ang kalalabasan ng gawain. Ang pagkabigo na ito ay nagbigay sa kanila ng malinaw na pag-unawa sa totoong problema.
02 Paano desisyon ng utak kung sino ang magsisimula
Ang pangunahang ideya ng RoboHarness ay ang pagsasama ng mga hiwalay na sistemang kontrol tulad ng VLA, WAM, RL strategies, at TAMP bilang mga agentic skill na maaaring i-schedule nang isang pagkakaisa, na pinamamahalaan ng Coding Agent para sa mataas na antas ng desisyon.
May mahalagang priyoridad sa disenyo na ito: hindi pagbabago o pag-retrain ng anumang ilalim na estratehiya. Ang bawat estratehiya ay nananatiling may sariling orihinal na implementasyon, at hindi kailangang magbahagi ng model structure, action space, o training data. Ang RoboHarness ay nagdaragdag lamang ng isang antas ng organisasyon sa itaas nito.
Hindi madali pumili ng tamang estratehiya.
Para sa isang Coding Agent, mahirap na lamang gamitin ang orihinal na input ng imahe upang maaasahang matukoy kung sino ang dapat bigyan ng gawain. Dahil ang desisyon na ito ay naglalaman ng maraming kuantitatibong tanong na hindi masasagot ng semantic understanding ng language model. Kaya niyang maintindihan ang pagpaputol ng baso sa plato, ngunit hindi niya maaaring kalkulahin ang pagkakatulad ng kasalukuyang scene sa isang partikular na distribusyon ng pagsasanay mula sa isang RGB imahe, at mas hindi niya maaaring masukat ang kapanipaniwalaan ng sensor data sa kasalukuyan.
Upang lutasin ang problemang ito, isinagawa ng sistema ang tatlong uri ng mga tumutulong na kasanayan na espesyalisado sa paghihiwalay ng impormasyon na kailangan ng Coding Agent para sa pagpapasya.
Pag-unawa sa Mga Kasanayan, responsable sa pagpapalit ng orihinal na input sa mga makukuantipikadong signal, tulad ng pagkakasimilar ng image embedding sa mga data ng pagtuturo ng bawat estratehiya, ang katatagan ng posisyon ng bagay sa loob ng time window, at kung ang kasalukuyang ilaw at kalidad ng imahe ay sapat na. Ang mga indikador na ito ang totoong batayan para sa pagrute ng estratehiya. Naniniwala ang may-akda na ang kaluluwa ng module na ito ay ang pagsukat sa maraming dimensyon kung gaano kasangkop ang bawat estratehiya sa kasalukuyang gawain.
Memory Skills, ayon sa nakaraang karanasan sa pagpapatupad, upang magbigay ng referensya para sa pagpili ng estratehiya, at gamitin ang Memory Bridge upang tratuhin ang hindi pagkakatugma sa distribusyon ng estado sa pagitan ng mga estratehiya—ito ang pinakamahalagang disenyo ng sistema, na iikli sa ibaba.
Evolution Skills, gumagamit ng online feedback upang patuloy na i-update ang metadata at orchestration logic ng strategy, upang matuto ang sistema mula sa bawat pagpapatupad, hindi nang magsimula muli mula sa sero bawat beses na makakaroon ng bagong sitwasyon.
Ang mga impormasyon ng tatlong uri ng kasanayan ay nag-iinteraksyon sa isa't isa at nagtutulungan sa paggawa ng desisyon ng Coding Agent. Sa praktikal na pagsasagawa, may dalawang pangunahing papel ang mekanismong ito: una, ang paghihiwalay ng gawain, kung saan ang mahabang utos ay hinahati sa mga sub-task na angkop para sa iba't ibang estratehiya; at pangalawa, ang dinamikong pagpapalit, kung saan kapag umabot na ang kasalukuyang estratehiya sa hangganan ng kanyang kakayahan, ang sistema ay agad na magpapalit sa mas angkop na estratehiya upang makamit ang komplementong kakayahan ng iba't ibang estratehiya.
Ang papel ay nagpapakita ng kontribusyon ng bawat dalawang layer gamit ang isang set ng ablation experiments: ang paggamit lamang ng language model upang hatiin ang task at ibigay ito sa pi0.5 ay nagsanhi ng malinaw na pagtaas sa success rate; sa pamamagitan ng pagdodugtong ng maraming heterogenous strategies, lalong tumaas ang success rate. Ang tamang paghahati ay ang unang hakbang, at ang tamang pagpapadala ay ang pangalawang hakbang—kailangan ng pareho.
Ngunit mayroon pang ikatlong tanong, na ang pinakamahirap, at hindi matutugunan lamang sa pamamagitan ng pagpili ng estratehiya.
Ang pagkakasundo sa pagitan ng mga tagapagdala ang desisyon sa pagkapanalo ng relay race.
Dalawang hiwalay na natutunang estratehiya, karaniwang nabubuhay sa kanilang sariling daigdig ng datos. Magkaibang ang kanilang input format at sa kanilang karanasan sa distribusyon ng estado ng robot. Ang posisyon kung saan tumigil ang TAMP pagkatapos ng operasyon, malamang na tumutugma sa isang estado ng espasyo na hindi pa kailanman naproseso ng VLA at kaya't hindi maaaring magsimula nang maayos.
Ito ay isang natatanging hamon ng heterogenous strategy orchestration.
Kaya ang Memory Bridge, na responsable sa malinis na pagpapalitan ng dalawang estratehiya, ay itinuturing ng may-akda bilang ang pinakamahalagang module sa RoboHarness. Tinanggap niya na kung isang pangkalahatang modelo ay makakapag-cover ng buong state space sa hinaharap, maaaring hindi na kailangan ang Memory Bridge; ngunit sa kasalukuyang kalagayan, madaling mababa ang anumang modelo sa paligid ng pagpapalitan.
Ang trabaho ng Memory Bridge ay may tatlong hakbang.
Hanapin: Batay sa sumusunod na subtask at kasalukuyang obserbasyon, gamit ang teksto at visual na pagkakapareho, hanapin ang Top-K na katulad na trahektorya kung saan matagumpay na isinagawa ang target na estratehiya sa multi-modal memory, at kuhanin ang posisyon ng end-effector, mga anggulo ng joint, at iba pang robot state.
Modeling: Ibinibigay ang supervision signal batay sa relatibong progreso ng bawat estado sa trahektorya, at ginagamit ang online regression upang makapag-fit nang real-time sa saklaw ng estado ng target na patakaran na “kumukuha ng kontrol”.
Pagpapalipat: Pagsasample at pagmamarka ng mga kandidatong estado, na kumikilala sa antas ng tiwala sa pagpasok sa komportableng zona ng target na estratehiya at sa gastos ng galaw, upang piliin ang pinakamabisang layunin ng pagpapalipat at lumikha ng trahektorya ng transisyon; pagkatapos makarating ang robot sa estado na ito, ipapasa ang kontrol sa susunod na estratehiya.
Ang mekanismo na ito ay ganap na nakasalalay sa online na pag-aaral mula sa historical execution data, at maaaring gamitin agad sa anumang estratehiya nang walang pagbabago sa pagsasagawa ng base, at walang pangangailangan sa joint training.
Sa mga eksperimento sa ablation, ang pag-alis ng Memory Bridge ay nagdulot ng maliit na pagbaba sa progreso ng task, na nagpapakita na ang pagpili ng estratehiya ay patuloy na tama, ngunit ang buong tagumpay ay bumagsak mula sa 86.0% patungo sa 60.4%. Maraming task ang nakarating sa huling hakbang ngunit nabigo dahil sa inkompatibleng estado ng pagpapasa, na nagpapatotoo sa halaga ng Memory Bridge.
04 Dalawang teknikal na tradisyon, isang tahimik na pagkakasundo
Lumawak ang iyong pananaw mula sa papel na ito, gusto naming masuri ang mas malaking larawan ng embodied technology.
Ang may-akda ng RoboHarness ay napanood na sa ilalim ng mabilis na pag-unlad ng VLA sa nakaraang tatlong taon, ang tradisyonal na TAMP at hierarchical planning ay nawala sa pansin ng komunidad dahil sa kanilang mas mahinang generalization sa open-ended scenarios kumpara sa end-to-end VLA. Gayunpaman, kasunod ng mabilis na pag-unlad ng agentic systems at coding agents sa taong ito, ang hierarchical architecture ay bumalik sa kanyang buhay: ang mataas na antas na agent ay maaaring gamitin ang mga komposableng skills para sa paghihiwalay ng mga gawain, pagtawag sa mga kasangkapan, at dinamikong pagpaplano, na nagpapalakas nang malaki ang generalization at adaptability ng tradisyonal na hierarchical approach. Bilang resulta, ang akademikong komunidad ay bumabalik sa pansin at nagsisimulang pag-aralan kung paano i-combine ang malakas na generalization ng mataas na antas na pag-iisip at mga heterogenous na mababang estratehiya.
Ang may-akda ng artikulong ito ay mula sa mga iba’t ibang unibersidad at institusyon ng pananaliksik sa silangan ng Canada. Nakatutok ang may-akda sa dalawang malinaw na akademikong landas sa pag-aaral ng robotika sa North America: ang Kanlurang Coast ng Estados Unidos, na kinakatawan ng Stanford, Berkeley, at iba pa, na mas nagtataglay ng pagkakaroon ng pagkatuto at pagpapalawak, na nagtatarget sa end-to-end learning, sukat ng data, at pagpapalawak ng modelo; samantalang ang Hilagang-silangan ng Estados Unidos at Canada, na kinakatawan ng MIT, University of Toronto, MILA, at iba pa, ay mahabang panahon ay nagbibigay-diin sa hierarchical architecture, symbolic reasoning, logical planning, at structured decision-making.
Ang mga tagapaglikha ng RoboHarness ay nasa pagpapalawak ng huling uri na ito.
Ang pagkakahati ng teknikal na landas ay nag-iwan ng malinaw na印记 sa industriya ng embodied intelligence. Sa mga nakaraang taon, ang mabilis na pag-unlad ng mga koponan ay nagbuo ng isang teknikal na spektrum mula sa foundation model scaling papunta sa agentic hierarchy: ang isang uri ay mas nagbibigay-diin sa pangkalahatang embodied foundation models, VLA, at world model, at patuloy na pinalalawak ang hangganan ng generalization sa pamamagitan ng pagpapalaki ng isang magkakaugnay na modelo, dami ng data, at kakayahan ng modelo; habang ang isa pang uri ay mas nagbibigay-diin sa muling gamitin ang mga operasyonal na kasanayan at hierarchical architecture, at nakakatapos ng mga kumplikadong gawain sa pamamagitan ng pagpaplano ng task, pagsasama-sama ng kasanayan, at koordinasyon ng pang-ilalim na kontrol. Sa bansa, ang mga koponan tulad ng Zhiyuan ay mas malapit sa unang uri, habang ang Suduo Technology at Magic Atom ay mas nagpapakita ng ikalawang uri; sa panlabas, ang Physical Intelligence’s pi series ay matagal nang kumakatawan sa landas ng scaling, habang ang Gemini Robotics ay patuloy na sumusunod sa tradisyonal na hierarchical na “malalaking pag-iisip at pagpaplano + pang-ilalim na pagpapatupad ng kasanayan”.
Kakaibang bagay ay ang pagkakahati-hati ng teknikal na pamana ay hindi isang statikong pagkakaibang, kundi isang patuloy na pag-unlad na nagbuo ng komplemento. Sa mga nakaraang ilang buwan, ang dalawang teknikal na landas ay nagsimulang magkakasama. Halimbawa, ang Physical Intelligence ay inaayos ang kontrol at pagkakasundo ng kasanayan bilang mas sentral sa pi0.7; samantala, ang mga grupo tulad ng NVIDIA ay patuloy na naglalabas ng mas may-hierarkiyang robot agentic systems na nag-uugnay sa pag-unawa at pag-iisip ng base model kasama ang VLA. Sa kabuuan, ang foundation model scaling at agentic hierarchy ay nagsisilbing dalawang relatif na hiwalay na teknikal na landas na unti-unting nagiging komplementong kakayahan sa isang parehong robot system.
05 Sa pamamagitan ng pag-ayos, patungo sa mas pangkalahatang智能化
May malinaw na limitasyon ang RoboHarness: ang maaaring iskedyul nito ay ang mga umiiral na estratehiya, at hindi ito makakasolusyon sa lahat ng bagay na hindi kayang gawin ng anumang estratehiya. Ang kumpiyansa ng Memory Bridge ay nakadepende sa sapat na datos ng nakaraang pagpapatupad; ang kakayahan ng mga bago pang maiuugnay na estratehiya ay may malaking kawalan ng katiyakan sa mga maagang yugto.
Hindi ang pangunahing argument ng papel ang pagtutol sa kahalagahan ng isang malaking modelo.
Teko ng may-akda na ang pag-organisa ng mga mahabang panahon na gawain ay hindi lamang isang pagsasama ng umiiral na kakayahan, kundi pati na rin ang patuloy na pagbuo ng mga data sa pagpapatupad na may kinalaman sa iba’t ibang kakayahan at senaryo na mahirap makamit ng isang mag-isa na modelo. Ang mga data na ito ay nag-uugnay sa mga paglipat, pag-uugnay, pagbabalik sa pagkabigo, at mga proseso ng pakikipagtulungan sa pagitan ng iba’t ibang istruktura, at maaaring maging mahalagang pinagmulan para sa pagtuturo ng susunod na henerasyon ng mga pangkalahatang robot model. Batay sa ideyang ito, ang koponan ng RoboHarness ay kasalukuyang nag-aaral kung paano gamitin muli ang mga data na ginawa sa paghahalo at pagpapatupad ng mga istruktura para sa pagtuturo ng mga pababa na istruktura, kung saan ang mga karanasan sa heterogenous na pag-organisa ay nagpapalalim pa sa pangunahing kakayahan ng modelo.
Mula sa paghahanap ng pinakamalakas na modelo hanggang sa pag-organisa ng pinakamahusay na kakayahan, ang kompetisyon sa embodied intelligence ay patuloy na lumalawak patungo sa disenyo ng sistema. Ang heterogenous strategy orchestration at unified large model ay parang dalawang iba’t ibang ridgeline na pinagsisikapang sakayan, at ang lahat ay nagtatapos sa iisang layunin: pagbibigay ng mas pangkalahatang at mas maaasahang inteligensya sa mga robot.