Huawei Noah's Ark Lab 發布 RoboHarness 系統，透過 Coding Agent 協調 VLA、WAM、RL、TAMP 等異構策略，實現零樣本完成長時序任務。系統包含理解、記憶、進化三類技能，Memory Bridge 模組解決策略切換時的狀態分佈不匹配問題，在實驗中成功率达 86%。該工作代表具身智能從單一模型向系統化編排的演進方向。文章作者、來源：雷峰網
想像這樣一個任務：打開櫃門，找到藏在裡面的積木，然後把它們搭成一座橋。
對人類來說，這是一件很簡單的事，幾個動作自然銜接，幼兒園小朋友也能順利完成。
但對機器人來說，這個任務橫跨多種完全不同的能力：找積木，需要視覺理解和語言指令跟隨；開櫃門，需要與環境進行複雜交互；搭積木，需要幾何規劃和精準操控並推測環境變化。
更麻煩的是，這些能力分屬多個不同「門派」的模型——VLA（視覺-語言-動作模型）、WAM（世界-動作模型）、RL 策略（強化學習）、TAMP（任務與運動規劃）。它們各有所長，又彼此割裂，訓練方式不同、輸入格式不同、狀態空間也不同。
In the field of robotics today, capabilities are abundant, but collaboration is lacking.
華為諾亞方舟實驗室近期發表了一篇論文，提出了一種名為 RoboHarness 的系統，專門解決不同策略之間無法協作的問題。圍繞這項工作，論文作者與我們（雷峰網）進行了交流。
論文：https://arxiv.org/abs/2607.18060
項目主頁：https://www.robo-harness.com/
01 萬能模型的幻覺與現實的鴻溝
今年夏天，機器人研究領域密集出現了幾項圍繞 Harness 展開的工作，它們共同指向一個認知：靠更大的模型解決一切，暫時行不通，機器人需要一層執行組織系統。
清華大學於超教授團隊於 7 月發布了 Harness VLA，將數位智慧中廣泛使用的 Harness Layer 引入具身智慧，讓一個凍結的 VLA 專注於最擅長的接觸密集操控，同時透過一層 Harness 學習何時、以何種方式調用它，以及在 VLA 失敗後如何重置、如何重試。在 LIBERO-Pro 干擾評測中，這套系統將成功率從 50% 提升至 82.4%。
從思路上看，Harness VLA 解決的是模型如何在分布外擾動下保持穩定表現的問題，其核心在於單一策略的穩定性。
華為諾亞方舟實驗室的 RoboHarness 面對的是另一層問題：當任務超出任何一個模型的能力邊界時，該怎麼辦？
兩者都稱為 Harness，都使用 Coding Agent 作為組織層，但解決的是不同維度的挑戰。前者讓一位專才更穩定，後者讓一群各有所長的專才協同作戰。隨著機器人任務的複雜度不斷上升，後者這個問題正變得越來越無法迴避。
這個問題的根源，要從各路模型的能力邊界說起。
VLA 模型的優勢在於理解開放式語言指令並在新環境中泛化，但其端到端生成動作的方式在長時序任務中很難保持一致性；強化學習策略能在特定訓練場景中磨出穩定的閉環行為，但這種穩定性高度依賴訓練分佈，環境稍有變化便可能失效；TAMP 擅長符號推理和幾何約束，但需要預先定義動作原語，面對開放場景和模糊目標時規劃器很快就會吃力；WAM 能通過預測未來狀態輔助長時序決策，但容易隨預測時域增長產生誤差累積。
複雜的真實任務同時要求語義理解、幾何規劃、閉環控制、長時序推理和環境變化推測，這些能力對應的訓練目標不同，有時甚至相互衝突。從各項能力分別取得突破，到單一模型在開放環境中長期穩定兼顧所有能力，橫亙著一道至今未被真正跨越的鴻溝。
RoboHarness 的出發點正是：與其等待這道鴻溝被填平，不如先讓已經存在、各有所長的模型真正協同起來。作者認為，直到某一個模型能夠完全壓制其他所有模型、展現出絕對的統治力之前，這樣的編排架構都是非常有意義的。
這項工作並非憑空而來。作者告訴我們（雷峰網），RoboHarness 的雛形源自去年參加全球機器人挑戰賽 BEHAVIOR Challenge 的經歷。當時賽題任務冗長且困難，團隊發現無論是端到端訓練 VLA，還是使用行為克隆之類的模型，都無法覆蓋任務本身的難度。這次受挫，反而讓團隊看清了真正的问题所在。
02 調度大腦如何決定該誰上場
RoboHarness 的核心理念，是將 VLA、WAM、RL 策略、TAMP 等獨立開發的控制系統，封裝成可被統一調度的 agentic skills，並由 Coding Agent 負責高層決策。
這個設計有一個重要前提：不改變、不重訓任何底層策略。各個策略保留自己的原始實現，不需要共享模型結構、動作空間或訓練數據。RoboHarness 只是在它們之上增加了一層組織能力。
選擇正確的策略，可沒那麼容易。
對於一個 Coding Agent 而言，僅靠原始圖像輸入，很難可靠地判斷這個任務該派發給誰。因為這個決定背後藏著許多語言模型的語義理解能力無法回答的量化問題。它能理解「把杯子放到盤子上」，但無法從一張 RGB 圖像中計算出當前場景與某個策略訓練分佈的相似度，更無法評估此時感測器數據的可靠程度。
為了解決這個問題，系統設計了三類輔助技能，專門替 Coding Agent 提煉出判斷所需的資訊。
理解技能，負責將原始輸入轉化為可量化的信號，例如：圖像嵌入與各策略訓練數據的相似度、物體位姿在時間窗口內的穩定性、當前光照和圖像質量是否達標等。這些指標是策略路由的真正依據。作者認為，這個模塊的本質，就是從多維度去衡量每一個策略到底適不適合當下的任務。
Memory Skills 檢索歷史執行經驗，為選取策略提供參考，並透過 Memory Bridge 處理策略之間的狀態分佈不匹配——這是系統最核心的設計，下文將單獨展開。
Evolution Skills 利用線上反饋持續更新策略的元數據和編排邏輯，讓系統從每一次執行中學習，而不是每次面對新情況都從零判斷。
三類技能的資訊流相互互動，共同輔助 Coding Agent 做出決策。在實際執行中，這套機制主要有兩層作用：一是任務拆解，將長指令切分為適合不同策略承接的子任務；二是動態切換，當當前策略逐漸接近其能力邊界時，系統會及時切換至更合適的策略，實現不同策略之間的能力互補。
論文透過一組消融實驗說明了這兩層的各自貢獻：僅使用語言模型協助 pi0.5 拆解任務並發送給它，成功率已明顯上升；在此基礎上接入多個異構策略後，成功率進一步大幅提升。拆得對是第一步，派得準是第二步，兩者缺一不可。
但還有一個第三個問題，也是最難的一個，單靠選擇策略無法解決。
03 決定接力賽勝負的，是交接的瞬間
兩個獨立訓練的策略，通常生活在各自的數據世界中。它們的輸入格式不同，對機器人狀態的經驗分佈也不同。TAMP 操作完畢停下的位置，很可能恰好落在 VLA 從未處理過、無法穩定啟動的狀態空間裡。
這是異構策略編排獨有的難題。
因此，負責讓兩個策略穩定交接的 Memory Bridge 被作者列為 RoboHarness 裡第一重要的模組。他坦承，如果未來某個通用模型能完美覆蓋全部狀態空間，Memory Bridge 或許就非必需；但在現狀下，任何模型都很容易在交接瞬間落進能力分佈之外。
Memory Bridge 的工作分為三步。
檢索：根據下一子任務和當前觀測，透過文本與視覺相似度，從多模態記憶庫中找出目標策略曾成功執行的 Top-K 條相似軌跡，提取末端執行器位姿、關節角度等機器人狀態。
建模：根據各狀態在軌跡中的相對進程賦予監督信號，透過線上迴歸實時擬合目標策略「習慣接手」的狀態範圍。
橋接：採樣並評分候選狀態，綜合考慮進入目標策略舒適區的置信度和運動代價，選出最合適的橋接目標，生成過渡軌跡；機器人抵達此狀態後，再將控制權交給下一個策略。
這套機制完全依賴歷史執行數據進行在線學習，適用於任何策略，即插即用，無需修改底層實現，也無需聯合訓練。
在消融實驗中，移除 Memory Bridge 後，任務進度下降幅度不大，說明策略選擇仍基本正確，但完整成功率從 86.0% 驟降至 60.4%。大量任務走到最後一步，因交接狀態不兼容而功敗垂成，從側面證明了 Memory Bridge 的價值。
04 兩條技術譜系，一場悄悄發生的匯流
將視野從這篇論文拉開，我們更想描繪一幅更宏大的具身技術圖景。
RoboHarness 的作者觀察到，在過去三年 VLA 快速發展的背景下，傳統 TAMP 與分層規劃由於在開放場景中的泛化能力明顯弱於端到端 VLA，一度淡出社區關注。然而，隨著今年 agentic systems 和 coding agents 的快速進展，分層架構重新獲得了新的生命力：高層 agent 可以借助可組合的 skills 進行任務拆解、工具調用與動態規劃，從而顯著增強傳統層級方法的泛化能力與適應性。由此，學術社區正重新關注，並開始探索如何將強泛化的高層推理與異構底層策略相結合。
本文作者來自加拿大東部多所高校及研究機構。筆者觀察到，北美機器人研究長期存在兩條具有明顯學術淵源的技術路線：美國西海岸，以 Stanford、Berkeley 等為代表，更強調 learning 與 scaling，關注端到端學習、數據規模和模型泛化；而美國東北部及加拿大，以 MIT、多倫多大學、MILA 等為代表，則長期更重視分層架構、符號推理、邏輯規劃和結構化決策。
RoboHarness 的作者們，正處於後者這條譜系的延伸之上。
技術路線的分化，在具身智能工業界同樣留下了清晰印記。近年來快速發展的團隊逐漸形成了從 foundation model scaling 到 agentic hierarchy 的技術譜系：一類更強調通用具身基礎模型、VLA 與 world model，透過統一模型、資料規模與模型能力的提升不斷拓展泛化邊界；另一類則更強調可重用操作技能與分層架構，透過任務規劃、技能組合和底層控制協同完成複雜任務。國內以智源為代表的團隊更接近前者，而蘇度科技、魔法原子等則更突出後者；在海外，Physical Intelligence 的 pi 系列長期代表了 scaling 路線，而 Gemini Robotics，則延續了「高層推理與規劃 + 底層技能執行」的分層傳統。
有趣的是，這種技術譜系的分化並非靜態對立，而是在不斷演化的過程中形成互補。近幾個月，兩條技術路線開始出現明顯的匯流現象。例如，Physical Intelligence 在 pi0.7 中將可控性與技能組合提升至更核心的位置；與此同時，NVIDIA 等團隊也持續推出更具層級特徵的 robot agentic systems，將基礎模型的理解與推理能力與 VLA 相結合。整體來看，foundation model scaling 與 agentic hierarchy 正從兩條相對獨立的技術路徑，逐漸演化為同一套機器人系統中的互補能力。
05 以編排為徑，走向更通用的智能
RoboHarness 本身有明確的局限：它能調度的是已有策略，無法解決所有策略都做不到的事。Memory Bridge 的可靠性依賴足夠的歷史執行數據，新接入的策略在早期階段的能力評估會有較大的不確定性。
論文的核心論點並非否定統一大模型的必要性。
作者強調，長時序任務的編排不僅是對現有能力的組合，本身也會持續產生單一模型難以獨立獲得的跨能力、跨場景執行數據。這類數據記錄了不同策略之間的切換、銜接、失敗恢復與協同過程，恰恰可能成為訓練下一代通用機器人模型的重要來源。基於這一思路，RoboHarness 團隊也正在探索將混合策略編排與執行過程中產生的數據重新用於底層策略訓練，異構編排的執行經驗進一步反哺模型基礎能力的提升。
從尋找最強模型到組織最合適的能力，具身智能的競爭，正在悄悄延伸到系統層面的設計。異構策略編排與統一大模型，像是沿著兩條不同山脊展開的跋涉，最終都指向同一個遠方：讓機器人擁有更通用、更可靠的智能。