華為ノア方舟ラボがRoboHarnessシステムを発表。Coding AgentがVLA、WAM、RL、TAMPなどの異種戦略を調整し、ゼロショットで長時間系列タスクを実行可能に。システムは理解、記憶、進化の3つのスキルを備え、Memory Bridgeモジュールが戦略切り替え時の状態分布不一致を解決。実験では86%の成功率を達成。この研究は、エムボディードAIが単一モデルからシステム化された編成へと進化する方向性を示している。記事作成者、出典：雷峰網
柜のドアを開け、中に隠されたブロックを見つけ、それらを橋に組み立てるというタスクを想像してみてください。
人間にとっては非常に簡単なことで、いくつかの動作が自然に連携し、幼稚園の子供でも簡単に完了できます。
しかし、ロボットにとってこのタスクは、まったく異なる複数の能力を横断するものである：ブロックを見つけるには視覚的理解と言語指示の追従が必要であり、キャビネットのドアを開けるには環境との複雑な相互作用が必要であり、ブロックを積み上げるには幾何学的計画と精密な操作、そして環境の変化を予測する能力が必要である。
さらに厄介なことに、これらの能力は複数の異なる「流派」のモデルに分かれている——VLA（視覚-言語-行動モデル）、WAM（世界-行動モデル）、RL方策（強化学習）、TAMP（タスク・運動計画）。それぞれが長所を持ちながらも互いに分断されており、訓練方法、入力形式、状態空間がすべて異なる。
今日のロボット分野では、能力は不足していないが、協力が欠けている。
華為ノア方舟ラボは最近、異なる戦略間の協力問題を解決することを目的としたRoboHarnessというシステムを提案する論文を発表しました。この研究について、論文の著者たちは当社（雷峰網）と対話しました。
論文：https://arxiv.org/abs/2607.18060
プロジェクトページ：https://www.robo-harness.com/
01 万能モデルの幻覚と現実の溝
今年の夏、ロボット研究分野では、Harness を中心とした複数の研究が相次ぎ、大きなモデルだけですべてを解決することは現在のところ不可能であり、ロボットには実行組織システムが必要であるという認識が共有された。
清华大学于超教授チームは7月、Harness VLAを発表し、デジタルインテリジェンスで広く使用されているHarness Layerをエムボディードインテリジェンスに導入しました。これにより、凍結されたVLAは最も得意な接触密集型操作に集中し、Harness層がいつ、どのようにVLAを呼び出し、VLAが失敗した後にリセットし、再試行するかを学習します。LIBERO-Proの擾乱評価において、このシステムは成功率を50％から82.4％まで向上させました。
考え方として、Harness VLAは、モデルが分布外の擾動下で安定して機能する方法を解決します。その課題は、単一の戦略の安定性です。
華為ノア方舟ラボのRoboHarnessは、別のレベルの問題に直面している：タスクがどのモデルの能力範囲を超えてしまった場合、どう対処するか？
どちらもHarnessと呼ばれ、組織層としてCoding Agentを使用しているが、解決する課題の次元は異なる。前者は専門家の安定性を高め、後者はそれぞれ異なる強みを持つ専門家たちが協力して作業できるようにする。ロボットのタスクの複雑さが高まるにつれ、後者の課題はますます避けて通れなくなっている。
この問題の根源は、さまざまなモデルの能力限界にあります。
VLAモデルの利点は、オープンな言語指示を理解し、新しい環境で汎化できることだが、エンドツーエンドで行動を生成する方式は、長時間のタスクにおいて一貫性を保つのが難しい。強化学習戦略は、特定の訓練シナリオ内で安定したフィードバックループ行動を習得できるが、その安定性は訓練分布に強く依存しており、環境がわずかに変化すると機能しなくなる可能性がある。TAMPはシンボリック推論と幾何学的制約に優れているが、事前に行動原語を定義する必要があり、オープンなシーンや曖昧な目標に対してはプランナーがすぐに限界に達する。WAMは未来の状態を予測することで長時間の意思決定を支援できるが、予測期間が長くなるほど誤差が蓄積しやすくなる。
複雑な現実タスクは、意味理解、幾何学的計画、フィードバック制御、長期時系列推論、環境変化の予測を同時に要求し、これらの能力に対応する訓練目標は異なり、時には互いに矛盾する。各能力を個別に突破することから、単一のモデルがオープン環境で長期的に安定してすべての能力を兼ね備えることまでの間には、いまだに真正に超えられていない深い溝が存在する。
RoboHarnessの出発点は、この溝が埋まるのを待つのではなく、すでに存在し、それぞれ長所を持つモデルを真正に協働させることである。著者は、ある1つのモデルが他のすべてのモデルを完全に圧倒し、絶対的な支配力を示すまで、このような編成アーキテクチャは非常に意味があると考えている。
この仕事は空から降ってきたものではない。作者は（雷峰網を通じて）語っているが、RoboHarnessの原型は、昨年開催されたグローバルロボットチャレンジ「BEHAVIOR Challenge」への参加経験から生まれた。当時の課題は長く、難易度が高かったため、チームはエンドツーエンドでVLAを訓練する方法や、行動複製などのモデルを使っても、課題の難易度に対応できないことに気付いた。この失敗により、チームは真正の問題点を明確に把握することができた。
02 スケジューリング脳が誰を出場させるかを決定する方法
RoboHarness の核心思想是將 VLA、WAM、RL 策略、TAMP 等獨立開發的控制系統封裝為可統一調度的 agentic skills，由 Coding Agent 負責高層決策。
この設計には重要な前提があります：あらゆるベースとなる戦略を変更せず、再トレーニングしないことです。各戦略は独自のオリジナル実装を維持し、モデル構造、アクション空間、トレーニングデータを共有する必要はありません。RoboHarnessは、それらの上に組織化のレイヤーを追加するだけです。
正しい戦略を選ぶのは、それほど簡単ではありません。
コーディングエージェントにとって、原始の画像入力のみでは、このタスクを誰に割り当てるべきかを信頼性高く判断するのは難しい。この決定の背後には、言語モデルの意味的理解能力では答えられない多くの定量化された問題が隠されているからだ。カップを皿の上に置くことは読み取れるが、RGB画像から現在のシーンとある戦略のトレーニング分布との類似度を計算することはできず、現在のセンサーデータの信頼性を評価することもできない。
この問題を解決するため、システムはCoding Agentが判断に必要な情報を抽出するための3種類の補助スキルを設計しました。
Understanding Skillsは、原始入力を定量的なシグナルに変換する役割を担います。たとえば、画像埋め込みと各戦略の学習データとの類似度、物体の姿勢が時間窓内において安定しているか、現在の照明条件と画像品質が基準を満たしているかなどです。これらの指標は、戦略ルーティングの真の根拠となります。著者は、このモジュールの本質は、多角的な観点から各戦略が現在のタスクにどれほど適しているかを評価することであると考えています。
Memory Skillsは、過去の実行経験を検索し、戦略選択の参照として活用し、Memory Bridgeを介して戦略間の状態分布の不一致を処理する——これはシステムの最も核心的な設計であり、以下で別途詳細に説明する。
Evolution Skillsは、オンラインフィードバックを活用して戦略のメタデータとオーケストレーションロジックを継続的に更新し、システムが毎回新しい状況に直面したときにゼロから判断するのではなく、毎回の実行から学習できるようにします。
三つのスキルの情報フローが相互に連携し、Coding Agentの意思決定を支援します。実際の実行では、このメカニズムは主に二つの役割を果たします。一つ目はタスクの分解で、長文の指示を異なる戦略が受け持つのに適したサブタスクに分割することです。二つ目は動的切り替えで、現在の戦略がその能力限界に近づいた場合、システムはより適切な戦略に即座に切り替え、異なる戦略間の能力を補完します。
論文は一連のアブレーション実験を通じて、この2層のそれぞれの貢献を示した。言語モデルのみでpi0.5にタスクを分解して送信した場合でも、成功率は明確に向上した。さらに、複数の異種戦略を追加したところ、成功率はさらに大幅に向上した。正確に分解することが第一歩であり、適切に割り当てることが第二歩である。両者はいずれも不可欠である。
しかし、まだ3つ目の問題があり、それが最も難しい問題で、戦略の選択だけでは解決できません。
03 接力赛的胜负取决于交接的瞬间
二つの独立して訓練された戦略は、通常、それぞれのデータ世界に存在する。それらの入力形式は異なり、ロボットの状態の経験分布も異なる。TAMPが操作を終了して停止する位置は、VLAがこれまで処理したことがなく、安定して起動できない状態空間にちょうど該当する可能性が高い。
これはハイブリッド戦略オーケストレーションに特有の課題です。
したがって、2つの戦略の安定した移行を担うMemory Bridgeは、作者によってRoboHarnessで最も重要なモジュールと位置づけられています。彼は、将来的に汎用モデルがすべての状態空間を完璧にカバーできるようになれば、Memory Bridgeは不要になる可能性があると認めていますが、現状ではどのモデルも移行の瞬間に能力分布の外に落ち込むことが容易です。
Memory Bridgeの作業は3ステップで構成されています。
検索：次のサブタスクと現在の観測に基づき、テキストおよび視覚的類似度を用いて、マルチモーダルメモリから目標戦略が成功裏に実行された過去のTop-Kの類似トラジェクトリーを抽出し、エンドエフェクタの姿勢や関節角度などのロボット状態を取得する。
モデリング：各状態の軌道における相対的進行度に応じて監視信号を付与し、オンライン回帰を通じて目標戦略の「受動的対応」状態範囲をリアルタイムでフィットさせる。
ブリッジ：候補状態をサンプリングし、ターゲット戦略の快適領域に入る信頼度と運動コストを総合的に評価して、最も適切なブリッジ目標を選択し、遷移軌跡を生成する。ロボットがこの状態に到達した後、制御権を次の戦略に移す。
このメカニズムは、履歴実行データに基づいてオンライン学習を行い、あらゆる戦略にプラグアンドプレイで対応可能で、底层実装を変更する必要も、共同学習も必要ありません。
メモリーブリッジを除去した消去実験では、タスク進捗の低下はそれほど大きくなく、戦略選択は依然として基本的に正しいことを示しているが、完全成功率为86.0%から急激に60.4%まで低下した。多くのタスクが最終ステップまで到達したが、ステータスの非互換性により失敗しており、これはメモリーブリッジの価値を裏付けている。
04 二つの技術的系譜、静かに進行する融合
この論文から視野を広げると、私たちはより大きなエムボディーテクノロジーの地図を描きたいと思っています。
RoboHarnessの作者は、過去3年間のVLAの急速な発展に伴い、従来のTAMPと階層的プランニングが、オープンな状況における汎化能力がエンドツーエンドVLAに比べて著しく劣っていたため、コミュニティの注目から一時的に後退したことを観察した。しかし、今年のエージェントシステムとコーディングエージェントの急速な進展により、階層的アーキテクチャは新たな生命力を得ている：上位エージェントが組み合わせ可能なスキルを活用してタスクを分解し、ツールを呼び出し、動的計画を実行することで、従来の階層的アプローチの汎化能力と適応性が大幅に向上している。これにより、学術コミュニティは再び注目を集め、強力な汎化能力を持つ上位推論と異質な下位戦略をどのように統合するかを模索し始めている。
この記事の著者は、カナダ東部の複数の大学および研究機関に所属しています。著者は、北米のロボット研究において、明確な学術的由来を持つ2つの技術的アプローチが長年にわたり存在してきたことに注目しています。一方は、スタンフォード大学やバークレー大学などを中心とするアメリカ西海岸で、学習とスケーリングを重視し、エンドツーエンド学習、データ規模、モデルの汎化能力に焦点を当てています。他方は、MIT、トロント大学、MILAなどを中心とするアメリカ東北部およびカナダで、階層的アーキテクチャ、記号的推論、論理的計画、構造化された意思決定を長く重視してきました。
RoboHarnessの作者たちは、後者の系譜の延長線上にいます。
エージェント型知能の産業界において、技術路線の分化は明確な痕跡を残している。近年急速に発展したチームは、foundation model scaling から agentic hierarchy に至る技術的系列を形成してきた。一方では、汎用的エージェント基礎モデル、VLA、world model を重視し、統一されたモデル、データ規模、およびモデル能力の向上を通じて汎化の境界を拡大するアプローチがある。他方では、再利用可能な操作スキルと階層的アーキテクチャを重視し、タスク計画、スキルの組み合わせ、および低レベル制御の協調によって複雑なタスクを実行するアプローチがある。国内では智源を代表とするチームが前者に近い一方で、蘇度科技や魔法原子などは後者をより強調している。海外では、Physical Intelligence の pi シリーズが長く scaling 路線を代表してきたのに対し、Gemini Robotics は「高レベルの推論・計画＋低レベルのスキル実行」という階層的伝統を継承している。
興味深いことに、この技術系譜の分化は静的な対立ではなく、進化しながら補完的関係を形成しています。最近数ヶ月で、この2つの技術路線は明確な統合の兆しを見せ始めています。たとえば、Physical Intelligenceはpi0.7で、制御性とスキルの組み合わせをより中心的な位置に置きました。一方で、NVIDIAなどのチームも、基礎モデルの理解・推論能力をVLAと統合した、より階層的なロボットエージェントシステムを次々と発表しています。全体として、foundation modelのスケーリングとagentic階層は、かつては比較的独立した技術的道筋でしたが、現在では同じロボットシステムにおける補完的な能力へと徐々に進化しています。
05 に従って、より汎用的な知能へと進む
RoboHarnessには明確な限界があります：それは既存の戦略をスケジュールすることはできますが、すべての戦略が実行できないことを解決することはできません。Memory Bridgeの信頼性は十分な履歴実行データに依存しており、新しく追加された戦略は初期段階での能力評価に大きな不確実性を伴います。
論文の核心的な主張は、統一された大規模モデルの必要性を否定することではない。
著者は、長期タスクのオーケストレーションが既存の能力の組み合わせにとどまらず、個々のモデルでは独立して得られない、跨能力・跨シナリオの実行データを継続的に生成すると強調している。このようなデータは、異なる戦略間の切り替え、接続、失敗からの回復、協調プロセスを記録しており、次世代の汎用ロボットモデルの訓練にとって重要なデータ源となる可能性がある。この考えに基づき、RoboHarnessチームは、ハイブリッド戦略のオーケストレーションと実行中に生成されたデータを再利用して、下位の戦略訓練に活用することを検討している。異種オーケストレーションの実行経験が、モデルの基本能力の向上にさらに寄与する。
最強のモデルを探し、最適な能力を組織するという競争は、システムレベルの設計へと静かに拡大している。非同質な戦略オーケストレーションと統合的大規模モデルは、異なる山稜に沿って進む旅のように見え、最終的には同じ目的地、すなわちロボットにより汎用的で信頼性の高い知能をもたらすという目標へと向かっている。